En docker-compose podemos usar environment in env_file. El primero sirve para definir variables que serán usadas por el contenedor, pero no sirven para sustituir en otros puntos del propio archivo de configuración (o en configuraciones que extendamos). El segundo en cambio nos define un archivo cuyos valores serán también exportados al ambiente del entorno de ejecución.

Si queremos usar alguna variable de entorno en el propio compose, ha de venir definida desde fuera.

Enlaces

Ways to set environment variables in Compose