76 lines
3.6 KiB
YAML
76 lines
3.6 KiB
YAML
# ═══════════════════════════════════════════════════════════
|
|
# OVERRIDE jean-router — Routing dynamique Jean + Ollama
|
|
#
|
|
# Usage (depuis /home/effi/effi sur serveur Effi) :
|
|
# docker compose -f docker-compose.yml -f docker-compose.litellm.yml up -d --build
|
|
#
|
|
# jean-router remplace LiteLLM :
|
|
# - Interroge dynamiquement Jean pour lister les presets
|
|
# - Route vers Jean ou Ollama selon le modèle demandé
|
|
# - Switch automatique de preset quand nécessaire
|
|
# - Nouveaux presets Jean automatiquement visibles dans OpenWebUI
|
|
# ═══════════════════════════════════════════════════════════
|
|
|
|
services:
|
|
|
|
# ─────────────────────────────────────────────────────────
|
|
# open-webui — repointe vers jean-router (API OpenAI directe)
|
|
# jean-router expose dynamiquement les presets Jean + modèles Ollama
|
|
# Plus besoin de LiteLLM, routing direct vers jean-router:3014
|
|
# ─────────────────────────────────────────────────────────
|
|
open-webui:
|
|
environment:
|
|
- OLLAMA_BASE_URL=http://host.docker.internal:3011
|
|
- OPENAI_API_BASE_URL=http://host.docker.internal:3014/v1
|
|
- OPENAI_API_KEY=any
|
|
- ENABLE_OPENAI_API=True
|
|
|
|
# ─────────────────────────────────────────────────────────
|
|
# jean-proxy — Reverse-proxy vers JeanOrchestrator (.11:8080) + WOL
|
|
# L'orchestrateur gere le switch auto MoE/27B.
|
|
# Ecoute :3012 sur le host (network_mode: host)
|
|
# ─────────────────────────────────────────────────────────
|
|
jean-proxy:
|
|
build: ./jean-proxy
|
|
container_name: jean-proxy
|
|
restart: unless-stopped
|
|
network_mode: host
|
|
environment:
|
|
- TARGET_HOST=${OLLAMA_HOST}
|
|
- TARGET_PORT=8080
|
|
- TARGET_MAC=${PC_GAMING_MAC}
|
|
- LISTEN_PORT=3012
|
|
- WAKE_TIMEOUT=60
|
|
- CHECK_INTERVAL=5
|
|
- BROADCAST_IP=${BROADCAST_IP}
|
|
- HEALTH_PATH=/health
|
|
|
|
# ─────────────────────────────────────────────────────────
|
|
# jean-router — Proxy dynamique qui interroge Jean pour
|
|
# lister les presets et route les requêtes vers Jean
|
|
# ou Ollama selon le modèle demandé.
|
|
# Ecoute :3014 sur le host (network_mode: host)
|
|
# ─────────────────────────────────────────────────────────
|
|
jean-router:
|
|
build: ./jean-router
|
|
container_name: jean-router
|
|
restart: unless-stopped
|
|
network_mode: host
|
|
environment:
|
|
- JEAN_WEB_HOST=${OLLAMA_HOST}
|
|
- JEAN_WEB_PORT=8090
|
|
- JEAN_PROXY_HOST=localhost
|
|
- JEAN_PROXY_PORT=3012
|
|
- OLLAMA_PROXY_HOST=localhost
|
|
- OLLAMA_PROXY_PORT=3011
|
|
- OLLAMA_DIRECT_HOST=${OLLAMA_HOST}
|
|
- OLLAMA_DIRECT_PORT=11434
|
|
- ENABLE_OLLAMA=true
|
|
- ENABLE_VRAM_MANAGEMENT=true
|
|
- OLLAMA_KEEP_ALIVE_MINUTES=5
|
|
- LISTEN_PORT=3014
|
|
- SWITCH_TIMEOUT=90
|
|
- CHECK_INTERVAL=2
|
|
- JEAN_STOP_TIMEOUT=30
|
|
- OLLAMA_UNLOAD_TIMEOUT=15
|