From 856ba4ae367e9f57f82d3590bfde861efe686342 Mon Sep 17 00:00:00 2001 From: Folzo Date: Mon, 20 Jul 2026 10:22:15 +0200 Subject: [PATCH] refactor: remove LiteLLM, jean-router handles all routing --- docker-compose.litellm.yml | 31 ++++++------------------------- litellm/config.yaml | 26 -------------------------- 2 files changed, 6 insertions(+), 51 deletions(-) delete mode 100644 litellm/config.yaml diff --git a/docker-compose.litellm.yml b/docker-compose.litellm.yml index 8a6d411..869c313 100644 --- a/docker-compose.litellm.yml +++ b/docker-compose.litellm.yml @@ -1,16 +1,14 @@ # ═══════════════════════════════════════════════════════════ -# OVERRIDE litellm — Ajoute LiteLLM + jean-proxy a la stack Effi -# + configure open-webui pour parler a LiteLLM en mode OpenAI API +# OVERRIDE jean-router — Routing dynamique Jean + Ollama # # Usage (depuis /home/effi/effi sur serveur Effi) : # docker compose -f docker-compose.yml -f docker-compose.litellm.yml up -d --build # -# IMPORTANT : cet override modifie open-webui (ajoute OPENAI_API_BASE_URL + -# OPENAI_API_KEY + remet OLLAMA_BASE_URL sur le wol-proxy originel :3011). -# open-webui sera recree a la prochaine 'up --force-recreate' pour propager. -# LiteLLM expose l'API OpenAI (/v1/*), pas l'API Ollama (/api/*) — donc -# open-webui DOIT etre configure via la section "OpenAI API" (admin UI) -# et non via la section "Ollama". +# jean-router remplace LiteLLM : +# - Interroge dynamiquement Jean pour lister les presets +# - Route vers Jean ou Ollama selon le modèle demandé +# - Switch automatique de preset quand nécessaire +# - Nouveaux presets Jean automatiquement visibles dans OpenWebUI # ═══════════════════════════════════════════════════════════ services: @@ -69,20 +67,3 @@ services: - LISTEN_PORT=3014 - SWITCH_TIMEOUT=90 - CHECK_INTERVAL=2 - - # ───────────────────────────────────────────────────────── - # 2. LiteLLM proxy — Endpoint OpenAI unique pour open-webui - # Ecoute :4000 sur le host (network_mode: host pour joindre - # wol-proxy :3011 et jean-proxy :3012 sur le host) - # ───────────────────────────────────────────────────────── - litellm: - image: ghcr.io/berriai/litellm:main-stable - container_name: litellm - restart: unless-stopped - network_mode: host - volumes: - - ./litellm/config.yaml:/app/config.yaml:ro - command: - - "--config=/app/config.yaml" - - "--port=4000" - - "--num_workers=1" diff --git a/litellm/config.yaml b/litellm/config.yaml deleted file mode 100644 index bf25ec7..0000000 --- a/litellm/config.yaml +++ /dev/null @@ -1,26 +0,0 @@ -# ═══════════════════════════════════════════════════════════ -# LiteLLM Proxy — Routing pour Effi via jean-router -# Endpoint OpenAI-compatible sur :4000 (host network) -# -# jean-router (:3014) gère dynamiquement : -# - Liste des presets Jean (avec switch automatique) -# - Liste des modèles Ollama -# - Routing vers le bon backend -# -# LiteLLM sert uniquement de proxy OpenAI unifié pour OpenWebUI. -# ═══════════════════════════════════════════════════════════ - -model_list: - - model_name: jean - litellm_params: - model: openai/* - api_base: http://localhost:3014/v1 - api_key: "null" - timeout: 600 - -litellm_settings: - drop_params: false - telemetry: false - -general_settings: - master_key: sk-effi-litellm-master