refactor: remove LiteLLM, jean-router handles all routing
This commit is contained in:
@@ -1,16 +1,14 @@
|
|||||||
# ═══════════════════════════════════════════════════════════
|
# ═══════════════════════════════════════════════════════════
|
||||||
# OVERRIDE litellm — Ajoute LiteLLM + jean-proxy a la stack Effi
|
# OVERRIDE jean-router — Routing dynamique Jean + Ollama
|
||||||
# + configure open-webui pour parler a LiteLLM en mode OpenAI API
|
|
||||||
#
|
#
|
||||||
# Usage (depuis /home/effi/effi sur serveur Effi) :
|
# Usage (depuis /home/effi/effi sur serveur Effi) :
|
||||||
# docker compose -f docker-compose.yml -f docker-compose.litellm.yml up -d --build
|
# docker compose -f docker-compose.yml -f docker-compose.litellm.yml up -d --build
|
||||||
#
|
#
|
||||||
# IMPORTANT : cet override modifie open-webui (ajoute OPENAI_API_BASE_URL +
|
# jean-router remplace LiteLLM :
|
||||||
# OPENAI_API_KEY + remet OLLAMA_BASE_URL sur le wol-proxy originel :3011).
|
# - Interroge dynamiquement Jean pour lister les presets
|
||||||
# open-webui sera recree a la prochaine 'up --force-recreate' pour propager.
|
# - Route vers Jean ou Ollama selon le modèle demandé
|
||||||
# LiteLLM expose l'API OpenAI (/v1/*), pas l'API Ollama (/api/*) — donc
|
# - Switch automatique de preset quand nécessaire
|
||||||
# open-webui DOIT etre configure via la section "OpenAI API" (admin UI)
|
# - Nouveaux presets Jean automatiquement visibles dans OpenWebUI
|
||||||
# et non via la section "Ollama".
|
|
||||||
# ═══════════════════════════════════════════════════════════
|
# ═══════════════════════════════════════════════════════════
|
||||||
|
|
||||||
services:
|
services:
|
||||||
@@ -69,20 +67,3 @@ services:
|
|||||||
- LISTEN_PORT=3014
|
- LISTEN_PORT=3014
|
||||||
- SWITCH_TIMEOUT=90
|
- SWITCH_TIMEOUT=90
|
||||||
- CHECK_INTERVAL=2
|
- CHECK_INTERVAL=2
|
||||||
|
|
||||||
# ─────────────────────────────────────────────────────────
|
|
||||||
# 2. LiteLLM proxy — Endpoint OpenAI unique pour open-webui
|
|
||||||
# Ecoute :4000 sur le host (network_mode: host pour joindre
|
|
||||||
# wol-proxy :3011 et jean-proxy :3012 sur le host)
|
|
||||||
# ─────────────────────────────────────────────────────────
|
|
||||||
litellm:
|
|
||||||
image: ghcr.io/berriai/litellm:main-stable
|
|
||||||
container_name: litellm
|
|
||||||
restart: unless-stopped
|
|
||||||
network_mode: host
|
|
||||||
volumes:
|
|
||||||
- ./litellm/config.yaml:/app/config.yaml:ro
|
|
||||||
command:
|
|
||||||
- "--config=/app/config.yaml"
|
|
||||||
- "--port=4000"
|
|
||||||
- "--num_workers=1"
|
|
||||||
|
|||||||
@@ -1,26 +0,0 @@
|
|||||||
# ═══════════════════════════════════════════════════════════
|
|
||||||
# LiteLLM Proxy — Routing pour Effi via jean-router
|
|
||||||
# Endpoint OpenAI-compatible sur :4000 (host network)
|
|
||||||
#
|
|
||||||
# jean-router (:3014) gère dynamiquement :
|
|
||||||
# - Liste des presets Jean (avec switch automatique)
|
|
||||||
# - Liste des modèles Ollama
|
|
||||||
# - Routing vers le bon backend
|
|
||||||
#
|
|
||||||
# LiteLLM sert uniquement de proxy OpenAI unifié pour OpenWebUI.
|
|
||||||
# ═══════════════════════════════════════════════════════════
|
|
||||||
|
|
||||||
model_list:
|
|
||||||
- model_name: jean
|
|
||||||
litellm_params:
|
|
||||||
model: openai/*
|
|
||||||
api_base: http://localhost:3014/v1
|
|
||||||
api_key: "null"
|
|
||||||
timeout: 600
|
|
||||||
|
|
||||||
litellm_settings:
|
|
||||||
drop_params: false
|
|
||||||
telemetry: false
|
|
||||||
|
|
||||||
general_settings:
|
|
||||||
master_key: sk-effi-litellm-master
|
|
||||||
Reference in New Issue
Block a user