feat: LiteLLM multi-backends + jean-proxy avec WoL

Architecture (voir docs/ARCHITECTURE-LITELLM.md):
  open-webui -> LiteLLM:4000
                 |- qwen3.6-27b -> jean-proxy:3012 -> Jean (.11:8080)
                 |- llama3.1-8b -> wol-proxy:3011  -> Ollama (.11:11434)

Nouveaux fichiers:
- wol-proxy/ (versionne l'app.py de prod deja en place)
- jean-proxy/ (clone du wol-proxy avec HEALTH_PATH=/health + retry post-WoL
  pour services qui mettent du temps a demarrer apres WoL, ex: Jean qui
  charge 14 Go en VRAM)
- litellm/config.yaml (routing par nom de modele, drop_params=true)
- docker-compose.litellm.yml (override ADDITIF: ajoute uniquement jean-proxy
  et litellm, ne redemarre PAS open-webui/wol-proxy/hermes)

Teste en prod sur .27: Jean + Ollama repondent via LiteLLM:4000 avec
path-through de chat_template_kwargs.enable_thinking (raisonnement Qwen3.6
desactivable par requete). Zero impact hermes-webui/wol-proxy.
Basculer open-webui reste une etape manuelle (step 3 de la doc).
This commit is contained in:
Folzo
2026-06-27 16:19:08 +02:00
parent 2f270aeca8
commit 2a9f721c4e
8 changed files with 526 additions and 1 deletions
+7 -1
View File
@@ -16,7 +16,7 @@ WEBUI_SECRET_KEY=changez_moi_par_une_cle_longue_et_aleatoire
# ═══════════════════════════════════════════════════════════
# 2. OLLAMA / PC GAMING
# ═══════════════════════════════════════════════════════════
# IP du PC Gaming où tourne Ollama
# IP du PC Gaming où tourne Ollama (+ Jean + GPU AMD)
OLLAMA_HOST=192.168.1.11
# Adresse MAC du PC Gaming (pour Wake-on-LAN)
@@ -26,6 +26,12 @@ PC_GAMING_MAC=00:00:00:00:00:00
# IP de broadcast du réseau local (généralement 192.168.1.255)
BROADCAST_IP=192.168.1.255
# ═══════════════════════════════════════════════════════════
# 2b. LITELLM (multi-backends LLM proxy — voir docker-compose.litellm.yml)
# ═══════════════════════════════════════════════════════════
# Cle maitre pour l'API LiteLLM (open-webui devra envoyer cette cle en Bearer)
LITELLM_MASTER_KEY=sk-effi-litellm-master
# ═══════════════════════════════════════════════════════════
# 3. COUCHDB (Obsidian LiveSync)
# ═══════════════════════════════════════════════════════════