# ═══════════════════════════════════════════════════════════ # LiteLLM Proxy — Routing multi-backends pour Effi # Expose un endpoint OpenAI-compatible sur :4000 # ‎ # Backends : # 1. Jean (llama.cpp/ROCm sur PC gaming .11:8080) → modele "qwen3.6-27b" # 2. Ollama (PC gaming .11:11434 via wol-proxy :3011) → modele "llama3.1-8b" (+ autres) # ‎ # Les deux backends sont sur le meme PC gaming (192.168.1.11) # qui s eteint la nuit. Les proxies (wol-proxy + jean-proxy) declenchent # le WOL si besoin avec la meme adresse MAC cible. # ═══════════════════════════════════════════════════════════ model_list: # ═════════════════════════════════════════════════════════ # Backend 1 — Jean (llama.cpp/v1 OpenAI-compatible) # ═════════════════════════════════════════════════════════ - model_name: qwen3.6-27b litellm_params: model: openai/qwen3.6-27b api_base: http://localhost:3012/v1 api_key: "null" timeout: 600 # Alias court pour open-webui (sans version) - model_name: qwen3.6 litellm_params: model: openai/qwen3.6-27b api_base: http://localhost:3012/v1 api_key: "null" timeout: 600 # ═════════════════════════════════════════════════════════ # Backend 2 — Ollama (via wol-proxy :3011 + WOL auto) # ═════════════════════════════════════════════════════════ - model_name: llama3.1-8b litellm_params: model: ollama/llama3.1:8b api_base: http://localhost:3011 timeout: 600 - model_name: llama3.1 litellm_params: model: ollama/llama3.1:8b api_base: http://localhost:3011 timeout: 600 # ═════════════════════════════════════════════════════════ # Ollama "fallback" auto : tout modele ollama/* est route vers wol-proxy # (laisse open-webui lister les autres modeles ollama si besoin) # ═════════════════════════════════════════════════════════ litellm_settings: drop_params: true telemetry: false general_settings: master_key: sk-effi-litellm-master