feat: llm-proxy - switch d'instance llama.cpp transparent + UI :3017
- Route virtuelle :3012 -> instance active (8080 Q4_K_M / 8081 IQ4_XS), etat persiste - Alias modele qwen3.8-27b : reecriture id reel <-> alias (v1/models, chat, completions, embeddings, streaming SSE) -> switch transparent pour tous les harnais - UI de gestion :3017 (statut, Activer, Tester) en page unique sans dependance ajoutee - Fail-fast 503 (20s) si instance active arreteee, sans spam WOL
This commit is contained in:
@@ -8,7 +8,8 @@ Guide pour s'assurer que tous les services Effi démarrent automatiquement aprè
|
||||
|
||||
| Service | Port | Docker | Dépendance WOL |
|
||||
|---------|------|--------|----------------|
|
||||
| **llama.cpp** | 8080 | Native (systemd) | Oui |
|
||||
| **llama.cpp** (instance A — qwen3.8-27b Q4_K_M) | 8080 | Native (systemd) | Oui |
|
||||
| **llama.cpp** (instance B — qwen3.8-27b-iq4xs) | 8081 | Native (systemd) | Oui |
|
||||
| **Ollama** | 11434 | ✅ | Oui |
|
||||
| **Effi-STT** | 8200 | ✅ | Oui |
|
||||
| **ComfyUI** | 8188 | ✅ | Oui |
|
||||
@@ -16,6 +17,10 @@ Guide pour s'assurer que tous les services Effi démarrent automatiquement aprè
|
||||
> **Note :** le TTS (openedai-speech, port 8100) tourne désormais sur l'effi-server,
|
||||
> pas sur folzo-Corp. Il n'a donc pas besoin de WOL.
|
||||
|
||||
> **Note VRAM :** les 2 instances llama.cpp partagent les 32 Go de VRAM. Une seule
|
||||
> doit tourner à la fois : démarre l'instance voulue sur le PC, et active-la dans
|
||||
> l'UI du proxy (http://192.168.1.27:3017).
|
||||
|
||||
Le réveil est géré automatiquement par **`llm-proxy`** (effi-server) : au premier appel
|
||||
vers une cible éteinte, il envoie 3 paquets magic (MAC du PC) puis attend que le service
|
||||
soit prêt. Aucun script manuel nécessaire.
|
||||
|
||||
Reference in New Issue
Block a user