Files
Effi Server 5fc23a562d feat: llm-proxy - switch d'instance llama.cpp transparent + UI :3017
- Route virtuelle :3012 -> instance active (8080 Q4_K_M / 8081 IQ4_XS), etat persiste
- Alias modele qwen3.8-27b : reecriture id reel <-> alias (v1/models, chat, completions,
  embeddings, streaming SSE) -> switch transparent pour tous les harnais
- UI de gestion :3017 (statut, Activer, Tester) en page unique sans dependance ajoutee
- Fail-fast 503 (20s) si instance active arreteee, sans spam WOL
2026-09-19 12:09:02 +00:00
..

Documentation Audio & GPU - Effi

Documentation technique pour les composants audio (TTS/STT) et l'optimisation GPU.

📚 Contenu

Audio

GPU

Memory


🗺️ Architecture Audio Actuelle

┌─────────────────────────────────────────────────────────────┐
│                      Fedora (192.168.1.11)                   │
│                                                              │
│  ┌─────────────┐    ┌─────────────────────────────────┐     │
│  │   Ollama    │    │      effi-stt (STT)              │     │
│  │   qwen3.5   │    │  faster-whisper large-v3       │     │
│  │  (Q4_K_M)   │    │  Port: 8200                     │     │
│  │ Port: 11434 │    └─────────────────────────────────┘     │
│  └─────────────┘                                             │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                   Effi-Serveur (192.168.1.27)               │
│                                                              │
│  ┌─────────────┐    ┌─────────────┐    ┌──────────────┐    │
│  │ OpenWebUI   │    │ WoL Proxy   │    │  Whisper     │    │
│  │ Port: 3000  │───▶│ Port: 3011  │───▶│  (unused)    │    │
│  └─────────────┘    └─────────────┘    └──────────────┘    │
│                                                              │
│  ┌─────────────────────────────────────────────────────┐    │
│  │           openedai-speech (TTS)                      │    │
│  │  Piper + XTTS v2, Port: 8100                       │    │
│  │  ⚠️ ARCHIVED - pas de mises à jour                 │    │
│  └─────────────────────────────────────────────────────┘    │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                    Synology (192.168.1.25)                   │
│                                                              │
│  Services planning:                                          │
│  - Beszel Hub: 8090 (monitoring)                           │
│  - Dozzle: 8888 (logs Docker)                               │
└─────────────────────────────────────────────────────────────┘

📊 Résumé des Services

Service Port Status Notes
Ollama 11434 ✅ Actif qwen3.5:latest
effi-stt 8200 ✅ Actif faster-whisper large-v3
openedai-speech 8100 ⚠️ Archivé XTTS v2
OpenWebUI 3000 ✅ Actif Ubuntu
WoL Proxy 3011 ✅ Actif Ubuntu

🔮 Améliorations Futures

TTS (Text-to-Speech)

  1. Voxtral TTS (priorité haute)

    • Surveillance: vLLM-Omni supporter quantization
    • Requiert: 16GB VRAM (BF16) ou solution Q4
  2. Kokoro-FastAPI (si Voxtral indisponible)

    • Léger (~2-4GB VRAM)
    • Voix française limitée (ff_swis Grade B-)

STT (Speech-to-Text)

  1. Voxtral STT (surveillance)
    • OpenWebUI support natif (API Mistral)
    • Option cloud ou local si VRAM disponible

Monitoring

  1. Beszel - Surveillance CPU/RAM/GPU
  2. Dozzle - Logs Docker temps réel

Memory (Mémoire IA)

  1. État actuel: Mémoire manuelle via snippets OpenWebUI
  2. Mem0 abandonné: Trop lent (5-10s/requête)
  3. Futur: Améliorer RAG avec Qdrant, surveiller MemGPT

🔗 Liens Utiles


Dernière mise à jour: Avril 2026