- Route virtuelle :3012 -> instance active (8080 Q4_K_M / 8081 IQ4_XS), etat persiste - Alias modele qwen3.8-27b : reecriture id reel <-> alias (v1/models, chat, completions, embeddings, streaming SSE) -> switch transparent pour tous les harnais - UI de gestion :3017 (statut, Activer, Tester) en page unique sans dependance ajoutee - Fail-fast 503 (20s) si instance active arreteee, sans spam WOL
Documentation Audio & GPU - Effi
Documentation technique pour les composants audio (TTS/STT) et l'optimisation GPU.
📚 Contenu
Audio
- TTS Research - Recherche sur les solutions Text-to-Speech
- STT Research - Recherche sur les solutions Speech-to-Text
GPU
- GPU Optimization - Optimisation VRAM et Ollama
Memory
- Memory Research - Comparatif des solutions de mémoire IA locales
🗺️ Architecture Audio Actuelle
┌─────────────────────────────────────────────────────────────┐
│ Fedora (192.168.1.11) │
│ │
│ ┌─────────────┐ ┌─────────────────────────────────┐ │
│ │ Ollama │ │ effi-stt (STT) │ │
│ │ qwen3.5 │ │ faster-whisper large-v3 │ │
│ │ (Q4_K_M) │ │ Port: 8200 │ │
│ │ Port: 11434 │ └─────────────────────────────────┘ │
│ └─────────────┘ │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ Effi-Serveur (192.168.1.27) │
│ │
│ ┌─────────────┐ ┌─────────────┐ ┌──────────────┐ │
│ │ OpenWebUI │ │ WoL Proxy │ │ Whisper │ │
│ │ Port: 3000 │───▶│ Port: 3011 │───▶│ (unused) │ │
│ └─────────────┘ └─────────────┘ └──────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ openedai-speech (TTS) │ │
│ │ Piper + XTTS v2, Port: 8100 │ │
│ │ ⚠️ ARCHIVED - pas de mises à jour │ │
│ └─────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ Synology (192.168.1.25) │
│ │
│ Services planning: │
│ - Beszel Hub: 8090 (monitoring) │
│ - Dozzle: 8888 (logs Docker) │
└─────────────────────────────────────────────────────────────┘
📊 Résumé des Services
| Service | Port | Status | Notes |
|---|---|---|---|
| Ollama | 11434 | ✅ Actif | qwen3.5:latest |
| effi-stt | 8200 | ✅ Actif | faster-whisper large-v3 |
| openedai-speech | 8100 | ⚠️ Archivé | XTTS v2 |
| OpenWebUI | 3000 | ✅ Actif | Ubuntu |
| WoL Proxy | 3011 | ✅ Actif | Ubuntu |
🔮 Améliorations Futures
TTS (Text-to-Speech)
-
Voxtral TTS (priorité haute)
- Surveillance: vLLM-Omni supporter quantization
- Requiert: 16GB VRAM (BF16) ou solution Q4
-
Kokoro-FastAPI (si Voxtral indisponible)
- Léger (~2-4GB VRAM)
- Voix française limitée (
ff_swisGrade B-)
STT (Speech-to-Text)
- Voxtral STT (surveillance)
- OpenWebUI support natif (API Mistral)
- Option cloud ou local si VRAM disponible
Monitoring
- Beszel - Surveillance CPU/RAM/GPU
- Dozzle - Logs Docker temps réel
Memory (Mémoire IA)
- État actuel: Mémoire manuelle via snippets OpenWebUI
- Mem0 abandonné: Trop lent (5-10s/requête)
- Futur: Améliorer RAG avec Qdrant, surveiller MemGPT
🔗 Liens Utiles
Dernière mise à jour: Avril 2026