docs: add audio TTS/STT research and GPU optimization documentation

- Add docs/audio/tts-research.md with Voxtral TTS, Kokoro-FastAPI, openedai-speech comparison - Add docs/audio/stt-research.md with Voxtral STT, faster-whisper options - Add docs/gpu/optimization.md with OLLAMA_KEEP_ALIVE and VRAM management - Add docs/README.md with architecture overview - Add index files for docs navigation Research conducted April 2026 for future audio improvements
2026-04-08 12:50:57 +02:00
parent 33f22343a3
commit b93148c511
6 changed files with 673 additions and 0 deletions
@@ -0,0 +1,157 @@
+# STT (Speech-to-Text) Research - Avril 2026
+
+## Objectif
+Évaluer les solutions STT pour intégrer Voxtral de Mistral ou améliorer faster-whisper.
+
+---
+
+## Solutions Évaluées
+
+### 1. Voxtral STT (Mistral) ⭐ INTÉRÊT FUTUR
+
+#### Caractéristiques
+| Caractéristique | Valeur |
+|-----------------|--------|
+| **Modèle** | `mistralai/Voxtral-Mini-4B-Realtime-2602` |
+| **Type** | Streaming ASR (Speech-to-Text) |
+| **License** | Apache-2.0 ✅ |
+| **Langues** | 13 |
+| **VRAM** | ≥16GB (BF16) |
+| **Source** | [Hugging Face](https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602) |
+
+#### Avantages
+- ✅ OpenWebUI support natif via API Mistral
+- ✅ Streaming avec latence configurable (80ms - 2400ms)
+- ✅ Apache-2.0 license
+- ✅ Peut tourner sur vLLM ou Transformers
+
+#### Inconvénients
+- ⚠️ 16GB VRAM minimum (BF16)
+- ⚠️ Requiert configuration spéciale pour streaming
+
+#### Configuration OpenWebUI (Cloud API)
+```yaml
+Speech-to-Text Engine: MistralAI
+API Key: your-mistral-api-key
+STT Model: voxtral-mini-latest
+```
+
+#### Alternative: Voxtral Mini Transcribe 2
+| Modèle | Type | Description |
+|--------|------|-------------|
+| `voxtral-mini-transcribe-26-02` | Premier | Dernière version |
+| `voxtral-mini-transcribe-realtime-26-02` | Open | Streaming temps réel |
+
+---
+
+### 2. Faster-Whisper (Actuel) 🔵 EN PRODUCTION
+
+#### Caractéristiques
+| Caractéristique | Valeur |
+|-----------------|--------|
+| **Modèle** | `Systran/faster-whisper-large-v3` |
+| **Compute** | CPU (int8) |
+| **Langue** | Français |
+| **API** | Custom FastAPI (effi-stt) |
+| **Port** | 8200 |
+
+#### Avantages
+- ✅ Fonctionne actuellement en production
+- ✅ Gratuit (pas d'API key)
+- ✅ Local (vie privée)
+- ✅ Performance acceptable sur CPU
+
+#### Inconvénients
+- ⚠️ CPU only (plus lent que GPU)
+- ⚠️ Utilisation effi-stt custom (à maintenir)
+
+#### Setup Actuel
+```yaml
+# OpenWebUI Configuration
+AUDIO_STT_ENGINE: openai
+AUDIO_STT_OPENAI_API_BASE_URL: http://192.168.1.11:8200/v1
+AUDIO_STT_OPENAI_API_KEY: anything
+AUDIO_STT_MODEL: Systran/faster-whisper-large-v3
+```
+
+#### Code Source
+`effi-stt/main.py` - FastAPI wrapper autour de faster-whisper
+
+---
+
+### 3. Whisper OpenAI API (Cloud)
+
+#### Caractéristiques
+| Caractéristique | Valeur |
+|-----------------|--------|
+| **Modèle** | whisper-1 |
+| **Coût** | Payant (par minute) |
+| **API Key** | OpenAI requise |
+
+#### Configuration OpenWebUI
+```yaml
+Speech-to-Text Engine: OpenAI
+API Key: your-openai-api-key
+```
+
+---
+
+## Comparatif STT
+
+| Critère | Voxtral (Cloud) | Faster-Whisper | Whisper (Cloud) |
+|---------|------------------|----------------|-----------------|
+| **Coût** | Per-minute | Gratuit | Payant |
+| **Vie privée** | ❌ Cloud | ✅ Local | ❌ Cloud |
+| **VRAM** | 16GB+ (si local) | 0 (CPU) | 0 |
+| **OpenWebUI** | Natif | Custom API | Natif |
+| **French** | ✅ | ✅ | ✅ |
+
+---
+
+## Recommandations
+
+### Pour Usage Personnel (Actuel)
+**Garder faster-whisper** car:
+- Gratuit et local
+- Fonctionne bien pour le français
+- Pas de dépendance cloud
+
+### Pour Amélioration Future
+**Considérer Voxtral si:**
+- OpenWebUI intègre le support natif local
+- Vous avez un GPU avec ≥16GB VRAM disponible
+- Vous voulez améliorer la qualité
+
+---
+
+## Notes Techniques
+
+### Modèles Faster-Whisper Disponibles
+| Modèle | Paramètres | Langues | Taille |
+|--------|------------|---------|--------|
+| tiny | 39M | 99 | ~75MB |
+| base | 74M | 99 | ~150MB |
+| small | 244M | 99 | ~500MB |
+| medium | 769M | 99 | ~1.5GB |
+| large-v3 | 1.56B | 99 | ~3GB |
+
+### Configuration ACTUELLE
+```python
+# effi-stt/main.py
+MODEL_SIZE = "large-v3"
+DEVICE = "cpu"
+COMPUTE_TYPE = "int8"
+LANGUAGE = "fr"
+```
+
+---
+
+## Sources
+- [Voxtral Mini Transcribe](https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602)
+- [Faster-Whisper](https://github.com/SYSTRAN/faster-whisper)
+- [OpenWebUI STT Docs](https://docs.openwebui.com/features/chat-conversations/audio/speech-to-text/)
+
+---
+
+*Document créé: Avril 2026*
+*Dernière mise à jour: Avril 2026*