Folzo
47b1327d27
- Add comprehensive session report (05/04/2026) - Document all achievements: STT, TTS, French voices - Update TODO with completed phases and future ideas - Include useful commands and configurations - Ready for future optimizations
179 lines
4.5 KiB
Markdown
179 lines
4.5 KiB
Markdown
# EFFI - TODO LIST & PROCHAINES ÉTAPES
|
|
|
|
**Dernière mise à jour** : 05 Avril 2026
|
|
**Session** : Voix et ouïe pour Effi - ✅ TERMINÉE
|
|
|
|
---
|
|
|
|
## ✅ PHASES COMPLÉTÉES (05/04/2026)
|
|
|
|
### Phase 1 : Infrastructure de base
|
|
- [x] Installation Docker sur Fedora (folzo-Corp)
|
|
- [x] Configuration SELinux et permissions
|
|
- [x] ROCm détecté et fonctionnel
|
|
|
|
### Phase 2 : TTS (Text-to-Speech)
|
|
- [x] Déploiement openedai-speech
|
|
- [x] Configuration voix Piper (anglais)
|
|
- [x] Test et validation TTS
|
|
|
|
### Phase 3 : STT (Speech-to-Text)
|
|
- [x] Tentative avec speaches (échec - model card)
|
|
- [x] **Création Effi-STT** (solution maison)
|
|
- [x] Développement serveur FastAPI
|
|
- [x] Dockerisation et déploiement
|
|
- [x] Test et validation STT
|
|
|
|
### Phase 4 : Intégration Open WebUI
|
|
- [x] Configuration STT (Effi-STT)
|
|
- [x] Configuration TTS (openedai-speech)
|
|
- [x] Test pipeline vocal complet
|
|
- [x] Validation : "Coucou Ify, est-ce que tu m'entends ?"
|
|
|
|
### Phase 5 : Voix françaises
|
|
- [x] Téléchargement voix siwis (féminine)
|
|
- [x] Téléchargement voix tom (masculine)
|
|
- [x] Configuration et test
|
|
|
|
---
|
|
|
|
## 📊 BILAN ACTUEL
|
|
|
|
| Composant | Solution | Statut | Notes |
|
|
|-----------|----------|--------|-------|
|
|
| **STT** | Effi-STT (maison) | ✅ | FastAPI + faster-whisper |
|
|
| **TTS** | openedai-speech | ✅ | Piper + voix FR |
|
|
| **Voix Effi** | siwis | ✅ | Féminine, français |
|
|
| **Voix Assistant** | tom | ✅ | Masculine, français |
|
|
| **LLM** | qwen3.5:9b | ✅ | 32K context |
|
|
| **Interface** | Open WebUI | ✅ | Pipeline vocal OK |
|
|
|
|
---
|
|
|
|
## 🔄 PHASES FUTURES (Non prioritaires)
|
|
|
|
### Phase 6 : Optimisations et améliorations
|
|
|
|
#### 6.1 Amélioration des voix
|
|
- [ ] Tester XTTS v2 (qualité supérieure)
|
|
- Nécessite fichiers .wav d'échantillons
|
|
- Plus naturel mais plus gourmand
|
|
- Optionnel : créer voix personnalisée
|
|
|
|
- [ ] Ajouter d'autres langues si besoin
|
|
- Espagnol, allemand, italien disponibles dans Piper
|
|
|
|
#### 6.2 Performance STT
|
|
- [ ] Mesurer latence précise
|
|
- Temps actuel : ~3-5s pour 5s audio
|
|
- Objectif : <2s si possible
|
|
|
|
- [ ] Tester modèle "medium" vs "large-v3"
|
|
- medium : plus rapide, moins précis
|
|
- large-v3 : actuel, optimal qualité/vitesse
|
|
|
|
- [ ] ROCm GPU pour STT (complexe)
|
|
- Compiler faster-whisper avec ROCm
|
|
- Réduire latence CPU → GPU
|
|
- **Priorité faible** : fonctionne bien en CPU
|
|
|
|
#### 6.3 Créer assistant pour le fils
|
|
- [ ] Définir cas d'usage
|
|
- Aide aux devoirs ?
|
|
- Compagnon conversation ?
|
|
- Apprentissage langues ?
|
|
|
|
- [ ] Choisir modèle LLM adapté
|
|
- Plus léger que qwen3.5:9b ?
|
|
- Plus pédagogique ?
|
|
|
|
- [ ] Configurer voix masculine (tom)
|
|
- Déjà disponible ✅
|
|
|
|
- [ ] Personnalité et restrictions
|
|
- Ton adapté à l'enfant
|
|
- Filtres de contenu si nécessaire
|
|
|
|
#### 6.4 Monitoring et métriques
|
|
- [ ] Ajouter logs détaillés Effi-STT
|
|
- Temps de transcription
|
|
- Erreurs éventuelles
|
|
|
|
- [ ] Health check automatisé
|
|
- Vérifier services périodiquement
|
|
- Alertes si problème
|
|
|
|
---
|
|
|
|
## 🎯 OBJECTIFS LONG TERME
|
|
|
|
### 1. Fiabilité 100%
|
|
- [ ] Tests de charge STT
|
|
- [ ] Gestion erreurs robuste
|
|
- [ ] Redémarrage automatique si crash
|
|
|
|
### 2. Expérience utilisateur
|
|
- [ ] Réduction latence globale
|
|
- [ ] Qualité voix améliorée (XTTS)
|
|
- [ ] Streaming temps réel (STT + TTS)
|
|
|
|
### 3. Extensibilité
|
|
- [ ] Multi-utilisateurs (Effi + assistant fils + autres)
|
|
- [ ] Multi-langues dynamiques
|
|
- [ ] Plugins voix personnalisées
|
|
|
|
---
|
|
|
|
## 📝 RAPPELS
|
|
|
|
### URLs importantes
|
|
```
|
|
Effi-STT (STT) : http://192.168.1.11:8200
|
|
openedai-speech : http://192.168.1.11:8100
|
|
Ollama (LLM) : http://192.168.1.11:11434
|
|
Open WebUI : http://192.168.1.27:3000
|
|
```
|
|
|
|
### Commandes essentielles
|
|
```bash
|
|
# Logs
|
|
sudo docker logs effi-stt -f
|
|
sudo docker logs openedai-speech -f
|
|
|
|
# Redémarrer
|
|
sudo docker restart effi-stt openedai-speech
|
|
|
|
# Test rapide
|
|
curl http://192.168.1.11:8200/health
|
|
curl http://192.168.1.11:8100/health
|
|
```
|
|
|
|
### Configuration Open WebUI (à garder)
|
|
```yaml
|
|
STT:
|
|
Engine: OpenAI
|
|
URL: http://192.168.1.11:8200/v1
|
|
Model: whisper-1
|
|
Language: fr
|
|
|
|
TTS:
|
|
Engine: OpenAI
|
|
URL: http://192.168.1.11:8100/v1
|
|
Model: tts-1
|
|
Voice: siwis # ou tom, ou alloy
|
|
```
|
|
|
|
---
|
|
|
|
## 💡 IDÉES FUTURES
|
|
|
|
- **Mode conversation continue** : STT toujours actif (hotword detection)
|
|
- **Multi-voix** : Alternance voix selon contexte
|
|
- **Emotions** : Modulation voix selon réponse (joie, sérieux...)
|
|
- **Personalisation voix** : Clonage voix via XTTS (échantillons audio)
|
|
- **Assistant mobile** : App Android/iOS qui se connecte à Effi
|
|
|
|
---
|
|
|
|
*Prochaine session : Optimisations et améliorations (quand tu voudras)*
|