Folzo/Effi
Public Access
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: Complete session summary and updated TODO

Browse Source 
- Add comprehensive session report (05/04/2026)
- Document all achievements: STT, TTS, French voices
- Update TODO with completed phases and future ideas
- Include useful commands and configurations
- Ready for future optimizations
This commit is contained in:
Folzo
2026-04-05 22:56:26 +02:00
parent e129012343
commit 47b1327d27
2 changed files with 412 additions and 268 deletions
Download Patch File Download Diff File Expand all files Collapse all files
.opencode/TODO-NEXT-THREAD.md
+154 -268
View File
@@ -1,292 +1,178 @@
# EFFI - THREAD SUIVANT : TODO LIST & CONTEXTE
# EFFI - TODO LIST & PROCHAINES ÉTAPES
**Date création :** 2026-04-05
**Mis à jour :** 2026-04-05
**Créé par :** OpenCode session 2026-04-05
**Status :** 🔄 EN COURS - Installation voix et ouïe (TTS/STT) sur folzo-Corp Fedora
**Dernière mise à jour** : 05 Avril 2026
**Session** : Voix et ouïe pour Effi - ✅ TERMINÉE
---
## 🚨 CONTEXTE ACTUEL (IMPORTANT)
## ✅ PHASES COMPLÉTÉES (05/04/2026)
### Changement majeur : Reformatage folzo-Corp
### Phase 1 : Infrastructure de base
- [x] Installation Docker sur Fedora (folzo-Corp)
- [x] Configuration SELinux et permissions
- [x] ROCm détecté et fonctionnel
**Ce qui s'est passé :**
- folzo-Corp (192.168.1.11) a été reformaté : Ubuntu → **Fedora**
- Tous les services précédemment installés ont été perdus
- Réinstallation complète nécessaire
### Phase 2 : TTS (Text-to-Speech)
- [x] Déploiement openedai-speech
- [x] Configuration voix Piper (anglais)
- [x] Test et validation TTS
**Ce qui est déjà fait :**
- ✅ Fedora installé et configuré
- ✅ ROCm fonctionnel (RX 7800 XT détectée)
- ✅ Docker v29.3.1 installé et fonctionnel
- ✅ Firewall configuré (ports 8100, 8200, 11434 ouverts)
### Phase 3 : STT (Speech-to-Text)
- [x] Tentative avec speaches (échec - model card)
- [x] **Création Effi-STT** (solution maison)
- [x] Développement serveur FastAPI
- [x] Dockerisation et déploiement
- [x] Test et validation STT
**Architecture cible :**
```
folzo-Corp (192.168.1.11) - Fedora
├── openedai-speech (TTS) - Port 8100 - ROCm GPU ⏳ EN COURS
├── speaches (STT) - Port 8200 - CPU ⏳ EN COURS
├── Ollama - Port 11434 - ROCm GPU ✅ Déjà installé
└── qwen3.5:9b (32K context) ✅ Déjà installé
### Phase 4 : Intégration Open WebUI
- [x] Configuration STT (Effi-STT)
- [x] Configuration TTS (openedai-speech)
- [x] Test pipeline vocal complet
- [x] Validation : "Coucou Ify, est-ce que tu m'entends ?"
effi-server (192.168.1.27)
└── Open WebUI - Port 3000 ✅ Déjà configuré
└── Configuration Audio à mettre à jour après TTS/STT
```
### Phase 5 : Voix françaises
- [x] Téléchargement voix siwis (féminine)
- [x] Téléchargement voix tom (masculine)
- [x] Configuration et test
---
## 📋 TODO LIST - INSTALLATION VOIX & OUÏE (PRIORITÉ MAX)
## 📊 BILAN ACTUEL
### PHASE 1 : Préparation Fedora ✅ TERMINÉE
| Composant | Solution | Statut | Notes |
|-----------|----------|--------|-------|
| **STT** | Effi-STT (maison) | ✅ | FastAPI + faster-whisper |
| **TTS** | openedai-speech | ✅ | Piper + voix FR |
| **Voix Effi** | siwis | ✅ | Féminine, français |
| **Voix Assistant** | tom | ✅ | Masculine, français |
| **LLM** | qwen3.5:9b | ✅ | 32K context |
| **Interface** | Open WebUI | ✅ | Pipeline vocal OK |
- [x] Vérifier ROCm (`rocm-smi` fonctionne)
- [x] Installer Docker et docker-compose
- [x] Configurer groupes utilisateur (docker, video, render)
- [x] Ouvrir ports firewall (8100, 8200, 11434)
---
**Résultat :**
## 🔄 PHASES FUTURES (Non prioritaires)
### Phase 6 : Optimisations et améliorations
#### 6.1 Amélioration des voix
- [ ] Tester XTTS v2 (qualité supérieure)
- Nécessite fichiers .wav d'échantillons
- Plus naturel mais plus gourmand
- Optionnel : créer voix personnalisée
- [ ] Ajouter d'autres langues si besoin
- Espagnol, allemand, italien disponibles dans Piper
#### 6.2 Performance STT
- [ ] Mesurer latence précise
- Temps actuel : ~3-5s pour 5s audio
- Objectif : <2s si possible
- [ ] Tester modèle "medium" vs "large-v3"
- medium : plus rapide, moins précis
- large-v3 : actuel, optimal qualité/vitesse
- [ ] ROCm GPU pour STT (complexe)
- Compiler faster-whisper avec ROCm
- Réduire latence CPU → GPU
- **Priorité faible** : fonctionne bien en CPU
#### 6.3 Créer assistant pour le fils
- [ ] Définir cas d'usage
- Aide aux devoirs ?
- Compagnon conversation ?
- Apprentissage langues ?
- [ ] Choisir modèle LLM adapté
- Plus léger que qwen3.5:9b ?
- Plus pédagogique ?
- [ ] Configurer voix masculine (tom)
- Déjà disponible ✅
- [ ] Personnalité et restrictions
- Ton adapté à l'enfant
- Filtres de contenu si nécessaire
#### 6.4 Monitoring et métriques
- [ ] Ajouter logs détaillés Effi-STT
- Temps de transcription
- Erreurs éventuelles
- [ ] Health check automatisé
- Vérifier services périodiquement
- Alertes si problème
---
## 🎯 OBJECTIFS LONG TERME
### 1. Fiabilité 100%
- [ ] Tests de charge STT
- [ ] Gestion erreurs robuste
- [ ] Redémarrage automatique si crash
### 2. Expérience utilisateur
- [ ] Réduction latence globale
- [ ] Qualité voix améliorée (XTTS)
- [ ] Streaming temps réel (STT + TTS)
### 3. Extensibilité
- [ ] Multi-utilisateurs (Effi + assistant fils + autres)
- [ ] Multi-langues dynamiques
- [ ] Plugins voix personnalisées
---
## 📝 RAPPELS
### URLs importantes
```
Effi-STT (STT) : http://192.168.1.11:8200
openedai-speech : http://192.168.1.11:8100
Ollama (LLM) : http://192.168.1.11:11434
Open WebUI : http://192.168.1.27:3000
```
### Commandes essentielles
```bash
Docker version 29.3.1
ROCm: RX 7800 XT gfx1101 détectée
Firewall: 1025-65535/tcp ouverts
# Logs
sudo docker logs effi-stt -f
sudo docker logs openedai-speech -f
# Redémarrer
sudo docker restart effi-stt openedai-speech
# Test rapide
curl http://192.168.1.11:8200/health
curl http://192.168.1.11:8100/health
```
### Configuration Open WebUI (à garder)
```yaml
STT:
Engine: OpenAI
URL: http://192.168.1.11:8200/v1
Model: whisper-1
Language: fr
TTS:
Engine: OpenAI
URL: http://192.168.1.11:8100/v1
Model: tts-1
Voice: siwis # ou tom, ou alloy
```
---
### PHASE 2 : TTS (openedai-speech) ⏳ EN COURS
## 💡 IDÉES FUTURES
**Objectif :** Déployer openedai-speech sur folzo-Corp avec ROCm
**Étapes :**
#### 2.1 Structure et configuration
- [ ] Créer dossiers `~/openedai-speech/{tts-voices,tts-config}`
- [ ] Créer `docker-compose.yml` avec ROCm support
- [ ] Créer `voice_to_speaker.yaml` (config voix XTTS)
#### 2.2 Modèles de voix
- [ ] Télécharger modèles Piper (fallback)
- `en_US-libritts_r-medium.onnx`
- `en_US-libritts_r-medium.onnx.json`
- [ ] (Optionnel) Restaurer fichiers .wav personnalisés depuis backup
#### 2.3 Déploiement
- [ ] Lancer container : `docker compose up -d`
- [ ] Vérifier logs : `docker logs -f openedai-speech`
- [ ] Test local : `curl http://localhost:8100/v1/audio/speech`
- [ ] Test depuis effi-server : `curl http://192.168.1.11:8100/...`
**Fichiers à créer :**
```
~/openedai-speech/
├── docker-compose.yml
├── tts-config/
│ └── voice_to_speaker.yaml
└── tts-voices/
├── en_US-libritts_r-medium.onnx
├── en_US-libritts_r-medium.onnx.json
└── (nova.wav, alloy.wav...)
```
**Guide détaillé :** `docs/03-guides/voix-ouie-fedora-install.md`
- **Mode conversation continue** : STT toujours actif (hotword detection)
- **Multi-voix** : Alternance voix selon contexte
- **Emotions** : Modulation voix selon réponse (joie, sérieux...)
- **Personalisation voix** : Clonage voix via XTTS (échantillons audio)
- **Assistant mobile** : App Android/iOS qui se connecte à Effi
---
### PHASE 3 : STT (speaches - Whisper) ⏳ EN COURS
**Objectif :** Déployer speaches avec Whisper large-v3-turbo
**Étapes :**
#### 3.1 Structure
- [ ] Créer dossier `~/speaches`
- [ ] Cloner repo : `git clone https://github.com/speaches-ai/speaches.git`
#### 3.2 Configuration
- [ ] Créer `Dockerfile` (image uv + speaches)
- [ ] Créer `docker-compose.yml` avec volume modèles
#### 3.3 Déploiement
- [ ] Builder image : `docker compose build`
- [ ] Lancer services : `docker compose up -d`
- [ ] Attendre téléchargement modèle (~1.5GB)
- [ ] Vérifier enregistrement modèle : `curl http://localhost:8200/v1/models`
#### 3.4 Tests
- [ ] Test local transcription
- [ ] Test depuis effi-server
**Configuration :**
- Modèle : `deepdml/faster-whisper-large-v3-turbo-ct2`
- Langue : `fr`
- Compute : `int8` (CPU)
- Threads : `4`
**Note :** ROCm GPU pour Whisper est optionnel futur (compilation complexe)
---
### PHASE 4 : Configuration Open WebUI ⏳ À FAIRE
**Objectif :** Connecter TTS/STT à Open WebUI
**Admin Panel → Settings → Audio :**
**STT :**
- [ ] Engine : `OpenAI`
- [ ] API Base URL : `http://192.168.1.11:8200/v1`
- [ ] Model : `deepdml/faster-whisper-large-v3-turbo-ct2`
**TTS :**
- [ ] Engine : `OpenAI`
- [ ] API Base URL : `http://192.168.1.11:8100/v1`
- [ ] Model : `tts-1-hd`
- [ ] Voice : `nova` (ou `alloy` en fallback)
**Tests finaux :**
- [ ] Test micro dans chat Effi
- [ ] Vérifier STT → transcription
- [ ] Vérifier réponse LLM
- [ ] Vérifier TTS → lecture voix
---
## 📚 AUTRES TÂCHES (APRÈS VOIX/OUÏE)
### Phase 5 : Optimisations
#### 5.1 Web Search
- [ ] Tester autres backends (SearXNG auto-hébergé)
- [ ] Augmenter nombre résultats (10 ?)
- [ ] Vérifier paramètres concurrents
#### 5.2 Home Assistant
- [ ] Diagnostiquer lenteur
- [ ] Optimiser connexions/cache
- [ ] Réduire entités exposées si besoin
### Phase 6 : Intégrations majeures
#### 6.1 Joplin + OpenWebUI
- [ ] Vérifier URL Joplin Server
- [ ] Tester API Joplin
- [ ] Créer outil ou script de sync
#### 6.2 Génération d'image (ComfyUI)
- [ ] Installer ComfyUI sur folzo-Corp (ROCm)
- [ ] Télécharger modèle SDXL ou SD 1.5
- [ ] Configurer dans OpenWebUI
### Phase 7 : Outils additionnels
#### 7.1 Web Scraping
- [ ] Chercher tool marketplace OpenWebUI
- [ ] Tester ou créer tool custom
#### 7.2 Calendrier
- [ ] Identifier solution calendrier (Google/Nextcloud)
- [ ] Chercher tool CalDAV/Google Calendar
- [ ] Configurer accès API
---
## 🔧 RÉFÉRENCES & DOCUMENTATION
### Documentation créée
1. **Guide installation voix/ouïe Fedora** : `docs/03-guides/voix-ouie-fedora-install.md`
- Plan complet TTS/STT
- Docker compose configs
- Procédures de test
- Dépannage
2. **Historique complet projet** : `docs/ARCHIVE/HISTORIQUE-COMPLET-EFFI.md`
- Toute l'histoire du projet
- Choix technologiques
- Problèmes et solutions
3. **Configuration recap** : `docs/CONFIGURATION-RECAP-GITEA.md`
- Config actuelle validée
- Paramètres modèles
- Prompts système
4. **Optimisations top 30** : `docs/04-depannage/openwebui-optimisation-top30.md`
- Meilleurs outils/functions
- Paramètres optimaux
- Astuces performances
### Liens importants
- **Dépôt Gitea** : https://gitea.folzocorp.fr/Folzo/effi
- **openedai-speech** : https://github.com/matatonic/openedai-speech
- **speaches** : https://github.com/speaches-ai/speaches
---
## 💡 NOTES POUR LE PROCHAIN THREAD
### Contexte technique
**Infrastructure actuelle validée :**
- effi-server : Intel J5040, 8GB RAM - Open WebUI, Qdrant, N8N ✅
- folzo-Corp : Ryzen 5800X3D, RX 7800 XT 16GB, 32GB RAM, **Fedora** ✅
- Modèle : Effi (qwen3.5:9b, contexte 32K) ✅
- Mémoire : Solution manuelle retenue ✅
- Web Search : Actif avec DDGS ✅
**En cours d'installation :**
- openedai-speech (TTS) sur folzo-Corp
- speaches (STT) sur folzo-Corp
### Points d'attention
1. **ROCm fonctionne** sur Fedora, mais build CTranslate2 complexe
2. **Whisper restera en CPU** pour l'instant (suffisant)
3. **XTTS v2** pour TTS donne meilleure qualité voix
4. **Docker sur Fedora** utilise Podman par défaut, mais docker installé explicitement
### Prochaines étapes après voix/ouïe
1. **Joplin integration** : Besoin RAG sur notes existantes
2. **ComfyUI** : Génération image avec RX 7800 XT 16GB
3. **Optimisations** : Web search, Home Assistant performance
---
## 📝 RÉCAPITULATIF COMMANDES
```bash
# === SUR FOLZO-CORP (Fedora) ===
# 1. TTS - openedai-speech
cd ~/openedai-speech
docker compose up -d
docker logs -f openedai-speech
# 2. STT - speaches
cd ~/speaches
docker compose build
docker compose up -d
docker logs -f speaches-stt
# 3. Tests
curl http://localhost:8100/v1/audio/speech \
-H "Content-Type: application/json" \
-d '{"model":"tts-1","input":"Test","voice":"alloy"}' \
--output /tmp/test.mp3
curl http://localhost:8200/v1/models
# === SUR EFFI-SERVER ===
# Configurer dans Open WebUI Admin Panel
# STT: http://192.168.1.11:8200/v1
# TTS: http://192.168.1.11:8100/v1
```
---
**Créé le :** 2026-04-05
**Mis à jour :** 2026-04-05
**Statut :** 🔄 EN COURS - Installation TTS/STT sur Fedora
*Prochaine session : Optimisations et améliorations (quand tu voudras)*