docs: Prepare clean handoff for ComfyUI image generation session
- Update PROMPT-REPRISE.md for new ComfyUI objective - Create detailed PROMPT-REPRISE-COMFYUI.md with installation plan - Mark STT/TTS as completed - Include verification steps and key points - Ready for next agent to take over image generation
This commit is contained in:
Folzo
@@ -0,0 +1,214 @@
|
||||
# 🎨 PROCHAIN THREAD : Génération d'Images avec ComfyUI
|
||||
|
||||
> **Date** : 05 Avril 2026
|
||||
> **Objectif** : Installer et configurer ComfyUI pour génération d'images sur RX 7800 XT
|
||||
> **Prérequis** : ✅ Tous terminés (STT, TTS, voix FR)
|
||||
|
||||
---
|
||||
|
||||
## ✅ ÉTAT ACTUEL (Au moment de la reprise)
|
||||
|
||||
### Infrastructure en place
|
||||
|
||||
**folzo-Corp (192.168.1.11) - Fedora, RX 7800 XT 16GB**
|
||||
```
|
||||
✅ Ollama (port 11434) - qwen3.5:9b
|
||||
✅ Effi-STT (port 8200) - faster-whisper large-v3
|
||||
✅ openedai-speech (port 8100) - Piper + voix FR
|
||||
⏳ ComfyUI (port 8188) - À INSTALLER
|
||||
```
|
||||
|
||||
**effi-server (192.168.1.27)**
|
||||
```
|
||||
✅ Open WebUI (port 3000)
|
||||
✅ Qdrant (port 6333)
|
||||
✅ N8N (port 5678)
|
||||
```
|
||||
|
||||
### Configuration OpenWebUI (Audio)
|
||||
```yaml
|
||||
STT:
|
||||
Engine: OpenAI
|
||||
URL: http://192.168.1.11:8200/v1
|
||||
Model: whisper-1
|
||||
Language: fr
|
||||
|
||||
TTS:
|
||||
Engine: OpenAI
|
||||
URL: http://192.168.1.11:8100/v1
|
||||
Model: tts-1
|
||||
Voice: siwis # ou tom
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🎯 OBJECTIF DU PROCHAIN THREAD
|
||||
|
||||
### Génération d'Images avec ComfyUI
|
||||
|
||||
**Pourquoi ComfyUI ?**
|
||||
- Interface node-based puissante
|
||||
- Workflows personnalisables
|
||||
- Support ROCm (AMD GPU)
|
||||
- Parfait pour RX 7800 XT 16GB
|
||||
|
||||
**Ce qu'on va faire :**
|
||||
1. Installer ComfyUI sur folzo-Corp
|
||||
2. Configurer ROCm pour utiliser la RX 7800 XT
|
||||
3. Télécharger modèle Stable Diffusion (SDXL ou SD 1.5)
|
||||
4. Configurer dans OpenWebUI
|
||||
5. Tester génération d'images
|
||||
|
||||
**Résultat attendu :**
|
||||
```
|
||||
Effi: "Dessine-moi un chat astronaute sur la lune"
|
||||
→ ComfyUI génère l'image
|
||||
→ Affichage dans OpenWebUI
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 📋 PLAN D'INSTALLATION
|
||||
|
||||
### Phase 1 : Installation ComfyUI
|
||||
|
||||
**Option A : Docker (Recommandé)**
|
||||
```bash
|
||||
# Chercher image ComfyUI avec ROCm support
|
||||
# ou utiliser image standard + config ROCm
|
||||
```
|
||||
|
||||
**Option B : Installation native**
|
||||
```bash
|
||||
# Cloner repo
|
||||
# Installer dépendances
|
||||
# Configurer ROCm
|
||||
```
|
||||
|
||||
### Phase 2 : Configuration ROCm
|
||||
|
||||
**Vérifications :**
|
||||
```bash
|
||||
rocm-smi # Voir si GPU détecté
|
||||
```
|
||||
|
||||
**Configuration :**
|
||||
- Variables d'environnement ROCm
|
||||
- PyTorch avec backend ROCm
|
||||
- Test GPU
|
||||
|
||||
### Phase 3 : Modèles Stable Diffusion
|
||||
|
||||
**Choix du modèle :**
|
||||
|
||||
| Modèle | VRAM Requise | Qualité | Vitesse |
|
||||
|--------|--------------|---------|---------|
|
||||
| SD 1.5 | ~4-6 GB | Bonne | Rapide |
|
||||
| SDXL Base | ~8-10 GB | Excellente | Moyenne |
|
||||
| SDXL + Refiner | ~12-16 GB | Top | Lente |
|
||||
| Pony Diffusion | ~8-10 GB | Très bonne | Moyenne |
|
||||
|
||||
**Recommandation** : SDXL Base (optimisé pour 16GB)
|
||||
|
||||
**Téléchargement :**
|
||||
- HuggingFace (Stable Diffusion XL)
|
||||
- CivitAI (modèles communautaires)
|
||||
|
||||
### Phase 4 : Intégration OpenWebUI
|
||||
|
||||
**Configuration :**
|
||||
```yaml
|
||||
Admin Panel → Settings → Images
|
||||
Provider: ComfyUI
|
||||
URL: http://192.168.1.11:8188
|
||||
```
|
||||
|
||||
**Test :**
|
||||
- Génération simple
|
||||
- Prompt complexe
|
||||
- Vérifier utilisation GPU
|
||||
|
||||
---
|
||||
|
||||
## 🔧 RESSOURCES UTILES
|
||||
|
||||
### Documentation
|
||||
- `docs/TACHES-RESTANTES.md` - Liste complète des tâches
|
||||
- `docs/COMPTE-RENDU-SESSION-2026-04-05.md` - Bilan session voix
|
||||
- `docs/ARCHIVE/HISTORIQUE-COMPLET-EFFI.md` - Historique projet
|
||||
|
||||
### Liens importants
|
||||
- **ComfyUI GitHub** : https://github.com/comfyanonymous/ComfyUI
|
||||
- **ROCm + PyTorch** : https://pytorch.org/get-started/locally/
|
||||
- **SDXL sur HuggingFace** : https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
|
||||
|
||||
### Commandes de référence
|
||||
|
||||
```bash
|
||||
# Vérifier GPU
|
||||
rocm-smi
|
||||
|
||||
# Logs ComfyUI (quand installé)
|
||||
sudo docker logs comfyui
|
||||
|
||||
# Test GPU PyTorch
|
||||
python -c "import torch; print(torch.cuda.is_available())"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## ⚠️ POINTS D'ATTENTION
|
||||
|
||||
### ROCm et RX 7800 XT
|
||||
- Architecture : **gfx1101** (Navi 32)
|
||||
- ROCm 6.x supporte cette architecture
|
||||
- PyTorch ROCm nécessaire
|
||||
|
||||
### Espace disque
|
||||
- ComfyUI : ~2-5 GB
|
||||
- Modèle SDXL : ~6-7 GB
|
||||
- Total : Prévoir ~15-20 GB libres
|
||||
|
||||
### Mémoire VRAM
|
||||
- SDXL Base : ~8-10 GB pendant génération
|
||||
- Laisse de la marge pour Ollama (qwen3.5 utilise ~6GB)
|
||||
- Total utilisé : ~14-16 GB (ça passe sur 16GB)
|
||||
|
||||
---
|
||||
|
||||
## 🚀 POUR DÉMARRER
|
||||
|
||||
Au début du prochain thread, vérifier :
|
||||
|
||||
1. **Effi-STT fonctionne toujours ?**
|
||||
```bash
|
||||
curl http://192.168.1.11:8200/health
|
||||
```
|
||||
|
||||
2. **TTS fonctionne toujours ?**
|
||||
```bash
|
||||
curl http://192.168.1.11:8100/health
|
||||
```
|
||||
|
||||
3. **ROCm OK ?**
|
||||
```bash
|
||||
rocm-smi
|
||||
```
|
||||
|
||||
Si tout est vert → **Go pour ComfyUI !** 🎨
|
||||
|
||||
---
|
||||
|
||||
## 💡 IDÉES DE TESTS APRÈS INSTALLATION
|
||||
|
||||
1. **Génération simple** : "un chat sur un tapis"
|
||||
2. **Style artistique** : "paysage cyberpunk, style Blade Runner"
|
||||
3. **Portrait** : "portrait d'un elfe, fantasy art, détaillé"
|
||||
4. **Concept** : "voiture volante rétro-futuriste, années 50"
|
||||
5. **Avec Effi** : Demander à Effi de décrire une image, puis la générer
|
||||
|
||||
---
|
||||
|
||||
**Ready to create some art ?** 🎨✨
|
||||
|
||||
*Document créé le 05/04/2026 - Prêt pour la prochaine session*
|
||||
+139
-90
@@ -1,124 +1,173 @@
|
||||
# PROMPT REPRISE THREAD - EFFI PROJECT
|
||||
# 🎨 PROMPT REPRISE THREAD - COMFYUI (Génération d'Images)
|
||||
|
||||
**Date :** 2026-04-05
|
||||
**Contexte :** Session terminée, à reprendre demain
|
||||
**Lieu :** `/home/folzo/Documents/OpenCode/Projets/Effi/.opencode/TODO-NEXT-THREAD.md`
|
||||
**Contexte :** Session précédente (Voix et Ouïe) TERMINÉE avec succès
|
||||
**Nouvel objectif :** Génération d'images avec ComfyUI
|
||||
**Document spécifique :** `.opencode/PROMPT-REPRISE-COMFYUI.md`
|
||||
|
||||
---
|
||||
|
||||
## MESSAGE DE REPRISE
|
||||
## 🎉 CE QUI VIENT D'ÊTRE ACCOMPLI
|
||||
|
||||
Bonjour ! Je reprends le projet **Effi** (assistant IA local OpenWebUI) là où la session précédente s'est arrêtée.
|
||||
### ✅ Session "Voix et Ouïe" - 100% TERMINÉ
|
||||
|
||||
### Contexte immédiat
|
||||
**STT (Speech-to-Text) :**
|
||||
- ✅ Effi-STT créé (notre solution FastAPI)
|
||||
- ✅ faster-whisper large-v3
|
||||
- ✅ API OpenAI compatible
|
||||
- ✅ Fonctionne en français
|
||||
- ✅ Test réussi : "Coucou Ify, est-ce que tu m'entends ?"
|
||||
|
||||
**Configuration actuelle (OPÉRATIONNELLE) :**
|
||||
- ✅ OpenWebUI sur effi-server (192.168.1.27:3000)
|
||||
- ✅ Ollama sur folzo-Corp (192.168.1.11) avec qwen3.5:9b (32K context)
|
||||
- ✅ Sub Agent Tool installé et fonctionnel
|
||||
- ✅ Web Search actif (DDGS)
|
||||
- ✅ Mémoire : Solution manuelle retenue
|
||||
- ✅ Infrastructure nettoyée (7 services Docker)
|
||||
- ✅ Documentation créée et poussée sur Gitea
|
||||
**TTS (Text-to-Speech) :**
|
||||
- ✅ openedai-speech configuré
|
||||
- ✅ Voix française féminine (siwis) pour Effi
|
||||
- ✅ Voix française masculine (tom) pour assistant fils
|
||||
- ✅ Pipeline vocal complet fonctionnel
|
||||
|
||||
**Points à traiter (demande utilisateur) :**
|
||||
|
||||
### PRIORITÉ 1 : RÉPARATIONS
|
||||
1. **TTS (Openedai-Speech)** - Connexion refusée port 8100
|
||||
2. **Whisper (STT)** - Qualité/performance à améliorer
|
||||
|
||||
### PRIORITÉ 2 : NOUVELLES FONCTIONNALITÉS
|
||||
3. **Joplin + OpenWebUI** - Lier Joplin Server pour RAG sur notes
|
||||
4. **Génération d'image** - Tester capacité RX 7800 XT avec ComfyUI
|
||||
5. **Web Scraping** - Installer outil de scraping
|
||||
6. **Calendrier** - Accès calendrier pour Effi
|
||||
|
||||
### PRIORITÉ 3 : OPTIMISATIONS
|
||||
7. **Web Search** - Optimiser paramètres DDGS
|
||||
8. **Home Assistant** - Performance très lente à corriger
|
||||
**Documentation :**
|
||||
- ✅ Tout poussé sur Gitea
|
||||
- ✅ Compte-rendu complet créé
|
||||
- ✅ TODO mis à jour
|
||||
|
||||
---
|
||||
|
||||
## FICHIER DE RÉFÉRENCE OBLIGATOIRE
|
||||
## 🎯 NOUVEAU OBJECTIF : Génération d'Images
|
||||
|
||||
**LIRE ABSOLUMENT AVANT DE COMMENCER :**
|
||||
**Pourquoi ComfyUI ?**
|
||||
- Utilise la **RX 7800 XT 16GB** (GPU puissant)
|
||||
- Interface node-based puissante
|
||||
- Workflows personnalisables
|
||||
- Support ROCm (AMD)
|
||||
|
||||
**Résultat attendu :**
|
||||
```
|
||||
/home/folzo/Documents/OpenCode/Projets/Effi/.opencode/TODO-NEXT-THREAD.md
|
||||
Effi: "Dessine-moi un chat astronaute sur la lune"
|
||||
→ ComfyUI génère l'image
|
||||
→ Affichage dans OpenWebUI
|
||||
```
|
||||
|
||||
Ce fichier contient :
|
||||
- Les détails de chaque tâche
|
||||
- Les solutions techniques envisagées
|
||||
- Les commandes de diagnostic
|
||||
- L'ordre de priorité suggéré
|
||||
---
|
||||
|
||||
## 📋 PLAN DE LA SESSION
|
||||
|
||||
### Phase 1 : Installation ComfyUI (1h)
|
||||
- [ ] Choisir méthode (Docker ou natif)
|
||||
- [ ] Installer sur folzo-Corp
|
||||
- [ ] Configurer ROCm pour GPU
|
||||
|
||||
### Phase 2 : Modèles Stable Diffusion (30min)
|
||||
- [ ] Télécharger SDXL Base
|
||||
- [ ] Vérifier espace disque
|
||||
- [ ] Tester chargement modèle
|
||||
|
||||
### Phase 3 : Intégration OpenWebUI (30min)
|
||||
- [ ] Configurer Settings → Images
|
||||
- [ ] Tester génération simple
|
||||
- [ ] Vérifier utilisation GPU
|
||||
|
||||
### Phase 4 : Tests et optimisations (1h)
|
||||
- [ ] Tests prompts variés
|
||||
- [ ] Vérifier performances
|
||||
- [ ] Documenter
|
||||
|
||||
---
|
||||
|
||||
## APPROCHE RECOMMANDÉE
|
||||
## 📁 FICHIERS DE RÉFÉRENCE
|
||||
|
||||
1. **Lire le TODO** complet pour comprendre le contexte
|
||||
2. **Prioriser les réparations** (TTS, Whisper) - rapides et visibles
|
||||
3. **Attaquer un gros projet** (Joplin ou Images) - valeur ajoutée forte
|
||||
4. **Documenter** chaque changement dans `/docs/`
|
||||
5. **Commiter** régulièrement sur Gitea
|
||||
### À lire avant de commencer
|
||||
```
|
||||
/home/folzo/Documents/OpenCode/Projets/Effi/.opencode/PROMPT-REPRISE-COMFYUI.md
|
||||
```
|
||||
|
||||
Contient :
|
||||
- Plan détaillé d'installation
|
||||
- Choix des modèles SD
|
||||
- Configuration ROCm
|
||||
- Points d'attention
|
||||
|
||||
### Contexte projet
|
||||
```
|
||||
/home/folzo/Documents/OpenCode/Projets/Effi/docs/TACHES-RESTANTES.md
|
||||
```
|
||||
|
||||
Liste complète des 8 tâches originales (STT/TTS maintenant terminés)
|
||||
|
||||
---
|
||||
|
||||
## PROFIL UTILISATEUR
|
||||
## ✅ VÉRIFICATIONS DE DÉPART
|
||||
|
||||
- **Nom :** Folzo
|
||||
- **Compétences :** Développeur Python expérimenté, Linux, Docker
|
||||
- **Style :** Préférence self-hosté, solutions locales
|
||||
- **Infrastructure :** Solide (RX 7800 XT 16GB, Ryzen 5800X3D)
|
||||
- **Attentes :** Efficacité, pas de solutions cloud, documentation claire
|
||||
|
||||
---
|
||||
|
||||
## RÈGLES DE COMMUNICATION
|
||||
|
||||
- Réponses **concises** (2-6 phrases pour questions simples)
|
||||
- **Français uniquement**
|
||||
- Proposer **commandes prêtes à copier**
|
||||
- Toujours **confirmer** avant action destructive
|
||||
- **Expliquer le pourquoi** des commandes
|
||||
|
||||
---
|
||||
|
||||
## COMMANDES DE BASE
|
||||
Au début de la session, vérifier :
|
||||
|
||||
```bash
|
||||
# Vérifier status services effi-server
|
||||
cd ~/effi && docker compose ps
|
||||
# 1. Effi-STT fonctionne ?
|
||||
curl http://192.168.1.11:8200/health
|
||||
# Attendu: {"status":"healthy","model":"large-v3"}
|
||||
|
||||
# Vérifier Ollama sur folzo-Corp
|
||||
ssh folzo@192.168.1.11 "ollama ps"
|
||||
# 2. TTS fonctionne ?
|
||||
curl http://192.168.1.11:8100/health
|
||||
# Attendu: healthy
|
||||
|
||||
# Logs OpenWebUI
|
||||
docker logs open-webui --tail 100
|
||||
|
||||
# Git commit
|
||||
cd /home/folzo/Documents/OpenCode/Projets/Effi
|
||||
git add .
|
||||
git commit -m "type: description"
|
||||
git push origin main
|
||||
# 3. ROCm OK ?
|
||||
ssh folzo@192.168.1.11 "rocm-smi"
|
||||
# Attendu: RX 7800 XT détectée
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## SUCCÈS DE LA SESSION PRÉCÉDENTE
|
||||
|
||||
✅ Infrastructure nettoyée et stabilisée
|
||||
✅ Sub Agent installé et configuré
|
||||
✅ Prompt Effi optimisé (32K context)
|
||||
✅ Mémoire manuelle configurée
|
||||
✅ Top 30 outils documentés
|
||||
✅ Configuration poussée sur Gitea
|
||||
|
||||
**L'utilisateur est satisfait et motivé pour continuer !**
|
||||
Si tout est vert → **GO pour ComfyUI !** 🎨
|
||||
|
||||
---
|
||||
|
||||
**Première action recommandée :**
|
||||
Lire `/home/folzo/Documents/OpenCode/Projets/Effi/.opencode/TODO-NEXT-THREAD.md` puis demander à l'utilisateur par quoi il veut commencer (TTS, Joplin, ou Images).
|
||||
## 🚀 APPROCHE RECOMMANDÉE
|
||||
|
||||
Bonne session ! 🚀
|
||||
1. **Lire** `PROMPT-REPRISE-COMFYUI.md` pour le contexte complet
|
||||
2. **Choisir** méthode d'installation (Docker vs natif)
|
||||
3. **Installer** étape par étape
|
||||
4. **Tester** avec un prompt simple
|
||||
5. **Documenter** dans `/docs/`
|
||||
6. **Commiter** sur Gitea
|
||||
|
||||
---
|
||||
|
||||
## ⚠️ POINTS CLÉS
|
||||
|
||||
### ROCm et RX 7800 XT
|
||||
- Architecture : **gfx1101**
|
||||
- ROCm 6.x compatible
|
||||
- PyTorch ROCm nécessaire
|
||||
|
||||
### Espace disque nécessaire
|
||||
- ComfyUI : ~2-5 GB
|
||||
- Modèle SDXL : ~6-7 GB
|
||||
- **Total : ~15-20 GB**
|
||||
|
||||
### Mémoire VRAM
|
||||
- SDXL utilise ~8-10 GB
|
||||
- Ollama (qwen3.5) utilise ~6 GB
|
||||
- **Total : ~14-16 GB sur 16 GB** (ça passe !)
|
||||
|
||||
---
|
||||
|
||||
## 📝 RÈGLES DE COMMUNICATION
|
||||
|
||||
- Réponses **concises** (2-6 phrases)
|
||||
- **Français uniquement**
|
||||
- **Commandes prêtes à copier**
|
||||
- **Confirmer** avant action destructive
|
||||
- **Expliquer** le pourquoi
|
||||
|
||||
---
|
||||
|
||||
## 🎨 EXEMPLES DE TESTS APRÈS INSTALLATION
|
||||
|
||||
1. "un chat sur un tapis" (simple)
|
||||
2. "paysage cyberpunk, style Blade Runner" (style)
|
||||
3. "portrait d'un elfe, fantasy art" (portrait)
|
||||
4. "voiture volante rétro-futuriste" (concept)
|
||||
|
||||
---
|
||||
|
||||
**Première action :**
|
||||
Lire `.opencode/PROMPT-REPRISE-COMFYUI.md` puis commencer l'installation !
|
||||
|
||||
Bonne session de création ! 🎨✨
|
||||
|
||||
*Génération d'images avec la RX 7800 XT - Let's create some art!*
|
||||
|
||||
Reference in New Issue
Block a user