Folzo/Effi
Public Access
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: April 2026 optimizations - gemma4:e4b, RAG, Ollama service

Browse Source 
- LLM principal: gemma4:e4b (9.6GB, 128K context, MMLU 82.6%)
- Ollama service systemd with optimization vars (FLASH_ATTENTION, KV_CACHE)
- RAG: RAG_SYSTEM_CONTEXT=True, ENABLE_RAG_HYBRID_SEARCH=True
- ComfyUI memory manager: fix timestamp parsing (execution_success)
This commit is contained in:
Folzo
2026-04-12 16:19:14 +02:00
parent 49d7afdf1f
commit 189ff4eaab
1 changed files with 16 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+16 -4
View File
@@ -56,7 +56,7 @@ Effi est un assistant IA personnel **100% auto-hébergé**, avec mémoire persis
| Service | Port | Image | Rôle | RAM/VRAM | Auto-unload | | Service | Port | Image | Rôle | RAM/VRAM | Auto-unload |
|---------|------|-------|------|----------|-------------| |---------|------|-------|------|----------|-------------|
| **Ollama** | 11434 | Native | LLM inference | Variable | N/A | | **Ollama** | 11434 | Native | LLM inference (gemma4:e4b) | ~10GB | systemd auto-start |
| **ComfyUI** | 8188 | `yanwk/comfyui-boot:rocm` | Image + Audio generation | 18GB shm | ✅ après 10min idle | | **ComfyUI** | 8188 | `yanwk/comfyui-boot:rocm` | Image + Audio generation | 18GB shm | ✅ après 10min idle |
| **effi-stt** | 8200 | Build local | Whisper STT | ~20MB | ✅ après 5min idle | | **effi-stt** | 8200 | Build local | Whisper STT | ~20MB | ✅ après 5min idle |
| **openedai-speech** | 8100 | `ghcr.io/matatonic/openedai-speech` | TTS | ~15MB | Non (GPU) | | **openedai-speech** | 8100 | `ghcr.io/matatonic/openedai-speech` | TTS | ~15MB | Non (GPU) |
@@ -85,8 +85,9 @@ Effi est un assistant IA personnel **100% auto-hébergé**, avec mémoire persis
### 💬 Chat IA ### 💬 Chat IA
- **Interface**: Open WebUI - **Interface**: Open WebUI
- **LLM principal**: qwen3:8b (via Ollama) - **LLM principal**: gemma4:e4b (via Ollama, 9.6GB, 128K context)
- **Autres modèles disponibles**: qwen3.5, gemma4, deepseek-r1, mistral, etc. - **LLM secondaire**: qwen3:8b (tâches légères)
- **Autres modèles**: qwen3.5, gemma4:26b, deepseek-r1, magistral, etc.
### 🎤 Pipeline Vocal ### 🎤 Pipeline Vocal
- **STT**: Whisper large-v3 via effi-stt (CPU, déchargement auto) - **STT**: Whisper large-v3 via effi-stt (CPU, déchargement auto)
@@ -221,7 +222,8 @@ effi/
├── systemd/ # Services systemd ├── systemd/ # Services systemd
│ ├── comfyui-memory-manager.service │ ├── comfyui-memory-manager.service
│ ├── kreuzberg-memory-manager.service │ ├── kreuzberg-memory-manager.service
│ └── beszel-agent-wake.service │ ├── beszel-agent-wake.service
│ └── ollama.service # Ollama LLM (folzo-Corp)
│ │
├── docs/ # Documentation ├── docs/ # Documentation
│ ├── SESSION-2026-04-12-RAM-BESZEL.md │ ├── SESSION-2026-04-12-RAM-BESZEL.md
@@ -254,6 +256,16 @@ effi/
- Données extraites du champ `info` (cpu, mp, g, dt, la, etc.) - Données extraites du champ `info` (cpu, mp, g, dt, la, etc.)
- Pattern Valves Pydantic pour configuration - Pattern Valves Pydantic pour configuration
### LLM Optimization (gemma4:e4b) ✅
- Installation gemma4:e4b (9.6GB, 128K context, MMLU 82.6%)
- Service systemd Ollama propre (User=folzo, auto-start)
- Variables: OLLAMA_FLASH_ATTENTION=1, OLLAMA_KV_CACHE_TYPE=q8_0, OLLAMA_CONTEXT_LENGTH=32768
- Note: gemma4:26b (18GB) ne tient pas dans 17GB VRAM RX 7800 XT
### RAG Optimization ✅
- effi-server: RAG_SYSTEM_CONTEXT=True (meilleur KV cache pour RAG)
- effi-server: ENABLE_RAG_HYBRID_SEARCH=True
**Améliorations futures**: **Améliorations futures**:
- Support historique (données des N dernières minutes) - Support historique (données des N dernières minutes)
- Filtres par période - Filtres par période