From 189ff4eaab524f0accf8f59ff65b78bdd2a698c9 Mon Sep 17 00:00:00 2001 From: Folzo Date: Sun, 12 Apr 2026 16:19:14 +0200 Subject: [PATCH] docs: April 2026 optimizations - gemma4:e4b, RAG, Ollama service - LLM principal: gemma4:e4b (9.6GB, 128K context, MMLU 82.6%) - Ollama service systemd with optimization vars (FLASH_ATTENTION, KV_CACHE) - RAG: RAG_SYSTEM_CONTEXT=True, ENABLE_RAG_HYBRID_SEARCH=True - ComfyUI memory manager: fix timestamp parsing (execution_success) --- README.md | 20 ++++++++++++++++---- 1 file changed, 16 insertions(+), 4 deletions(-) diff --git a/README.md b/README.md index 3739e5b..2cf96a8 100644 --- a/README.md +++ b/README.md @@ -56,7 +56,7 @@ Effi est un assistant IA personnel **100% auto-hébergé**, avec mémoire persis | Service | Port | Image | Rôle | RAM/VRAM | Auto-unload | |---------|------|-------|------|----------|-------------| -| **Ollama** | 11434 | Native | LLM inference | Variable | N/A | +| **Ollama** | 11434 | Native | LLM inference (gemma4:e4b) | ~10GB | systemd auto-start | | **ComfyUI** | 8188 | `yanwk/comfyui-boot:rocm` | Image + Audio generation | 18GB shm | ✅ après 10min idle | | **effi-stt** | 8200 | Build local | Whisper STT | ~20MB | ✅ après 5min idle | | **openedai-speech** | 8100 | `ghcr.io/matatonic/openedai-speech` | TTS | ~15MB | Non (GPU) | @@ -85,8 +85,9 @@ Effi est un assistant IA personnel **100% auto-hébergé**, avec mémoire persis ### 💬 Chat IA - **Interface**: Open WebUI -- **LLM principal**: qwen3:8b (via Ollama) -- **Autres modèles disponibles**: qwen3.5, gemma4, deepseek-r1, mistral, etc. +- **LLM principal**: gemma4:e4b (via Ollama, 9.6GB, 128K context) +- **LLM secondaire**: qwen3:8b (tâches légères) +- **Autres modèles**: qwen3.5, gemma4:26b, deepseek-r1, magistral, etc. ### 🎤 Pipeline Vocal - **STT**: Whisper large-v3 via effi-stt (CPU, déchargement auto) @@ -221,7 +222,8 @@ effi/ ├── systemd/ # Services systemd │ ├── comfyui-memory-manager.service │ ├── kreuzberg-memory-manager.service -│ └── beszel-agent-wake.service +│ ├── beszel-agent-wake.service +│ └── ollama.service # Ollama LLM (folzo-Corp) │ ├── docs/ # Documentation │ ├── SESSION-2026-04-12-RAM-BESZEL.md @@ -254,6 +256,16 @@ effi/ - Données extraites du champ `info` (cpu, mp, g, dt, la, etc.) - Pattern Valves Pydantic pour configuration +### LLM Optimization (gemma4:e4b) ✅ +- Installation gemma4:e4b (9.6GB, 128K context, MMLU 82.6%) +- Service systemd Ollama propre (User=folzo, auto-start) +- Variables: OLLAMA_FLASH_ATTENTION=1, OLLAMA_KV_CACHE_TYPE=q8_0, OLLAMA_CONTEXT_LENGTH=32768 +- Note: gemma4:26b (18GB) ne tient pas dans 17GB VRAM RX 7800 XT + +### RAG Optimization ✅ +- effi-server: RAG_SYSTEM_CONTEXT=True (meilleur KV cache pour RAG) +- effi-server: ENABLE_RAG_HYBRID_SEARCH=True + **Améliorations futures**: - Support historique (données des N dernières minutes) - Filtres par période