- Route virtuelle :3012 -> instance active (8080 Q4_K_M / 8081 IQ4_XS), etat persiste
- Alias modele qwen3.8-27b : reecriture id reel <-> alias (v1/models, chat, completions,
embeddings, streaming SSE) -> switch transparent pour tous les harnais
- UI de gestion :3017 (statut, Activer, Tester) en page unique sans dependance ajoutee
- Fail-fast 503 (20s) si instance active arreteee, sans spam WOL
LiteLLM expose l'API OpenAI /v1/* pas l'API Ollama /api/*. open-webui
doit etre branche via la section 'OpenAI API' (env OPENAI_API_BASE_URL +
OPENAI_API_KEY), pas via 'Ollama'. L'override ajoute ces vars a open-webui,
force-recreate pour propager. Confirme en prod: HTTP 200 sur :4000/v1/models
depuis le conteneur open-webui. Les 4 modeles Qwen3.6 remontent dans le chat.
Architecture (voir docs/ARCHITECTURE-LITELLM.md):
open-webui -> LiteLLM:4000
|- qwen3.6-27b -> jean-proxy:3012 -> Jean (.11:8080)
|- llama3.1-8b -> wol-proxy:3011 -> Ollama (.11:11434)
Nouveaux fichiers:
- wol-proxy/ (versionne l'app.py de prod deja en place)
- jean-proxy/ (clone du wol-proxy avec HEALTH_PATH=/health + retry post-WoL
pour services qui mettent du temps a demarrer apres WoL, ex: Jean qui
charge 14 Go en VRAM)
- litellm/config.yaml (routing par nom de modele, drop_params=true)
- docker-compose.litellm.yml (override ADDITIF: ajoute uniquement jean-proxy
et litellm, ne redemarre PAS open-webui/wol-proxy/hermes)
Teste en prod sur .27: Jean + Ollama repondent via LiteLLM:4000 avec
path-through de chat_template_kwargs.enable_thinking (raisonnement Qwen3.6
desactivable par requete). Zero impact hermes-webui/wol-proxy.
Basculer open-webui reste une etape manuelle (step 3 de la doc).
- Server API (/api/items/) does not expose note CRUD, only sync protocol
- Clipper API is the only way to read/write notes remotely
- Requires Joplin desktop open + Web Clipper enabled
- Added ping() function to check connectivity
- Valves: joplin_url, joplin_api_token
- Tool with Valves (leantime_url, leantime_api_key)
- 14 functions: projects, tickets, comments, users, timesheets, status labels
- JSON-RPC 2.0 client matching Leantime API
- Activate/deactivate per conversation in Open WebUI
- Original prompt kept for reference (200+ lines, too verbose)
- New optimized prompt: ~40 lines, -75% tokens
- Added table for tools usage (Kreuzberg, web_search, sub-agent, etc.)
- Optimized version includes explicit Kreuzberg usage for OCR
Permet à Effi de:
- get_all_stats() - Stats de tous les systèmes
- get_system_stats('folzocorp') - Stats d'un système
- check_alerts() - Vérifier les alertes
- get_gpu_status('folzocorp') - Status GPU AMD
- can_run_comfyui() - Vérifier si ComfyUI peut tourner
- effi-stt: Déchargement Whisper après 300s inactivité (INACTIVITY_TIMEOUT)
* Nouveaux endpoints: /unload, /reload, /stats
* Modelo rechargé à la première requête
- ComfyUI: Script monitor qui décharge VRAM après inactivité
* Vérifie usage VRAM toutes les 60s
* Exécute workflow UnloadAllModelsNode après 300s inactivité
- Kreuzberg: Manager qui redémarre le container après seuil mémoire + inactivité
* Restart si > 2GB pendant > 10min inactif
- Documentation: docs/MEMOIRE-GESTION.md
- Add docs/guide-ace-step.md with complete installation guide
- Add comfyui/download-ace-step.sh script for downloading model
- Add ComfyUI-Unload-Model custom node for model memory management
ACE-Step 1.5 Turbo: MIT license, <4GB VRAM, 50+ languages
- Add docs/audio/tts-research.md with Voxtral TTS, Kokoro-FastAPI, openedai-speech comparison
- Add docs/audio/stt-research.md with Voxtral STT, faster-whisper options
- Add docs/gpu/optimization.md with OLLAMA_KEEP_ALIVE and VRAM management
- Add docs/README.md with architecture overview
- Add index files for docs navigation
Research conducted April 2026 for future audio improvements
- Création du répertoire docs/prompts/
- VERSIONS.md: Historique des versions du prompt
- prompt-v1.md: Version actuelle du prompt système
Ce système permet de garder les anciennes versions
du prompt lors des modifications futures.
- Effi-OCR: Service OCR avec Tesseract (multilingue FR/EN)
* API FastAPI sur port 8300
* Prétraitement images (contraste, niveaux de gris)
* Tool OpenWebUI intégré
- Web Scraper: Service Python (BeautifulSoup) sur port 11235
* Alternative à Crawl4AI (incompatible ARM64/J5040)
* Scraping HTML basique mais fonctionnel
* Intégré au docker-compose d'effi-server
- Documentation:
* ROADMAP-FONCTIONNALITES.md: Plan des 9 fonctionnalités
* WEB-SCRAPER-CONFIG.md: Configuration OpenWebUI
* WEB-SCRAPER-TOOL.md: Code du Tool
- Script start-all-services.sh mis à jour (6 services)
- check-services.sh: Verify all services after WOL
- start-all-services.sh: Start all containers after boot
- WOL-ET-DEMARRAGE-AUTO.md: Complete guide for auto-start
- Ensure ComfyUI starts automatically with Docker
- Document all 8 original priority items
- Mark STT/TTS as completed
- Detail remaining tasks: Joplin, ComfyUI, Web Search, etc.
- Provide prioritization and time estimates
- Suggest next steps based on user preference
- Add comprehensive session report (05/04/2026)
- Document all achievements: STT, TTS, French voices
- Update TODO with completed phases and future ideas
- Include useful commands and configurations
- Ready for future optimizations
- Add detailed journal of all attempts (successes and failures)
- Explain speaches v0.8+ incompatibility with model cards
- Research and document whisper-asr-webservice as stable alternative
- Provide complete deployment plan with docker-compose
- Include validation checklist
- Complete installation plan for openedai-speech (TTS) on folzo-Corp
- Complete installation plan for speaches (STT) on folzo-Corp
- Docker compose configurations for both services
- Testing procedures and troubleshooting
- Phase breakdown with current status (Phase 1 complete)
- Synthesize 8 Perplexity conversation files into comprehensive history
- Document technology choices: AFFiNE → SiYuan → Obsidian
- Detail encountered problems and solutions (MCP, TTS, STT, etc.)
- Current validated configuration with qwen3.5:9b
- Prioritized TODO list for next phases
- Key learnings and recommendations
- Script audit-production.sh pour audit complet
- Script sync-from-production.sh pour synchronisation facile
- Guide WORKFLOW.md pour processus de modification
- README pour le dossier scripts
- Documentation complète du workflow Git
- Structure complète du projet
- Docker compose de production
- Documentation organisée par thèmes
- Guides d'installation et configuration
- Section dépannage détaillée
- Journal historique
Effi Server
Folzo
Folzo