Ajout Effi-OCR (Tesseract) + Web Scraper pour OpenWebUI

- Effi-OCR: Service OCR avec Tesseract (multilingue FR/EN) * API FastAPI sur port 8300 * Prétraitement images (contraste, niveaux de gris) * Tool OpenWebUI intégré - Web Scraper: Service Python (BeautifulSoup) sur port 11235 * Alternative à Crawl4AI (incompatible ARM64/J5040) * Scraping HTML basique mais fonctionnel * Intégré au docker-compose d'effi-server - Documentation: * ROADMAP-FONCTIONNALITES.md: Plan des 9 fonctionnalités * WEB-SCRAPER-CONFIG.md: Configuration OpenWebUI * WEB-SCRAPER-TOOL.md: Code du Tool - Script start-all-services.sh mis à jour (6 services)
2026-04-06 16:34:27 +02:00
parent 5f1e19ff91
commit 93f31cdaeb
25 changed files with 2469 additions and 6 deletions
@@ -0,0 +1,111 @@
+# Configuration Web Search and Crawl (OpenWebUI)
+
+Guide de configuration du Tool **Web Search and Crawl** dans OpenWebUI avec Crawl4AI.
+
+## Prérequis
+
+- [ ] Crawl4AI installé et démarré sur effi-server (voir `install-on-effiserver.sh`)
+- [ ] OpenWebUI accessible sur http://192.168.1.27:3000
+
+## Étapes de configuration
+
+### 1. Vérifier que Crawl4AI tourne
+
+Sur **effi-server** :
+```bash
+curl http://localhost:11235/health
+# Doit retourner : {"status":"healthy"}
+```
+
+### 2. Accéder au Tool dans OpenWebUI
+
+1. Ouvrir http://192.168.1.27:3000
+2. Se connecter en admin
+3. Aller dans **Admin Panel** → **Tools**
+4. Trouver **Web Search and Crawl**
+5. Cliquer sur l'icône ⚙️ (Settings/Valves)
+
+### 3. Configurer les Valves
+
+| Valve | Valeur | Description |
+|-------|--------|-------------|
+| **Crawl4AI Base URL** | `http://localhost:11235` | URL du service Crawl4AI |
+| **Crawl4AI API Token** | (vide) | Token si configuré dans docker-compose |
+| **Timeout** | `30000` | Timeout en millisecondes (30s) |
+| **Max Length** | `10000` | Nombre max de caractères extraits |
+| **Enable JavaScript** | ✅ | Activer l'exécution JavaScript |
+
+### 4. Activer le Tool
+
+1. Cocher la case **Enable** sur le Tool
+2. Cliquer sur **Save**
+3. Le Tool est maintenant actif !
+
+## Test de fonctionnement
+
+Créer une nouvelle conversation et demander :
+
+```
+"Effi, cherche les dernières nouvelles sur Fedora 42 et résume-moi les articles"
+```
+
+L'agent devrait :
+1. Utiliser la recherche web
+2. Scraper les pages trouvées
+3. Te présenter un résumé
+
+## Troubleshooting
+
+### "Crawl4AI not responding"
+
+Vérifier sur effi-server :
+```bash
+docker ps | grep crawl4ai
+docker logs effi-crawl4ai
+```
+
+### "Timeout error"
+
+Augmenter la valve **Timeout** à `60000` (60 secondes) dans les settings du Tool.
+
+### "Memory error"
+
+La version CPU est limitée à 2GB. Pour les pages très lourdes :
+- Augmenter dans `docker-compose.yml` : `memory: 3G`
+- Redémarrer : `docker-compose up -d`
+
+## Commandes utiles
+
+**Redémarrer Crawl4AI** :
+```bash
+cd ~/effi-crawl4ai
+docker-compose restart
+```
+
+**Voir les logs** :
+```bash
+docker logs -f effi-crawl4ai
+```
+
+**Mettre à jour l'image** :
+```bash
+cd ~/effi-crawl4ai
+docker-compose pull
+docker-compose up -d
+```
+
+## Fonctionnalités disponibles
+
+Une fois configuré, tu peux demander à Effi :
+
+| Requête | Description |
+|---------|-------------|
+| "Cherche X et résume" | Recherche + résumé automatique |
+| "Extraire le contenu de [URL]" | Scraping direct d'une page |
+| "Comparer [produit] sur plusieurs sites" | Multi-site scraping |
+| "Vérifier les prix de [article]" | Surveillance de prix |
+| "Trouver des documentations sur [sujet]" | Recherche technique |
+
+---
+
+*Configuration créée le 6 Avril 2026*