Ajout Effi-OCR (Tesseract) + Web Scraper pour OpenWebUI

- Effi-OCR: Service OCR avec Tesseract (multilingue FR/EN) * API FastAPI sur port 8300 * Prétraitement images (contraste, niveaux de gris) * Tool OpenWebUI intégré - Web Scraper: Service Python (BeautifulSoup) sur port 11235 * Alternative à Crawl4AI (incompatible ARM64/J5040) * Scraping HTML basique mais fonctionnel * Intégré au docker-compose d'effi-server - Documentation: * ROADMAP-FONCTIONNALITES.md: Plan des 9 fonctionnalités * WEB-SCRAPER-CONFIG.md: Configuration OpenWebUI * WEB-SCRAPER-TOOL.md: Code du Tool - Script start-all-services.sh mis à jour (6 services)
2026-04-06 16:34:27 +02:00
parent 5f1e19ff91
commit 93f31cdaeb
25 changed files with 2469 additions and 6 deletions
@@ -0,0 +1,115 @@
+# Crawl4AI sur folzo-Corp
+
+## Architecture
+
+```
+┌─────────────────────────────────────────────────────────────────┐
+│                        folzo-Corp (GPU)                         │
+│  ┌─────────┐  ┌─────────┐  ┌─────────┐  ┌─────────┐  ┌────────┐ │
+│  │ Ollama  │  │ComfyUI  │  │Effi-STT │  │Effi-OCR │  │Crawl4AI│ │
+│  │  :11434 │  │  :8188  │  │  :8200  │  │  :8300  │  │:11235  │ │
+│  └────┬────┘  └─────────┘  └─────────┘  └─────────┘  └───┬────┘ │
+│       │                                                  │      │
+│       │         http://192.168.1.11:11235                │      │
+│       └──────────────────────────────────────────────────┘      │
+└─────────────────────────────────────────────────────────────────┘
+                              │
+                              │ HTTP API
+                              │
+┌─────────────────────────────────────────────────────────────────┐
+│                      effi-server (J5040)                        │
+│  ┌─────────────┐  ┌─────────────┐  ┌─────────────────────────┐  │
+│  │ OpenWebUI   │  │   Qdrant    │  │     Tool Config         │  │
+│  │   :3000     │  │   :6333     │  │  Crawl4AI Base URL:     │  │
+│  └──────┬──────┘  └─────────────┘  │  http://192.168.1.11:11235│  │
+│         │                           └─────────────────────────┘  │
+│         │                        ❌ PAS de Crawl4AI local       │
+└─────────┼───────────────────────────────────────────────────────┘
+          │
+          └──────► Réseau effi-net
+```
+
+## Déploiement
+
+### 1. Sur folzo-Corp (déjà fait)
+
+Les fichiers sont dans `/home/folzo/Documents/OpenCode/Projets/Effi/effi-crawl4ai/`
+
+```bash
+cd /home/folzo/Documents/OpenCode/Projets/Effi/effi-crawl4ai
+docker-compose up -d
+```
+
+### 2. Sur effi-server (à faire)
+
+**Supprimer le service local qui ne fonctionne pas :**
+
+```bash
+cd /root/effi
+
+# Option A : Script automatique
+curl -o remove-from-effi.sh [URL_du_script]
+bash remove-from-effi.sh
+
+# Option B : Manuel
+docker-compose stop crawl4ai
+docker-compose rm -f crawl4ai
+docker rmi unclecode/crawl4ai:basic
+
+# Éditer docker-compose.yml et supprimer le service crawl4ai (section #8)
+```
+
+**Ouvrir le firewall sur folzo-Corp** :
+
+```bash
+# Sur folzo-Corp
+sudo firewall-cmd --add-port=11235/tcp --permanent
+sudo firewall-cmd --reload
+```
+
+### 3. Configuration OpenWebUI
+
+Dans http://192.168.1.27:3000 :
+
+1. **Admin Panel** → **Tools** → **Web Search and Crawl** → ⚙️
+2. **Crawl4AI Base URL** : `http://192.168.1.11:11235` ← L'IP de folzo-Corp !
+3. **Timeout** : `30000` (ou `60000` si lenteur)
+4. Activer le Tool ✅
+
+## Avantages de cette architecture
+
+✅ **Crawl4AI** tourne sur CPU/GPU puissant (folzo-Corp)  
+✅ **Effi-server** (J5040) n'est pas surchargé  
+✅ **Réseau** local rapide entre les deux machines  
+✅ **Charge répartie** : scraping sur folzo-Corp, interface sur effi-server
+
+## Vérification
+
+```bash
+# Sur folzo-Corp
+curl http://localhost:11235/health
+# Résultat : {"status":"healthy"}
+
+# Sur effi-server
+curl http://192.168.1.11:11235/health
+# Résultat : {"status":"healthy"}
+```
+
+## Test
+
+Dans OpenWebUI :
+> *"Effi, cherche les dernières nouvelles sur Linux et résume-moi un article"*
+
+## Troubleshooting
+
+**"Connection refused" depuis effi-server** :
+- Vérifier que Crawl4AI tourne sur folzo-Corp : `docker ps | grep crawl4ai`
+- Vérifier le firewall sur folzo-Corp : `sudo firewall-cmd --list-ports`
+
+**Timeout** :
+- Augmenter à 60000ms dans OpenWebUI
+- La latence réseau entre les machines peut causer des timeouts
+
+---
+
+*Architecture mise à jour pour J5040 + RX 7800 XT*