Folzo
93f31cdaeb
- Effi-OCR: Service OCR avec Tesseract (multilingue FR/EN) * API FastAPI sur port 8300 * Prétraitement images (contraste, niveaux de gris) * Tool OpenWebUI intégré - Web Scraper: Service Python (BeautifulSoup) sur port 11235 * Alternative à Crawl4AI (incompatible ARM64/J5040) * Scraping HTML basique mais fonctionnel * Intégré au docker-compose d'effi-server - Documentation: * ROADMAP-FONCTIONNALITES.md: Plan des 9 fonctionnalités * WEB-SCRAPER-CONFIG.md: Configuration OpenWebUI * WEB-SCRAPER-TOOL.md: Code du Tool - Script start-all-services.sh mis à jour (6 services)
112 lines
2.7 KiB
Markdown
112 lines
2.7 KiB
Markdown
# Configuration Web Search and Crawl (OpenWebUI)
|
|
|
|
Guide de configuration du Tool **Web Search and Crawl** dans OpenWebUI avec Crawl4AI.
|
|
|
|
## Prérequis
|
|
|
|
- [ ] Crawl4AI installé et démarré sur effi-server (voir `install-on-effiserver.sh`)
|
|
- [ ] OpenWebUI accessible sur http://192.168.1.27:3000
|
|
|
|
## Étapes de configuration
|
|
|
|
### 1. Vérifier que Crawl4AI tourne
|
|
|
|
Sur **effi-server** :
|
|
```bash
|
|
curl http://localhost:11235/health
|
|
# Doit retourner : {"status":"healthy"}
|
|
```
|
|
|
|
### 2. Accéder au Tool dans OpenWebUI
|
|
|
|
1. Ouvrir http://192.168.1.27:3000
|
|
2. Se connecter en admin
|
|
3. Aller dans **Admin Panel** → **Tools**
|
|
4. Trouver **Web Search and Crawl**
|
|
5. Cliquer sur l'icône ⚙️ (Settings/Valves)
|
|
|
|
### 3. Configurer les Valves
|
|
|
|
| Valve | Valeur | Description |
|
|
|-------|--------|-------------|
|
|
| **Crawl4AI Base URL** | `http://localhost:11235` | URL du service Crawl4AI |
|
|
| **Crawl4AI API Token** | (vide) | Token si configuré dans docker-compose |
|
|
| **Timeout** | `30000` | Timeout en millisecondes (30s) |
|
|
| **Max Length** | `10000` | Nombre max de caractères extraits |
|
|
| **Enable JavaScript** | ✅ | Activer l'exécution JavaScript |
|
|
|
|
### 4. Activer le Tool
|
|
|
|
1. Cocher la case **Enable** sur le Tool
|
|
2. Cliquer sur **Save**
|
|
3. Le Tool est maintenant actif !
|
|
|
|
## Test de fonctionnement
|
|
|
|
Créer une nouvelle conversation et demander :
|
|
|
|
```
|
|
"Effi, cherche les dernières nouvelles sur Fedora 42 et résume-moi les articles"
|
|
```
|
|
|
|
L'agent devrait :
|
|
1. Utiliser la recherche web
|
|
2. Scraper les pages trouvées
|
|
3. Te présenter un résumé
|
|
|
|
## Troubleshooting
|
|
|
|
### "Crawl4AI not responding"
|
|
|
|
Vérifier sur effi-server :
|
|
```bash
|
|
docker ps | grep crawl4ai
|
|
docker logs effi-crawl4ai
|
|
```
|
|
|
|
### "Timeout error"
|
|
|
|
Augmenter la valve **Timeout** à `60000` (60 secondes) dans les settings du Tool.
|
|
|
|
### "Memory error"
|
|
|
|
La version CPU est limitée à 2GB. Pour les pages très lourdes :
|
|
- Augmenter dans `docker-compose.yml` : `memory: 3G`
|
|
- Redémarrer : `docker-compose up -d`
|
|
|
|
## Commandes utiles
|
|
|
|
**Redémarrer Crawl4AI** :
|
|
```bash
|
|
cd ~/effi-crawl4ai
|
|
docker-compose restart
|
|
```
|
|
|
|
**Voir les logs** :
|
|
```bash
|
|
docker logs -f effi-crawl4ai
|
|
```
|
|
|
|
**Mettre à jour l'image** :
|
|
```bash
|
|
cd ~/effi-crawl4ai
|
|
docker-compose pull
|
|
docker-compose up -d
|
|
```
|
|
|
|
## Fonctionnalités disponibles
|
|
|
|
Une fois configuré, tu peux demander à Effi :
|
|
|
|
| Requête | Description |
|
|
|---------|-------------|
|
|
| "Cherche X et résume" | Recherche + résumé automatique |
|
|
| "Extraire le contenu de [URL]" | Scraping direct d'une page |
|
|
| "Comparer [produit] sur plusieurs sites" | Multi-site scraping |
|
|
| "Vérifier les prix de [article]" | Surveillance de prix |
|
|
| "Trouver des documentations sur [sujet]" | Recherche technique |
|
|
|
|
---
|
|
|
|
*Configuration créée le 6 Avril 2026*
|