Folzo
93f31cdaeb
- Effi-OCR: Service OCR avec Tesseract (multilingue FR/EN) * API FastAPI sur port 8300 * Prétraitement images (contraste, niveaux de gris) * Tool OpenWebUI intégré - Web Scraper: Service Python (BeautifulSoup) sur port 11235 * Alternative à Crawl4AI (incompatible ARM64/J5040) * Scraping HTML basique mais fonctionnel * Intégré au docker-compose d'effi-server - Documentation: * ROADMAP-FONCTIONNALITES.md: Plan des 9 fonctionnalités * WEB-SCRAPER-CONFIG.md: Configuration OpenWebUI * WEB-SCRAPER-TOOL.md: Code du Tool - Script start-all-services.sh mis à jour (6 services)
4.7 KiB
4.7 KiB
Crawl4AI sur folzo-Corp
Architecture
┌─────────────────────────────────────────────────────────────────┐
│ folzo-Corp (GPU) │
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌────────┐ │
│ │ Ollama │ │ComfyUI │ │Effi-STT │ │Effi-OCR │ │Crawl4AI│ │
│ │ :11434 │ │ :8188 │ │ :8200 │ │ :8300 │ │:11235 │ │
│ └────┬────┘ └─────────┘ └─────────┘ └─────────┘ └───┬────┘ │
│ │ │ │
│ │ http://192.168.1.11:11235 │ │
│ └──────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────────┘
│
│ HTTP API
│
┌─────────────────────────────────────────────────────────────────┐
│ effi-server (J5040) │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────────┐ │
│ │ OpenWebUI │ │ Qdrant │ │ Tool Config │ │
│ │ :3000 │ │ :6333 │ │ Crawl4AI Base URL: │ │
│ └──────┬──────┘ └─────────────┘ │ http://192.168.1.11:11235│ │
│ │ └─────────────────────────┘ │
│ │ ❌ PAS de Crawl4AI local │
└─────────┼───────────────────────────────────────────────────────┘
│
└──────► Réseau effi-net
Déploiement
1. Sur folzo-Corp (déjà fait)
Les fichiers sont dans /home/folzo/Documents/OpenCode/Projets/Effi/effi-crawl4ai/
cd /home/folzo/Documents/OpenCode/Projets/Effi/effi-crawl4ai
docker-compose up -d
2. Sur effi-server (à faire)
Supprimer le service local qui ne fonctionne pas :
cd /root/effi
# Option A : Script automatique
curl -o remove-from-effi.sh [URL_du_script]
bash remove-from-effi.sh
# Option B : Manuel
docker-compose stop crawl4ai
docker-compose rm -f crawl4ai
docker rmi unclecode/crawl4ai:basic
# Éditer docker-compose.yml et supprimer le service crawl4ai (section #8)
Ouvrir le firewall sur folzo-Corp :
# Sur folzo-Corp
sudo firewall-cmd --add-port=11235/tcp --permanent
sudo firewall-cmd --reload
3. Configuration OpenWebUI
Dans http://192.168.1.27:3000 :
- Admin Panel → Tools → Web Search and Crawl → ⚙️
- Crawl4AI Base URL :
http://192.168.1.11:11235← L'IP de folzo-Corp ! - Timeout :
30000(ou60000si lenteur) - Activer le Tool ✅
Avantages de cette architecture
✅ Crawl4AI tourne sur CPU/GPU puissant (folzo-Corp)
✅ Effi-server (J5040) n'est pas surchargé
✅ Réseau local rapide entre les deux machines
✅ Charge répartie : scraping sur folzo-Corp, interface sur effi-server
Vérification
# Sur folzo-Corp
curl http://localhost:11235/health
# Résultat : {"status":"healthy"}
# Sur effi-server
curl http://192.168.1.11:11235/health
# Résultat : {"status":"healthy"}
Test
Dans OpenWebUI :
"Effi, cherche les dernières nouvelles sur Linux et résume-moi un article"
Troubleshooting
"Connection refused" depuis effi-server :
- Vérifier que Crawl4AI tourne sur folzo-Corp :
docker ps | grep crawl4ai - Vérifier le firewall sur folzo-Corp :
sudo firewall-cmd --list-ports
Timeout :
- Augmenter à 60000ms dans OpenWebUI
- La latence réseau entre les machines peut causer des timeouts
Architecture mise à jour pour J5040 + RX 7800 XT