Folzo
93f31cdaeb
- Effi-OCR: Service OCR avec Tesseract (multilingue FR/EN) * API FastAPI sur port 8300 * Prétraitement images (contraste, niveaux de gris) * Tool OpenWebUI intégré - Web Scraper: Service Python (BeautifulSoup) sur port 11235 * Alternative à Crawl4AI (incompatible ARM64/J5040) * Scraping HTML basique mais fonctionnel * Intégré au docker-compose d'effi-server - Documentation: * ROADMAP-FONCTIONNALITES.md: Plan des 9 fonctionnalités * WEB-SCRAPER-CONFIG.md: Configuration OpenWebUI * WEB-SCRAPER-TOOL.md: Code du Tool - Script start-all-services.sh mis à jour (6 services)
83 lines
2.0 KiB
Bash
83 lines
2.0 KiB
Bash
#!/bin/bash
|
|
# Script d'installation de Crawl4AI sur effi-server
|
|
# À copier et exécuter sur effi-server (192.168.1.27)
|
|
|
|
set -e
|
|
|
|
echo "================================"
|
|
echo "Installation Crawl4AI (effi-server)"
|
|
echo "================================"
|
|
echo ""
|
|
|
|
# 1. Créer le répertoire
|
|
INSTALL_DIR="$HOME/effi-crawl4ai"
|
|
mkdir -p "$INSTALL_DIR"
|
|
cd "$INSTALL_DIR"
|
|
|
|
echo "📁 Répertoire créé : $INSTALL_DIR"
|
|
|
|
# 2. Créer le docker-compose.yml
|
|
cat > docker-compose.yml << 'EOF'
|
|
# Service Crawl4AI pour Effi (effi-server)
|
|
# Version CPU - plus légère
|
|
|
|
services:
|
|
crawl4ai:
|
|
image: unclecode/crawl4ai:basic
|
|
container_name: effi-crawl4ai
|
|
ports:
|
|
- "11235:11235"
|
|
environment:
|
|
- CRAWL4AI_API_TOKEN=${CRAWL4AI_API_TOKEN:-}
|
|
- MAX_CONCURRENT_TASKS=3
|
|
- CRAWL4AI_ENABLE_GPU=false
|
|
volumes:
|
|
- /dev/shm:/dev/shm
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
memory: 2G
|
|
reservations:
|
|
memory: 512M
|
|
restart: unless-stopped
|
|
healthcheck:
|
|
test: ["CMD", "curl", "-f", "http://localhost:11235/health"]
|
|
interval: 30s
|
|
timeout: 10s
|
|
retries: 3
|
|
start_period: 60s
|
|
EOF
|
|
|
|
echo "📝 docker-compose.yml créé"
|
|
|
|
# 3. Démarrer le service
|
|
echo ""
|
|
echo "🚀 Démarrage de Crawl4AI..."
|
|
docker-compose up -d
|
|
|
|
# 4. Attendre le démarrage
|
|
echo ""
|
|
echo "⏳ Attente du démarrage (30s)..."
|
|
sleep 30
|
|
|
|
# 5. Vérification
|
|
echo ""
|
|
echo "🔍 Vérification..."
|
|
if curl -s http://localhost:11235/health > /dev/null 2>&1; then
|
|
echo "✅ Crawl4AI est démarré et accessible sur http://localhost:11235"
|
|
else
|
|
echo "⚠️ Le service ne répond pas encore. Vérifier les logs :"
|
|
echo " docker logs effi-crawl4ai"
|
|
fi
|
|
|
|
echo ""
|
|
echo "================================"
|
|
echo "Installation terminée !"
|
|
echo "================================"
|
|
echo ""
|
|
echo "📋 Prochaines étapes :"
|
|
echo " 1. Dans OpenWebUI → Admin → Tools → Web Search and Crawl"
|
|
echo " 2. Configurer la valve 'Crawl4AI Base URL' : http://localhost:11235"
|
|
echo " 3. Activer le Tool"
|
|
echo ""
|