Scrapers

✅ Scraping de pages web publiques (httpx + BeautifulSoup) : titre, description, liens, headings, Open Graph

✅ Actualités multi-sources : Google News RSS, Le Monde, BBC, TechCrunch, Reuters — cycle 15 min

✅ Contenu tech social : Hacker News (Algolia), Dev.to API, Reddit JSON API, DuckDuckGo — cycle 30 min

✅ Annonces e-commerce : eBay France, Vinted, BackMarket, Fnac, DuckDuckGo Shopping — cycle 60 min

✅ Offres d'emploi : RemoteOK, Arbeitnow, WeWorkRemotely, The Muse, DuckDuckGo — cycle 120 min

✅ Publications scientifiques : CrossRef, PubMed, OpenAlex, Semantic Scholar, arXiv API — cycle 6h

✅ Marchés financiers : Yahoo Finance v8, stooq.com, CoinGecko (crypto), ECB Data Portal — cycle 5 min

✅ Données géographiques : Nominatim OSM, Overpass POIs, Wikipedia GeoSearch, Open-Meteo météo — cycle 12h

✅ POST /agents/scrapers/web/scrape-batch — scraping de liste d'URLs en parallèle avec cache résultats

✅ Suivi runtime en mémoire : status, last_run, last_results_count, last_error — reset au redémarrage