Comment les agents IA crawlent
le web agent-ready
Premier observatoire indépendant et open-data du crawl par les bots IA sur les sites WordPress équipés du plugin WP Agent Ready. Données anonymes, agrégées chaque semaine, publiées en accès libre.
Filtrer par crawler IA
Cochez les crawlers à inclure dans les graphiques et la matrice ci-dessous. Par défaut, tous les bots actifs sont affichés. Les bots sans hits sur la période sont grisés.
Crawl par bot IA
Volume hebdomadaire par crawler, tous types de ressources confondus.
Crawl par ressource
Quels formats sont préférés par les agents IA pour découvrir le contenu.
Matrice bot × ressource
Croisement complet des hits par crawler et par type de fichier. Les zéros indiquent les ressources que ce bot n'a pas (encore) crawlées.
| Bot / Ressource | llms.txt | markdown | api-catalog | homepage | markdown (forcé UA) | html (UA off) | html (article) | Total HTML | % MD natif | Total |
|---|---|---|---|---|---|---|---|---|---|---|
| Chargement des données… | ||||||||||
Par catégorie de site
- —
Par langue
- —
Par extension de domaine
- —
Données 100 % anonymes
Ce qui est collecté
Compteurs hebdomadaires de hits par bot IA (ClaudeBot, GPTBot, PerplexityBot, Google, BraveSearch, Other) et par type de ressource (llms.txt, fichiers .md, api-catalog.json, homepage HTML). Optionnellement, une catégorie de site choisie dans une liste fermée (restaurant, blog, e-commerce, etc.).
Ce qui n'est jamais collecté
Aucune URL, aucun titre de page, aucun contenu, aucune adresse IP, aucune donnée utilisateur, aucun identifiant nominatif du site. L'identifiant utilisé pour la déduplication est un hash SHA-256 tronqué de (AUTH_SALT + URL), non-réversible et imprédictible.
Comment participer
Installez le plugin WP Agent Ready sur votre site WordPress, puis cochez l'option « Activer le partage anonyme » dans Configuration → Observatoire communautaire. Désactivable à tout moment, désactivé par défaut.
Mise à jour des données
Le cron quotidien aggrège chaque nuit les contributions des dernières 24 heures. Les sites participants envoient leur payload une fois par semaine maximum (rate-limit serveur de 6 jours). Toutes les données brutes sont accessibles en JSON à /data/current.json.
Open Data (licence CC0)
Toutes les données sont publiées sous licence CC0 1.0 — domaine public. Schéma JSON documenté, exemples d'usage en cURL / Python / R, archives semaine par semaine et dumps mensuels téléchargeables : consulter la page Open Data →
Devenez la prochaine
source de données.
L'observatoire compte aujourd'hui —. Plus nous sommes nombreux, plus les patterns de crawl IA deviennent statistiquement significatifs et utiles à toute la communauté WordPress.
Installer le plugin
WP Agent Ready est un plugin WordPress libre et gratuit (GPL v2+). Il rend votre site lisible et indexable par les agents IA via le standard llms.txt, les fichiers Markdown et le protocole agent-skills.
Télécharger le plugin →Activer le partage
Dans l'admin WordPress, ouvrez Configuration → Observatoire communautaire et cochez l'opt-in. Aucune autre configuration nécessaire, l'envoi est automatique chaque semaine.