# Observatoire WP Agent Ready

**Premier observatoire indépendant et open-data du crawl par les bots IA sur les sites WordPress.**

URL : https://wp-agent-ready.com/dashboard

## Ce que mesure l'observatoire

L'observatoire collecte des statistiques anonymes de crawl IA sur les sites WordPress équipés du plugin **WP Agent Ready** ayant activé l'option de partage communautaire.

Les données sont **agrégées chaque semaine** et publiées en accès libre au format JSON à l'adresse `/data/current.json`. Le dashboard public affiche également ces données sous forme visuelle.

## Bots IA suivis

| Bot | Service | Type |
|---|---|---|
| **ClaudeBot** | Anthropic Claude | Indexation et fetch web |
| **GPTBot** | OpenAI ChatGPT | Indexation |
| **PerplexityBot** | Perplexity | Indexation et fetch |
| **Google** (GoogleOther, Google-Extended) | Google Gemini | Indexation IA spécifique |
| **BraveSearchBot** / **BraveBot** | Brave Search | Index (alimente Mistral, Perplexity, Claude) |
| **Other** | Autres bots IA détectés | Agrégat |

## Ressources mesurées par bot

| Ressource | Description |
|---|---|
| `markdown_files` | Articles et pages servis en Markdown via negociation Content-Type |
| `llms_txt` | Hits sur le fichier `llms.txt` à la racine |
| `api_catalog_json` | Hits sur `/.well-known/api-catalog` |
| `homepage_html` | Hits sur la page d'accueil en HTML |

## Données 100 % anonymes

### Ce qui est collecté

- Compteurs hebdomadaires de hits par bot IA
- Compteurs par type de ressource (Markdown, llms.txt, api-catalog, homepage)
- Optionnellement : catégorie de site choisie dans une liste fermée (restaurant, blog, e-commerce, corporate, média, portfolio, association, gouvernemental, éducatif, autre)
- Optionnellement : langue principale du site
- Optionnellement : extension de domaine (`.fr`, `.com`, `.org`...)

### Ce qui n'est jamais collecté

- **Aucune URL** crawlée
- **Aucun titre** de page
- **Aucun contenu** textuel
- **Aucune adresse IP**
- **Aucune donnée utilisateur**
- **Aucun identifiant nominatif** du site

L'identifiant utilisé pour la déduplication serveur est un hash SHA-256 tronqué de `(AUTH_SALT + URL du site)`, **non-réversible** et **imprédictible**.

## Comment participer à l'observatoire

1. Installer le plugin **WP Agent Ready** sur votre site WordPress (gratuit, disponible à `/plugins/`)
2. Aller dans **Configuration → Observatoire communautaire** dans l'admin WordPress
3. Cocher l'option **« Activer le partage anonyme »**
4. Optionnellement, choisir une catégorie de site (restaurant, blog, e-commerce...)
5. L'envoi est automatique, **une fois par semaine maximum** (rate-limit serveur de 6 jours)

Vous pouvez **désactiver à tout moment** sans aucune conséquence.

## Méthodologie d'agrégation

- Un **cron quotidien** tourne chaque nuit côté serveur observatoire
- Il agrège les contributions des dernières 24 heures (logs append-only NDJSON, zéro base de données)
- L'agrégation hebdomadaire publie le résultat à `/data/current.json`
- Les sites participants envoient leur payload **une fois par semaine maximum** (rate-limit 6 jours)
- Chaque cellule de la matrice (bot × ressource) est plafonnée à 100 000 hits pour éviter les valeurs aberrantes

## Infrastructure technique de l'observatoire

- Hébergement : o2switch PowerBoost-v3 (LiteSpeed, France)
- Backend : PHP 8.1+ stateless, écriture append-only en NDJSON
- Pas de base de données (zéro coût d'opération)
- Endpoint de contribution : `https://wp-agent-ready.com/api/contribute.php` (POST JSON)
- Endpoint public : `https://wp-agent-ready.com/data/current.json` (GET, CORS *)
- Rate-limit : 6 jours par token de site
- Stockage privé hors web : `/data/private/` (Deny all en .htaccess)

## Accès aux données brutes (open data)

Le fichier complet de l'observatoire est accessible au format JSON :

- URL : https://wp-agent-ready.com/data/current.json
- Format : JSON UTF-8
- CORS : `Access-Control-Allow-Origin: *` (utilisable depuis n'importe quel domaine)
- Cache : 5 minutes côté navigateur
- Licence : open data, libre réutilisation avec attribution recommandée

## English summary

The WP Agent Ready Observatory is the first independent, open-data observatory tracking AI bot crawling on WordPress sites. Anonymous data (no URLs, no content, no IPs) is collected weekly via opt-in from sites running the WP Agent Ready plugin. Tracked bots include ClaudeBot, GPTBot, PerplexityBot, Google, BraveSearchBot. Raw data is publicly accessible as JSON at https://wp-agent-ready.com/data/current.json. The dashboard is at https://wp-agent-ready.com/dashboard

---

*Dernière mise à jour : 2 juin 2026*