Notre robot d'exploration

User agent

GraidLabBot/1.0 (+https://graidlab.com/bot)

Requêtes

Au maximum une page par seconde et par site

Pages

Au maximum 1 (analyse gratuite) ou 30 (rapport complet)

robots.txt

Les règles adressées à GraidLabBot sont respectées, crawl-delay compris

Rendu

Chromium headless, JavaScript exécuté

Formulaires

Jamais soumis. Nous n'émettons que des requêtes GET.

Lorsque quelqu'un nous demande d'analyser un site, nous lisons ce site de l'extérieur. Nous ne tenons pas d'index généraliste et nous n'explorons pas les sites pour lesquels personne ne nous a rien demandé.

• Il lit robots.txt avant toute autre chose sur le site et ne récupère pas ce que ce fichier interdit à GraidLabBot. Si cela inclut la page sur laquelle porte la demande, l'analyse s'arrête et en indique la raison.
• Une règle générale visant tous les robots d'exploration à la fois (User-agent: *) ne l'arrête pas. Nous ne lisons un site que parce que son propriétaire nous a demandé de l'analyser, et une ligne écrite pour tenir à l'écart les scrapers non invités n'est pas un refus d'un audit que quelqu'un a commandé. Nommez GraidLabBot et nous nous arrêtons.
• Il attend au moins une seconde entre deux requêtes vers le même site : une analyse est donc plus lente qu'elle ne pourrait l'être, et moins coûteuse à servir pour vous.
• Il suit les redirections, en vérifiant à chaque étape que la destination est une adresse publique.
• Il effectue le rendu des pages avec JavaScript, car c'est ce que verra un robot d'exploration IA capable de faire le rendu – et comparer la page rendue au HTML brut fait partie de ce que nous mesurons.
• Il ne se connecte jamais, ne soumet jamais de formulaire, n'envoie jamais de données et ne touche jamais à une adresse qui pointe vers un réseau privé.

Ajoutez ceci à votre robots.txt. Nous cesserons de lire votre site dès la prochaine demande d'analyse.

Nous bloquer ne bloque pas les robots d'exploration IA qu'utilisent les assistants de vos acheteurs. Si votre objectif est de tenir ceux-là à l'écart, bloquez-les eux – et sachez que c'est exactement ce qui rend un site invisible dans les réponses.

User-agent: GraidLabBot
Disallow: /

Nous conservons ce dont chaque constat a besoin pour en présenter les preuves, aussi longtemps que le rapport reste disponible – 14 jours pour un rapport gratuit, 24 mois pour un rapport payant. À l'expiration, ces données sont supprimées. Nous ne les vendons pas, ne les republions pas et ne les utilisons pas pour entraîner des modèles.

Si vous constatez un trafic se présentant comme GraidLabBot/1.0 mais ne se comportant pas comme décrit ici, écrivez à weare@graidlab.com en joignant les lignes de journal et nous examinerons la question. N'importe qui peut mettre une chaîne dans un user agent ; nous aimerions savoir quand quelqu'un y met la nôtre.