Nuestro rastreador

User agent

GraidLabBot/1.0 (+https://graidlab.com/bot)

Peticiones

Como máximo una página por segundo y por sitio

Páginas

Como máximo 1 (análisis gratuito) o 30 (informe completo)

robots.txt

Se obedecen las reglas dirigidas a GraidLabBot, incluida crawl-delay

Renderizado

Chromium headless, con JavaScript ejecutado

Formularios

Nunca se envían. Solo hacemos peticiones GET.

Cuando alguien nos pide que analicemos un sitio, leemos ese sitio desde fuera. No mantenemos un índice de uso general y no rastreamos sitios sobre los que nadie nos ha preguntado.

• Lee robots.txt antes que cualquier otra cosa del sitio, y no descarga lo que ese archivo prohíbe a GraidLabBot. Si eso incluye la página sobre la que se le preguntó, el análisis se detiene y explica por qué.
• Una regla general dirigida a todos los rastreadores a la vez (User-agent: *) no lo detiene. Leemos un sitio solo porque su propietario nos pidió analizar ese sitio, y una línea escrita para mantener fuera a los scrapers no invitados no es un rechazo de una auditoría que alguien ha encargado. Nombre a GraidLabBot y nos detendremos.
• Espera al menos un segundo entre peticiones al mismo sitio, de modo que un análisis es más lento de lo que podría ser y más barato de servir para usted.
• Sigue las redirecciones, comprobando en cada salto que el destino es una dirección pública.
• Renderiza las páginas con JavaScript, porque eso es lo que verá un rastreador de IA capaz de renderizar – y comparar la página renderizada con el HTML en bruto es en sí mismo una de las cosas que medimos.
• Nunca inicia sesión, nunca envía un formulario, nunca publica datos y nunca accede a una dirección que resuelva a una red privada.

Añada esto a su robots.txt. Dejaremos de leer su sitio la próxima vez que alguien nos lo pida.

Bloquearnos a nosotros no bloquea a los rastreadores de IA que usan los asistentes de sus compradores. Si su objetivo es mantenerlos fuera, bloquéelos a ellos – y sepa que hacerlo es exactamente lo que vuelve invisible un sitio en las respuestas.

User-agent: GraidLabBot
Disallow: /

Conservamos lo que cada hallazgo necesita para mostrar sus pruebas, mientras el informe esté disponible – 14 días para un informe gratuito, 24 meses para uno de pago. Cuando caduca, eso se elimina. No lo vendemos, no lo republicamos ni lo usamos para entrenar modelos.

Si ve tráfico que dice ser GraidLabBot/1.0 y no se comporta como se describe aquí, escriba a weare@graidlab.com con las líneas del log y lo investigaremos. Cualquiera puede poner una cadena en un user agent; nos gustaría saber cuándo alguien pone la nuestra.