Unser Crawler

User-Agent

GraidLabBot/1.0 (+https://graidlab.com/bot)

Anfragen

Höchstens eine Seite pro Sekunde und Website

Seiten

Höchstens 1 (kostenloser Scan) oder 30 (vollständiger Bericht)

robots.txt

Regeln, die an GraidLabBot gerichtet sind, werden befolgt, crawl-delay eingeschlossen

Rendering

Headless Chromium, JavaScript wird ausgeführt

Formulare

Werden nie abgeschickt. Wir stellen ausschließlich GET-Anfragen.

Wenn uns jemand bittet, eine Website zu analysieren, lesen wir diese Website von außen. Wir unterhalten keinen allgemeinen Index und crawlen keine Websites, nach denen uns niemand gefragt hat.

• Er liest die robots.txt, bevor er sonst etwas auf der Website liest, und ruft nicht ab, was diese Datei für GraidLabBot untersagt. Fällt darunter auch die Seite, um die es geht, bricht die Analyse ab und nennt den Grund.
• Eine pauschale Regel, die sich an alle Crawler zugleich richtet (User-agent: *), hält ihn nicht auf. Wir lesen eine Website nur, weil ihr Inhaber uns um deren Analyse gebeten hat, und eine Zeile, die ungebetene Scraper fernhalten soll, ist keine Absage an eine bestellte Prüfung. Nennen Sie GraidLabBot beim Namen, dann hören wir auf.
• Er wartet zwischen zwei Anfragen an dieselbe Website mindestens eine Sekunde. Ein Scan dauert dadurch länger, als er müsste, und kostet Sie weniger, ihn auszuliefern.
• Er folgt Weiterleitungen und prüft bei jedem Sprung erneut, ob das Ziel eine öffentliche Adresse ist.
• Er rendert Seiten mit JavaScript, denn genau das sieht ein KI-Crawler, der rendern kann – und der Vergleich der gerenderten Seite mit dem rohen HTML gehört selbst zu dem, was wir messen.
• Er meldet sich nie an, schickt nie ein Formular ab, sendet nie Daten und rührt nie eine Adresse an, die auf ein privates Netz auflöst.

Fügen Sie dies in Ihre robots.txt ein. Wenn uns das nächste Mal jemand darum bittet, lesen wir Ihre Website nicht mehr.

Uns zu blockieren blockiert nicht die KI-Crawler, die die Assistenten Ihrer Käufer nutzen. Wenn Sie diese fernhalten wollen, blockieren Sie diese – und wissen Sie, dass genau das eine Website in Antworten unsichtbar macht.

User-agent: GraidLabBot
Disallow: /

Wir behalten von jedem Befund so viel, wie nötig ist, um seinen Beleg zu zeigen, und zwar so lange, wie der Bericht verfügbar ist – 14 Tage bei einem kostenlosen Bericht, 24 Monate bei einem bezahlten. Läuft er ab, wird das gelöscht. Wir verkaufen es nicht, veröffentlichen es nicht erneut und trainieren damit keine Modelle.

Wenn Sie Traffic sehen, der sich als GraidLabBot/1.0 ausgibt und sich nicht so verhält, wie hier beschrieben, schreiben Sie mit den Logzeilen an weare@graidlab.com, und wir sehen uns das an. Jeder kann eine beliebige Zeichenfolge in einen User-Agent schreiben; wir würden gern erfahren, wenn jemand unsere hineinschreibt.