Vores crawler

User agent

GraidLabBot/1.0 (+https://graidlab.com/bot)

Forespørgsler

Højst én side i sekundet pr. website

Sider

Højst 1 (gratis scanning) eller 30 (fuld rapport)

robots.txt

Regler rettet til GraidLabBot overholdes, inklusive crawl-delay

Rendering

Headless Chromium, JavaScript udføres

Formularer

Sendes aldrig. Vi laver kun GET-forespørgsler.

Når nogen beder os analysere et website, læser vi det website udefra. Vi driver ikke et generelt index, og vi crawler ikke websites, som ingen har bedt os om.

• Den læser robots.txt, før den læser noget andet på sitet, og henter ikke det, som den fil forbyder for GraidLabBot. Hvis det omfatter den side, vi er blevet bedt om, stopper analysen og oplyser hvorfor.
• En generel regel rettet mod alle crawlere på én gang (User-agent: *) stopper den ikke. Vi læser kun et website, fordi ejeren har bedt os analysere netop det website, og en linje skrevet for at holde uindbudte scrapere ude er ikke et afslag på en audit, som nogen har bestilt. Nævn GraidLabBot, så stopper vi.
• Den venter mindst ét sekund mellem forespørgsler til det samme website, så en scanning er langsommere, end den kunne være, og billigere for dig at levere.
• Den følger omdirigeringer og kontrollerer ved hvert hop på ny, at destinationen er en offentlig adresse.
• Den renderer sider med JavaScript, fordi det er det, en AI-crawler, der kan rendere, får at se – og sammenligningen af den renderede side med den rå HTML er i sig selv en af de ting, vi måler.
• Den logger aldrig ind, sender aldrig en formular, poster aldrig data og rører aldrig en adresse, der peger på et privat netværk.

Tilføj dette til din robots.txt. Så holder vi op med at læse dit website, næste gang nogen beder os om det.

At blokere os blokerer ikke de AI-crawlere, som dine køberes assistenter bruger. Hvis dit mål er at holde dem ude, så blokér dem i stedet – og vær klar over, at det er præcis det, der gør et website usynligt i svar.

User-agent: GraidLabBot
Disallow: /

Vi gemmer det, hvert enkelt fund kræver for at kunne vise sin dokumentation, så længe rapporten er tilgængelig – 14 dage for en gratis rapport, 24 måneder for en betalt. Når den udløber, bliver det slettet. Vi sælger det ikke, genudgiver det ikke og bruger det ikke til at træne modeller.

Hvis du ser trafik, der udgiver sig for at være GraidLabBot/1.0, og som ikke opfører sig som beskrevet her, så skriv til weare@graidlab.com med loglinjerne, så undersøger vi det. Alle kan skrive hvad som helst i en user agent; vi vil gerne vide det, når nogen skriver vores.