Náš robot

User agent

GraidlabBot/1.0 (+https://graidlab.com/bot)

Požadavky

Nejvýše jedna stránka za sekundu na web

Stránky

Nejvýše 1 (sken zdarma) nebo 30 (plný report)

robots.txt

Pravidla adresovaná GraidlabBot respektujeme, včetně crawl-delay

Vykreslování

Headless Chromium, JavaScript se spouští

Formuláře

Nikdy neodesíláme. Posíláme jen GET požadavky.

Když nás někdo požádá o analýzu webu, ten web přečteme zvenčí. Neprovozujeme obecný index a neprocházíme weby, na které se nás nikdo neptal.

• Načte si robots.txt dřív než cokoli jiného na webu a nestahuje to, co ten soubor pro GraidlabBot zakazuje. Pokud je mezi tím i stránka, na kterou byl dotázán, analýza se zastaví a řekne proč.
• Plošné pravidlo mířené naráz na všechny roboty (User-agent: *) ho nezastaví. Web čteme jen proto, že nás o jeho analýzu požádal jeho majitel, a řádek, který má držet stranou nezvané scrapery, není odmítnutí objednaného auditu. Napište do souboru GraidlabBot a přestaneme.
• Mezi požadavky na stejný web čeká alespoň sekundu, takže je sken pomalejší, než by mohl být, a levnější na obsloužení.
• Následuje přesměrování a při každém skoku znovu ověřuje, že cíl je veřejná adresa.
• Stránky vykresluje včetně JavaScriptu, protože to je to, co uvidí AI robot, který umí vykreslovat — a porovnání vykreslené stránky se surovým HTML je samo o sobě jedna z věcí, které měříme.
• Nikdy se nepřihlašuje, neodesílá formuláře, neposílá data a nesahá na adresu, která ukazuje do privátní sítě.

Přidejte tohle do svého robots.txt. Přestaneme váš web číst, jakmile o něj někdo příště požádá.

Zablokováním nás nezablokujete AI roboty, které používají asistenti vašich zákazníků. Pokud chcete držet venku je, blokujte je — a vězte, že přesně tohle dělá web neviditelným v odpovědích.

User-agent: GraidlabBot
Disallow: /

Držíme to, co každý nález potřebuje k doložení, po dobu, po kterou je report dostupný — 14 dní u reportu zdarma, 24 měsíců u placeného. Po vypršení to mažeme. Neprodáváme to, nezveřejňujeme a nepoužíváme k trénování modelů.

Pokud vidíte provoz, který se hlásí jako GraidlabBot/1.0 a nechová se, jak je popsáno tady, napište na weare@graidlab.com a přiložte řádky z logu. Podíváme se na to. Řetězec v user agentu si může napsat kdokoli; rádi se dozvíme, když si tam někdo napíše ten náš.