Robots.txt AI-beleid
Zie wat de robots.txt van een website zegt over de crawlers van OpenAI, Anthropic, Google en andere AI-bedrijven.
Wat doet deze tool?
In de robots.txt van een website staat welke crawlers wat mogen ophalen. Ook de crawlers van AI-bedrijven kijken daar. Deze controle laat per bekende AI-crawler zien wat jouw robots.txt voor hem zegt.
Trainen of zoeken
Sommige crawlers verzamelen gegevens om modellen te trainen, andere voor een zoekfunctie of om een pagina te openen als een gebruiker daarom vraagt. Per crawler staat erbij waarvoor hij dient.
Eigen regel of algemene regel
Een crawler volgt de regels die zijn naam noemen. Is er geen eigen regel, dan geldt de groep voor alle crawlers (User-agent: *).
Beperkt
Staat er bij een crawler "Beperkt", dan zijn sommige paden geblokkeerd, zoals een beheer- of winkelwagenpagina, en de rest niet.
Zo lees je het resultaat
Per bekende AI-crawler zie je of robots.txt hem toestaat of blokkeert, en of dat door een eigen regel komt of door de algemene regel voor alle crawlers. Sommige bedrijven hebben aparte crawlers voor het trainen van modellen en voor het tonen van zoekresultaten.
robots.txt is een verzoek. Nette crawlers houden zich eraan, maar het houdt niemand echt tegen.
Veelgestelde vragen
Beschermt robots.txt mijn inhoud?
Nee. Het is een verzoek dat nette crawlers volgen; niets dwingt een crawler. Voor echte afscherming heb je inloggen of een firewall nodig.
Wat gebeurt er als ik Google-Extended blokkeer?
Dan geef je Google geen toestemming om je site te gebruiken voor het trainen van zijn Gemini-modellen. Je positie in Google Zoeken verandert daar niet door.
Moet ik AI-crawlers blokkeren?
Dat is een keuze. Blokkeren voorkomt gebruik voor training, maar kan ook betekenen dat je minder in antwoorden van AI-assistenten voorkomt.