Het bestand werkt met simpele regels per bot: welke paden zijn toegestaan en welke niet. Dat is nuttig om bijvoorbeeld interne zoekresultaten of persoonlijke pagina's buiten de zoekmachines te houden. Maar het is ook een klassieke plek voor ongelukken: één verkeerde regel kan je hele site onvindbaar maken.
In het AI-tijdperk is robots.txt belangrijker geworden: hier bepaal je of AI-crawlers zoals GPTBot, ClaudeBot en PerplexityBot je site mogen lezen. Wie ze blokkeert, kan niet geciteerd worden in AI-antwoorden. Hoe je zelf controleert wat er in jouw robots.txt staat, lees je in ons artikel over vindbaarheid checken.