Crawlen is het geautomatiseerd bezoeken en uitlezen van webpagina's door programma's van zoekmachines en AI-systemen, zogeheten crawlers of bots. Googlebot crawlt voor Google, GPTBot voor OpenAI en ClaudeBot voor Anthropic. Crawlen is de eerste stap van vindbaarheid: wat niet gecrawld wordt, kan niet geïndexeerd of geciteerd worden.
Een crawler volgt links van pagina naar pagina en leest onderweg de inhoud. Daarom zijn interne links en een sitemap zo belangrijk: ze bepalen of een crawler al je pagina's vindt. Met je robots.txt bepaal je welke crawlers waar mogen komen.
Sinds AI-zoekmachines meedoen is het crawl-landschap breder geworden: naast Googlebot willen ook AI-crawlers langskomen. Wie die blokkeert, bewust of per ongeluk, bestaat niet voor de bijbehorende AI-systemen. Onze gratis scan controleert of de belangrijkste AI-crawlers welkom zijn op je site.
Zien hoe dit op jouw site staat?
De gratis scan controleert je website op 20+ punten, van techniek tot AI-vindbaarheid. Uitslag in 2 minuten.