Indexatie volgt op crawlen: eerst bezoekt de zoekmachine je pagina, daarna beslist hij of en hoe hij hem opneemt. Dat kun je sturen. Een sitemap helpt zoekmachines al je pagina's te vinden, een noindex-instructie of een blokkade in je robots.txt houdt ze juist buiten de index.
Daar gaat het in de praktijk vaak mis: een vergeten noindex uit de bouwfase van een site of een te strenge robots.txt kan hele sites onvindbaar maken. Zelf checken kan eenvoudig, zoals beschreven in ons artikel over je vindbaarheid controleren.