Es especialmente importante que los rastreadores puedan encontrar todas las subpáginas rápida y fácilmente cuando los sitios web tienen una gran cantidad de subpáginas. Por este motivo, la página de inicio del sitio web debe contener enlaces a las subpáginas más importantes. Los archivos como sitemap.xml y robots.txt también ayudan al rastreador a hacer su trabajo en este sentido.