Robots.txt
Un archivo de texto que indica a los rastreadores de los buscadores qué páginas o secciones de un sitio deben rastrear o ignorar
El robots.txt es un archivo situado en el directorio raíz de un sitio web que indica a los rastreadores de los buscadores a qué páginas o directorios deben o no deben acceder. En link building, entender el robots.txt es importante al evaluar posibles partners. Si la página donde está tu enlace está bloqueada por robots.txt, los buscadores no pueden rastrearla, lo que significa que tu backlink no aporta valor SEO. Al auditar oportunidades de enlaces, revisar el robots.txt del sitio asegura que tus enlaces sean detectables por los rastreadores. Además, tu propio robots.txt no debería bloquear por error páginas importantes que reciben backlinks.