Robots.txt
Um arquivo de texto que indica aos rastreadores dos mecanismos de busca quais páginas ou seções de um site rastrear ou ignorar
O robots.txt é um arquivo colocado no diretório raiz de um site que instrui os crawlers dos mecanismos de busca sobre quais páginas ou diretórios eles podem ou não acessar. Para link building, entender o robots.txt é importante ao avaliar possíveis parceiros de links. Se a página em que seu link está inserido for bloqueada pelo robots.txt, os mecanismos de busca não conseguem rastreá-la, e seu backlink não gera nenhum valor de SEO. Ao auditar oportunidades de links, verificar o robots.txt do site-alvo garante que seus links possam ser encontrados pelos crawlers. Além disso, seu próprio robots.txt não deve bloquear por engano páginas importantes que recebem backlinks.