Robots.txt
En tekstfil, der fortæller søgemaskinernes crawlere, hvilke sider eller sektioner af et site de skal crawle eller ignorere
Robots.txt er en fil i et websites rodmappe, der giver søgemaskinernes crawlere instruktioner om, hvilke sider eller mapper de må eller ikke må tilgå. For link building er det vigtigt at forstå robots.txt, når du vurderer potentielle linkpartnere. Hvis en side, hvor dit link er placeret, er blokeret af robots.txt, kan søgemaskinerne ikke crawle den, og så giver dit backlink ingen SEO-værdi. Når du auditerer linkmuligheder, sikrer et tjek af målwebsitets robots.txt, at dine links kan findes af crawlerne. Derudover bør din egen robots.txt ikke ved et uheld blokere vigtige sider, der får backlinks.