Robots.txt
En tekstfil som forteller søkemotorenes crawlere hvilke sider eller deler av et nettsted de skal crawle eller ignorere
Robots.txt er en fil i rotkatalogen på et nettsted som gir søkemotorenes crawlere instruksjoner om hvilke sider eller kataloger de skal eller ikke skal besøke. I link building er det viktig å forstå robots.txt når du vurderer potensielle lenkepartnere. Hvis siden lenken din står på, er blokkert av robots.txt, kan søkemotorene ikke gjennomsøke den, og backlinken gir dermed ingen SEO-verdi. Når du reviderer lenkemuligheter, sikrer en sjekk av målnettstedets robots.txt at lenkene dine kan oppdages av crawlere. I tillegg bør din egen robots.txt ikke ved et uhell blokkere viktige sider som får backlinks.