Robots.txt
Tekstitiedosto, joka kertoo hakukoneiden crawlereille, mitkä sivuston sivut tai osiot crawlataan tai ohitetaan
Robots.txt on sivuston juurihakemistoon sijoitettava tiedosto, joka antaa hakukoneiden crawlereille ohjeet siitä, mihin sivuihin tai hakemistoihin niiden pitäisi tai ei pitäisi päästä. Linkinrakennuksessa robots.txt:n ymmärtäminen on tärkeää potentiaalisia linkkikumppaneita arvioitaessa. Jos sivu, jolle linkkisi on sijoitettu, on estetty robots.txt:llä, hakukoneet eivät pysty crawlaamaan sitä, eikä backlinkkisi tuota SEO-arvoa. Linkkimahdollisuuksia auditoitaessa kohdesivuston robots.txt:n tarkistaminen varmistaa, että crawlerit löytävät linkkisi. Lisäksi oma robots.txt-tiedostosi ei saisi vahingossa estää tärkeitä backlinkkejä saavia sivuja.