Robots.txt
Een tekstbestand dat crawlers van zoekmachines vertelt welke pagina's of secties van een site ze wel of niet moeten crawlen
Robots.txt is een bestand in de hoofdmap van een website dat crawlers van zoekmachines vertelt welke pagina's of mappen ze wel of niet mogen bezoeken. Voor linkbuilding is kennis van robots.txt belangrijk bij het beoordelen van potentiële linkpartners. Wordt de pagina waar je link staat geblokkeerd door robots.txt, dan kunnen zoekmachines hem niet crawlen en levert je backlink geen SEO-waarde op. Door bij het auditen van linkkansen de robots.txt van de doelsite te controleren, weet je zeker dat crawlers je links kunnen vinden. Ook je eigen robots.txt mag niet per ongeluk belangrijke pagina's met backlinks blokkeren.