Robots.txt
Plik tekstowy informujący roboty wyszukiwarek, które strony lub sekcje witryny mają crawlować, a które pomijać
Robots.txt to plik umieszczany w katalogu głównym witryny, który przekazuje robotom wyszukiwarek instrukcje, do których stron lub katalogów mogą, a do których nie powinny mieć dostępu. W link buildingu zrozumienie robots.txt jest ważne przy ocenie potencjalnych partnerów. Jeśli strona z Twoim linkiem jest zablokowana w robots.txt, wyszukiwarki nie mogą jej przeskanować, więc backlink nie daje żadnej wartości SEO. Przy audycie okazji linkowych sprawdzenie robots.txt witryny docelowej gwarantuje, że Twoje linki będą widoczne dla crawlerów. Ponadto Twój własny robots.txt nie powinien przypadkowo blokować ważnych stron, które otrzymują backlinki.