Zum Hauptinhalt springen
Gründungsmitglieder:12 Monate Linkorite Growth für 149 $, der Preis steigt am 29. November.Platz sichern →
Linkorite von GTM S t a c k
Technisches SEO

Robots.txt

Eine Textdatei, die Suchmaschinen-Crawlern vorgibt, welche Seiten oder Bereiche einer Website sie crawlen oder ignorieren sollen

Robots.txt ist eine Datei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Verzeichnisse sie aufrufen dürfen und welche nicht. Fürs Linkbuilding ist das Verständnis der robots.txt bei der Bewertung potenzieller Linkpartner wichtig. Ist die Seite, auf der Ihr Link steht, per robots.txt gesperrt, können Suchmaschinen sie nicht crawlen – Ihr Backlink bringt dann keinen SEO-Wert. Wer bei der Prüfung von Linkchancen die robots.txt der Zielseite kontrolliert, stellt sicher, dass Crawler die Links finden. Außerdem sollte Ihre eigene robots.txt nicht versehentlich wichtige Seiten sperren, die Backlinks erhalten.

Erhalten Sie wöchentlich Linkbuilding-Insights

Schließen Sie sich SEO-Teams an, die jede Woche umsetzbare Playbooks, Benchmarks und Produkt-Updates erhalten.