テクニカル SEO
Robots.txt
検索エンジンのクローラーに、サイトのどのページやセクションをクロールまたは無視するかを指示するテキストファイル
robots.txtは、ウェブサイトのルートディレクトリに置かれるファイルで、検索エンジンのクローラーにどのページやディレクトリにアクセスすべきか、すべきでないかを指示します。リンクビルディングでは、リンクパートナー候補を評価する際にrobots.txtを理解することが重要です。リンクが掲載されたページがrobots.txtでブロックされていると、検索エンジンはそのページをクロールできず、被リンクはSEO上の価値を持ちません。リンク機会を監査する際は、相手サイトのrobots.txtを確認し、リンクがクローラーに発見されるようにしましょう。また、自社のrobots.txtが被リンクを受けている重要なページを誤ってブロックしていないかも確認が必要です。