Robots.txtファイルとは何で、Robots.txtファイルの仕組みは？

Robots.txtファイルとは？

robots.txtファイルは、検索エンジンのクローラーがサイト内のどのページを訪問すべきか、訪問しないべきかを示す指示を含むテキストファイルです。これらの命令は、特定のクローラーの動作を“許可”または“禁止”することで指定されます。

Robots.txtファイルの動作は？

Robots.txtファイルは検索エンジンボットにクロールできるURLを伝え、さらに重要なのは無視できるURLを伝えます。

検索エンジンの目的は2つある。

1. ウェブをクロールしてコンテンツを見つける
2. 情報を探している検索者にインデックスを作成し、コンテンツを提供

検索エンジンボットがウェブページをクロールすると、リンクを見つけて追跡します。このプロセスは、サイトAからサイトB、サイトCへ、何百万ものリンク、ページ、ウェブサイトにまたがって移動します。

しかし、ロボットがrobots.txtファイルを見つけると、他のアクションを実行する前にそのファイルを読み取ります。

文法は簡単。

ユーザエージェント（検索エンジンボット）と命令（ルール）を識別してルールを割り当てる。

また、アスタリスク * ワイルドカードを使用して各ユーザーエージェントにディレクティブを割り当てることもできます。これにより、すべてのボットにルールが適用されます。