Disallow/testとDisallow/test/の違い
最近、その違いを理解できない友人もいました。今日はSEOは皆さんに詳細なご紹介をします。
この項目の値は、ロボットにアクセスされたくないURLを記述します。このURLは完全パスまたは部分パスであり、Disallowで始まるURLはロボットにアクセスされません。
Disallow/testとDisallow/test/の違いに注意してください。バックスラッシュの“/”とは異なりますが、意味は全く異なります。Disallow/test "は禁止可能なURLが/test，/testabc.html，/test/abcの3つであることを示し，" Disallow/test/"はRobotが/test，/testabc.htmlにアクセスできるようにし，/test/abcの形式にアクセスできないようにする.
Disallowレコードの値が空の場合、すなわち“Disallow：”形式である場合、サイトのすべてのコンテンツは検索エンジンのロボットによってクローリングされます。robots.txtファイルには、User-agentが宣言されている場合、少なくとも1つのDisallowレコードが必要です。