百度のウェブ検索結果Robotsのヒント

今日の正午には100ポンド。このサイトのrobots.txtファイルに制限ディレクティブがあるため、システムはこのページの内容の説明を提供できませんでした。度娘就发公告了...。
Baiduの検索結果に個々のページが要約表示されない現象や、ウェブサイトの一部のコンテンツが含まれていない問題に遭遇したことはありますか？ウェブマスタープラットフォームは、両方の状況がサイトにrobots.txtファイルが設定されているために発生する可能性があることを示します。ウェブマスターが上記の問題のウェブサイトのページがロボットファイルの設定によるものかどうかをより便利に理解できるようにするために、百度のウェブ検索結果にrobots.txtファイルのヒントがオンラインになりました。ウェブサイトがrobots.txtファイルを使用して百度がウェブサイトの一部またはすべてのコンテンツを禁止する場合、百度は検索結果にrobots.txtのヒントを与え、ウェブマスターが検索結果に要約表示されないサイトを知ることができますが、検索結果で“詳細を知る”をクリックして、サイトの詳細なロボット情報を表示し、それがrobots.txtの誤った設定によって引き起こされるかどうかを確認します。
robots.txtは、検索エンジンがウェブサイトにアクセスしたときに最初に表示されるファイルで、スパイダーがそのサイトでクロールできる範囲を指定します。一部のウェブサイトは、検索エンジンに含まれたくないコンテンツがあるため、robots.txtファイルを使用してウェブサイトの一部または全部をブロックします。サイトがBaiduスパイダーにrobots.txtファイルを設定した場合、Baiduはロボットプロトコルに従い、ブロックされた結果をクロールしませんが、ユーザーが検索エンジンでサイトアドレスを検索する必要があることを考慮して、検索結果は検索ニーズに応じてサイトのタイトルとURLを表示しますが、サイトの概要は表示されません。
注意：robots.txtファイルは、サイトに検索エンジンに表示されたくないコンテンツが含まれている場合にのみ使用してください。検索エンジンにサイト上のすべてのコンテンツを含めたい場合は、robots.txtファイルを作成しないでください。同時に、ウェブマスターの迅速な検出とロボットファイルの生成を容易にするために、百度ウェブマスタープラットフォームはロボットツールをオンラインにしました。