robots.txtとrobots.txtの書き方
すべてのロボットアクセスを許可する
User-*
Disallow
または、空のファイル"/robots.txt" file "を作成することもできます。
すべての検索エンジンがサイトの一部にアクセスできないようにする
User-*
Disallow/
すべての検索エンジンがWebサイトのいくつかのセクションにアクセスできないようにします次の例では、01、02、03ディレクトリ。
User-*
Disallow/01/
Disallow/02/
Disallow/03/
検索エンジンへのアクセスを禁止する次の例ではBot
User-agent BadBot
Disallow/
1つの検索エンジンにのみアクセスを（次の例ではクローラ）
User-agentクローラ[User-agentクローラ]
Disallow
User-*
Disallow/
robots.txtの使用法
まず、ロボットでサイトの重複ページをブロックする
多くのウェブサイトは、コンテンツの複数のブラウジングバージョンを提供していますが、非常にユーザーフレンドリーですが、クモにとっては困難です。なぜなら、それは主であり、それは次であることを区別できないからです。一度悪意のある繰り返しだと思わせると、あなたは悲惨です。
ユーザーエージェント： *
Disallow： /sitemap/クモがテキストウェブをクロールするのを禁止する
次に、ロボットでウェブサイトを保護する。
多くの人がロボットがウェブサイトのセキュリティにどのように関係するのか疑問に思う。実際には、関係はまだ非常に大きく、多くの低レベルのハッカーは、ウェブサイトの侵入の目標を達成するためにデフォルトのバックグラウンドログインを検索します。
ユーザーエージェント： *
Disallow： /admin/adminディレクトリ内のすべてのファイルをスパイダーがクロールするのを禁止する
第三に、チェーン盗難防止
一般的な盗品チェーンは数人ですが、一度検索エンジン“盗品チェーン”あなたの100Mブロードバンドの男は、画像サイトをしていない場合は、検索エンジン“盗品チェーン”あなたのウェブサイトの画像になりたくありません
ユーザーエージェント： *
タグ： .jpg$
4.サイトマップの提出
今最適化を行う人々はサイトマップを行うことを知っていますが、提出する人は少なく、ほとんどの人は単にウェブページにリンクを追加するだけですが、実際にはロボットはこの機能をサポートしています。
www.zolfox.com/sitemap.html
第五に、セカンドレベルドメイン名の検索を禁止する。
一部のウェブサイトはVIPメンバーに特別なサービスを提供しますが、検索エンジンにそれを取得したくありません。
ユーザーエージェント： *
Disallow： /
上記の5つのロボットは、Baiduが言ったように、検索エンジンのスパイダーを制御する能力を向上させるのに十分です：私たちと検索エンジンは、いくつかのギャップを排除するために、いくつかのコミュニケーションを追加する必要があります。
略称はNOFollow。
noFollowは、検索エンジンへのスパムリンクの影響を最小限に抑えることを目的とした新しいラベルの1つです。このタグの意味は、リンクが著者自身によって編集されていないので、信頼の投票ではないことを検索エンジンに伝えることです。検索エンジンはこのタグを見て、リンクの投票重みを減らしたり完全に削除したりできます。最初の原因は、インターネットブログの流行に伴い、スパムコメントやスパムリンクが氾濫し、Googleの注目を集めて率先して反抗案を出したことである。Googleの対策は、新しいタイプのタグでこの種のスパムやリンクを効果的にブロックすることです。Googleがハイパーリンクにこの属性（“rel=noFollow”）が含まれていることを発見した場合、そのようなリンクは検索結果のランキングにおけるサイトの評価の基礎となることはなく、スパムが投稿されたブログやページに対する否定的な投票にはならず、スパムブロガーのブログコメント、フィードバックフォーム、推奨リストなどのパブリックドメインの難読化を防ぐためにのみ使用されます。Nofollowタグは検索エンジンにとって重要です。
しかし、noFollowについて多くのことを言うと、noFollowラベルとは何ですか？nofollowタグの使用方法：rel= nofollow "についてのGoogleの説明は次のとおりであるWhen Google sees the attribute rel=" nofollow "on hyperlinks those links won t get any credit when we rank websites in our search results。Googleがハイパーリンクにこの属性（“rel=noFollow”）が含まれていることを発見した場合、そのようなリンクは検索結果のランキングでサイトを評価するための基準として使用されません。
noFollowタグには、ウェブサイト上で広告を販売する場合に使用できる別の機能があります。ウェブ広告を売買する目的は、PR値や検索エンジンのランキングに影響を与える試みではなく、トラフィックであるべきです。このタグを追加することはトラフィックに影響しませんが、検索エンジンのランキングへの影響を減らすことができます。
nofollowタグがリンクに与える影響について話すと、このタグがリンクの投票重みとPR値に本当に影響を与えるかどうかを尋ねる人もいるでしょう。これは、ブログのコメントやフォーラムの投稿のリンクとは異なり、サイトの所有者や著者によってではなく、ユーザーや読者によって追加されたリンクです。多くの場合、著者はそれらのリンクが行く場所を見ていない。これらのウェブサイトの品質は不明です。私は決して私のサイトからのコメントリンクが重要であり、リンクを追加するためにお金を支払ったり、読者に戻るように頼む。ブログのコメント内のリンクは外部リンクですが、検索エンジンのランキングやPR値にはほとんど役立ちません。
なぜこれらの2つだけについて話すと、実際にrobots.txtとnoFollowの両方が動作しないことを証明した友人を聞いて、具体的には私は試していない、興味のある友人が試すことができます。もっと素晴らしいコンテンツがあります。北京のSEOは