問題は、最適化されたページの大きさであり、検索エンジンが情報量が少ないと感じる「小さすぎる」ページと、潜在的に重要なコンテンツが検索エンジンに気付かれない「大きすぎる」ページのバランスはどこにあるのでしょうか？
私の知る限り、自分の実験を使ってこの質問に答えようとした人はまだいません。 通常、SEOフォーラムの参加者は、検索エンジン自体が公開した推奨事項の引用に限定されます。
これまで、大手検索エンジンがインデックス付きテキストのボリュームを悪名高い100キロバイトに制限しているというSEOコミュニティの神聖な信頼により、顧客はこのフレームワークを超えたテキストの処理方法を理解しようと頭を悩ませています。
実験
この質問に経験的に答えるために実験を設定することにしたとき、私の目標は次のとおりでした。
- 検索エンジンによって実際にインデックス付けおよびキャッシュされるページ上のテキストの量を決定します。
- 合計ページサイズに応じて、インデックス付きテキストのボリュームを計算します。
これが実験の進め方です。 さまざまなサイズ（45 kbから4151 kb）の25ページを取り、10 kb間隔（約10,000文字（約）ごと）で各ページにユニークで存在しないキーワードを導入しました。 キーワードは、特に実験用に自動的に生成され、インデックスマーカーとして機能しました。 その後、ページが公開され、検索エンジンが約束されるまでの待ち時間が長くなるので、自分でコーヒーを作りに行きました（同じ量のコーヒーが必要です！（約）。）。
最後に、サーバーログにBig Threeボット（Google、Yahoo、MSN）の痕跡がありました。 サーバーログから、実験を成功させるために必要な情報が得られました。
このテストには特別な実験的なページを使用したことに注意してください。 これらのページは、このような実験用に予約したドメインにあり、テストに必要なキーワードを含むテキストのみが含まれています。 意味のない意味不明な言葉やキーワードで満たされたこれらのページにたまたまアクセスすると、彼の眉はすぐにcreepい上がりますが、ここでは人々は完全に望ましくない視聴者です。
ログを調べて、検索エンジンボットが調べたことを確認したら、使用した各キーワードの各実験ページの結果のランキングを確認することしかできませんでした。 このために、私はWeb CEOランキングチェッカーを使用しました。 おそらくご想像のとおり、検索エンジンがページの一部のみをインデックスに登録すると、スキャンされた制限を超えたキーワードの検索結果にのみ表示されます。
結果
このグラフは、ビッグ3がテストページの発行を停止した場所を示しています。
検索ボットによってダウンロードされたページのテキストの量に関する情報が得られたので、テキストの長さを計算できます
検索エンジンによってインデックス付けされたページ。 私を信じて、結果は予想外です-穏やかに言えば。 しかし、検索エンジン最適化のこれらの燃え上がるような質問に興味を持っているすべての人とそれらを共有することはさらに楽しいです。
2位はGreat（検索品質）およびHorrible（SEOとの関係）Googleに属します。 Googlebotは、600 kbを超える情報を無数のサーバーに盗むことができます。 ただし、同時に、キーワードがページの上部から520kb以内にあるページのみがGoogleの結果に表示されます。 Googleによると、これは正確なページサイズであり、最も有益であり、訪問者に無限のテキストを掘り下げることなく、有益な情報を最大限に提供します。
このグラフは、Googleがテストページでインデックス付けする情報の量を示しています。
インデックスの深さの絶対的なチャンピオンはMSNです。 MSNbotは、1ページから最大1.1MBのテキストをダウンロードできます。 最も重要なことは、このテキストのすべてにインデックスを付け、結果に表示することです。 ページサイズが1.1MBを超える場合、制限を下回るコンテンツはインデックスに登録されません。
MSNとテストページの連携方法は次のとおりです。
MSNは、ページへの最初のアクセス中に驚くほどの動作をしました。 ページが170kb未満の場合、出力に完全に表示されました。 この障壁を超える他のページは、MSNが完全にダウンロードされているにもかかわらず、マークアップの発行には表示されませんでした。
ページサイズが170 kbを超える場合、SERPに実際に表示される機会はないようです。 ただし、4〜5週間後、結果に大きなページが表示され始め、時間の経過とともに検索エンジンが大きなページのインデックスを作成できることが明らかになりました。 これにより、MSNのインデックス作成速度はページサイズに依存すると考えるようになります。 そのため、MSNの発行時にサイトの情報の一部をできるだけ早く表示する場合は、170 Kb未満の「重み」を持つページに配置してください。
合計グラフは、検索エンジンがダウンロードする情報の量と、インデックスに保存する量を示します。
したがって、実験では、主要な検索エンジンが実際にクロールできるページ上の情報量が大きく異なるという事実を確認しました。 Yahooの場合、制限は210kb、Googleの場合520kb、MSNの場合は1030kbです。 小さいページのページは完全に索引付けされますが、大きいページはまったく索引付けされません。
を超えて
検索エンジンのインデックス作成の制限を超えるテキストがサイトにあるのは悪いことですか？
もちろん違います！ 検索エンジンがインデックス付けできるよりも多くのテキストがある場合、これは検索結果での位置を損なうことはありません。 しかし、おそらくそれは役に立ちません。 情報が訪問者にとって重要かつ有用である場合-ためらわずにページに残してください。
ただし、検索エンジンはページの最初と最後にある単語にもっと注意を払うと広く信じられています。 言い換えると、ページに「テニスボール」というフレーズがあり、ページの最初と最後の段落にある場合、テキストの中央に2回書かれた同じフレーズよりも発行するための重みがかなり大きくなります。
この推奨事項を使用したいが、テキストのサイズがインデックス作成の範囲を超えている場合、覚えておくべき重要なポイントは、最後の段落が書き込みを終了した場所ではなく、検索エンジンがページのインデックス作成を終了した制限であることです。
私のSerge Bondar の記事の翻訳は、 検索エンジンのインデックス作成の制限：ボットが停止する場所です。