検索エンジンまたはYandex.Server Automationの作成

私はベラルーシ出身です。ここで最大のインターネットプロバイダーはbyflyです。 このプロバイダーは、国内でホストされているすべてのサイト(ゲストリソース)への無料アクセスをユーザーに提供します。



武器庫の各byflyユーザーには、利用可能なリソースを解放するためのリンクを含むファイルのセットがありました。 そこで、これらのリソースの検索エンジンを作成するというアイデアが生まれ、2009年8月に最初のユーザーがそれを目にしました。 出席者は非常に急速に増加し、人気のピーク時には、1日あたり約34,000人のユニークユーザーがリソースにアクセスしました。







Yandex.Serverは、検索エンジンの中心で動作します。 これが彼のコントロールパネルです。





この機能セット(3つのボタンは検索のオン/オフ、インデックスのオン/オフ、Ya.Serverのオフ)だけでは、正しい検索エンジンを実行できないことがすぐに明らかになりました。

したがって、少し変更する必要があり、次のようになりました。







次のような多くの追加機能が実装されました。



管理者が新しいコントロールパネルでアクションを実行すると(たとえば、インデックスからサイトを削除する場合)、システムは必要なパラメーターを含む構成ファイルを生成します。



function cfg_file_generate($adr, $option, $timeout, $delay, $rules) { global $cfg_useragent; $cfg = "<Webds> $rules <IndexedArea> HttpPrefix http://$adr Options $option <HttpOptions> Timeout $timeout Delay $delay <Headers> User-Agent: $cfg_useragent </Headers> </HttpOptions> </IndexedArea> </Webds>"; return $cfg; }
      
      





次に、標準のYandex.Serverコントロールパネルにインデックスを更新する要求を送信します。 インデックスの再作成は、構成ファイルで指定されたルールに従って行われます。 管理者は、変更されたコントロールパネルで操作の結果を確認できます。 すべての操作は、ajaxリクエストを介してバックグラウンドで実行されます。



1日あたりの人気のピーク時には、300,000を超える検索クエリ、最大34,000のユニークユーザー、検索インデックスに2,000を超えるサイトがありました。 ハードウェアVPS Intel 2.33(1コア)のすべてのニーズに対して、1 GB RAMは常に十分でした。



熱狂的なユーザー自身が、検索やデスクトップバージョンを備えたブラウザ向けのさまざまなアドオンの開発を始めました。 他の人は、検索インデックスに入りたいと思っていたので、脅しさえしました:-)



その後、byflyが無料アクセスを廃止し、人気は徐々に薄れ始めました。 現在、1日あたり3,000人のユニークユーザーのレベルに維持されています。



search.pusk.byは、最初は短期プロジェクトとして計算されました。 私は彼の生涯を1年と見積もったが、彼はもっと長持ちした:-)










All Articles