metabus-テーマ別検索エンジンを構築するためのプラットフォーム

それはすべて、ある時点で気づいたという事実から始まりました。商品、サービス、および「現実の」生活の場所をインターネットで検索することは非常に困難です。 はい、ほとんどすべてが人気のあるインターネット検索エンジンを介して見つけることができますが、物理アドレスに結び付けられた実生活から何かを探し始めると、それはより難しくなります。 また、要求をさらに細かく調整し、多くの特性、労働時間、場所、または商品の価格を設定する必要がある場合、さらに困難になります。 その結果、多くのページと大量の時間を手動でソートすることになります。 各トピックには独自のリソースがあります。 私たちは映画ショーを探しています-私たちはビルボード、エレクトロニクスに行きます-私たちは市場で選択します。 次に、誰かがインターネットを介して注文し、誰かが最も近い店に行き、選択された店を買います。 ATMを探しています-多くの場合、このアプリケーションは携帯電話にあります。 その結果、多くのサービスが存在しますが、その本質は1つに要約されます-実生活における商品、サービス、場所の検索です。 その瞬間、私はこれをすべて行う単一の便利なサービスが必要でした。



その結果、ほぼ2年後、私は最終的にプロジェクトの開発を終了しました。 計画通り、商品、サービス、場所を検索できるプラットフォームになりました。 すべてのデータには独自の構造があるため、多くの特性に対して複雑なクエリを実行できます。 また、すべてのデータにはジオコンポーネントがあり、ジオ指向のクエリを作成できます。 お問い合わせは、「キエフスカヤの近くにプールのあるホテルを探す」などの1つのフレーズとして行うことも、特別なフィルターを使用することもできます。

metafindはそのような検索の例です

検索は、単一の検索文字列で始まります。 リクエストでは、アドレスを自由形式で指定できます。 住所が指定されていない場合、ジオロケーションの試行が行われます。 検索結果には、販売場所、価格、電話番号、住所、営業時間、目的のトピックに固有の特性でグループ化された商品が表示されます。 結果には、要求を絞り込むためのマップとフィルターも含まれます。 たとえば、薬物検索は次のようになります。







食べ物や他のトピックを検索する場合、目的のトピックに固有の他のフィルターや追加の特性が自動的に表示されます。 モバイル版も利用可能です：

例

現時点では、次のトピックについてはモスクワのみが対象エリアに含まれています： 薬と薬局、ガソリン代のガソリンスタンド、洗車とそのサービス、ATM、決済端末、ホテル、カフェ、レストラン、食品（メニューから）、プール、チケットオフィスとチケット。



すでに述べたように、価格帯による検索、作業時間による検索、検索の半径の設定、特定のトピックに固有の特性の設定など、多くの特性を持つ複雑なクエリを作成できます。 以下に例を示します。

1. クレムリン近くのカラオケレストランでのブラックキャビア
2. キエフ近くのプール付きホテル
3. vykhinoの統合洗浄
4. Preobrazhenskaya Square Pool 50メートル
5. プーシキンスカヤ近くのドルでATM
6. クルスク駅で眠れる森の美女

データカバレッジはまだ完全ではありません。 ご希望の方は、データを追加するリクエストを残すことができます。

なぜプラットフォームなのか？

なぜなら今ではサイトとサービスの複合体全体だからです。

• 検索サービス自体とそのオープンAPI。 これには、サイトからのデータにインデックスを付け、データ構造、監視サブシステムなどを解析するスパイダーも含まれます。スパイダーはeyes索好きな目には見えません。
• metafind.ruは、すべての検索機能を実証するメインの検索エンジンです。 プラスモバイルバージョン。
• SMSサービス-SMSで検索クエリを実行する機能。 応答として、大きなメッセージ（ほとんどの場合5つの部分）が検索結果とともに送信されます。 通信の費用は、付加価値税を含めて約3.5ルーブルです。 メッセージの例：「プーシキンスカヤの近くにあるズベルバンクのATMを検索してください」。 文字変換を書くことができます。
• playground.metabus.ru -APIをテストするためのサンドボックス。 APIを使用した既製の例を表示、編集、実行、デバッグできます。
• export.metabus.ru-データエクスポートサブシステム。 たとえば、検索クエリを保存し、RSSテンプレートを選択して、RSSリーダーの検索結果から新しい製品/サービス/場所を受け取ることができます。 既存のテンプレートを使用して、独自のテンプレートを作成できます（XSLT上）。
• docs.metabus.ru-開発者向けのドキュメント。

データは必要なサイトからインデックス付けされます（特定のトピックのサイトのみ、インターネット全体のインデックス化に問題はありません）。 これは、ソース（銀行やカフェの公式サイトなど）またはアグリゲーターサイト（プールや洗車の​​リストがあるサイトなど）のいずれかです。 しかし、いずれにしても、私は常に情報源へのリンクを出し、データの原作者を主張しません。 ほとんどのソースでは、データは1日に1回更新されます。 今後数年間にわたって、関心のある組織がAPI（または価格表）を使用してデータのアップロードを開始し、検索インデックスにリアルタイムで追加されるように計画しています。 この機能は既に実装されていますが、需要が不足しているため、まだ公開されていません。



すでにAPIを使用して、さまざまな検索サービスを実行できます。 既存のサイトに検索を埋め込み、テーマ別のモバイルアプリケーションまたはソーシャルネットワーク用のアプリケーションを作成できます。 たとえば、薬の検索をテストするために、薬と薬局のみを検索するフォームを作成しました。

開発

このプロジェクトは、ほぼ2年間開発中です。 チームなし、私は一人で働いています。 最初に使用された.NETおよびMSSQLサーバー。 1か月半後、これらの技術は私の問題を解決するのに適していないことに気づき、Javaに切り替えました。 誤ってテクノロジーを掘り下げました。最初のバージョンは、Hadoop、HBase、およびLuceneを使用して作成されました。 Thriftは、モジュール間でデータを交換するためのプロトコルとして使用されました。 現在、技術的基礎はMongoDBとApache Solrの組み合わせです。 すべてのサイトはGoogle App Engineクラウドで動作します。 プラットフォーム自体は1つの専用サーバー（HetznerのEQ4）で実行され、スパイダーは別のサーバー（またEQ4）で実行されます。 私は一人なので、すべてを最大限に自動化することにしました。独立したCIサーバーが動作し（Hetznerでも動作します）、多くのユニット、機能テスト、統合テストを行いました。 開発および戦闘環境に関する公開は完全に自動化されています。 また、内部目的のために、NodeJSが積極的に使用されます。 サーバーはUbuntu Server 10.10で実行されます。

性能

サーバーがhabraeffectから落ちることはほぼ確実です。 テストを試みました。すべてのサイトはGoogle App Engineでホストされており、テストする意味はありません。 （JavaScriptで）APIの負荷をテストすることは残っていますが、これはより複雑です（多くの固有の、しかし実際のリクエストを送信する必要があります）。 理論的には、アーキテクチャにパフォーマンスのボトルネックはなく、すべてのノードを水平にスケーリングできます。 しかし、データベース、検索インデックス、アプリケーションのWebサーバーなど、すべてが同じサーバーでホストされるようになりました。 良い方法では、すべてを複数のサーバーに分散する必要がありますが、これはhabra効果の持続時間のみに行うことはお勧めできません。

厳しい現実

実際には、多くのユーザーは、ブラウザーのアドレスバーの存在についても知りません。 Yandex / Googleのみがあります。 インターネットはそれらから始まります。 メタバスを介して商品やサービスを検索する方がはるかに便利な場合でも、これを行うようにユーザーをトレーニングすることは非常に困難です。 Yandex / Googleを使用してすべてを検索する習慣があります。それについて何もする必要はありません。 または、プロモーションに数百万を費やします。 または、他の方法を探します。



先ほど言ったように、プロジェクトを「商品やサービスの単一検索」として宣伝することは非常に困難です。 テーマ別検索エンジン、テーマ別モバイルアプリケーション、ソーシャルネットワーク用アプリケーションを作成して、前進する予定です。 また、アフィリエイトネットワークを開発する予定です。 同時に、単一の検索エンジン（現在はメタ検索）が引き続き機能し、徐々に多くのデータが蓄積されます。



私の目標は、商品、サービス、および購入可能な場所のための便利な単一の地理指向検索エンジンを作成することです。 馬鹿げているように聞こえますが、データベースには、ウラジミール地域の建設市場のアイテムからモスクワのレストランのメニューまで、すべてのデータが絶対に含まれている必要があります。 そして、そうなるでしょう。 別のことは、すぐにではなく、おそらく私にとっては悲しいことですが、これは検索巨人によって行われる可能性が高いことです。 将来的に電話をかける必要はありません。インターネット上のどこを検索するかは明確ではありません。さらに、希望する製品やサービスを見つけるために、実際の場所にアクセスする必要もありません。 組織がデータをアップロードする特定の統一データ交換バスがあり、多くのアプリケーション、サービス、およびサイトがこのデータを検索、分析、および処理に使用します。 そして、それはどこにでもあります。

申し出

このプロジェクトが気に入ったら、あらゆる種類の協力の準備ができてうれしいです。

• もちろん、 データ （最小要件を満たす）を追加したり、都市や国のトピックをカバーしたりする準備はできています。 それはあなたに何を与えますか？ これにより、データの便利な検索（メタ検索、およびAPIに接続されている他のすべてのサービス）を実行できます。 したがって、サイトへのトラフィックが増加します。
• Webサイト/モバイルアプリ/ソーシャルアプリを作成できます。 ネットワーク。 高品質で更新されたコンテンツ、便利な検索、SMSによる検索機能を提供します。 アプリケーションを作成しています。 例：すべてのガソリンスタンド、すべての車の洗浄、すべての車のサービス、交通警察署などがある自動車愛好家向けのアプリケーション。繰り返します。データの対象は何によっても制限されません。
• 私から受け取ったデータに基づいて、貴重で高度に専門化された情報があるポータルを作成できます。 例：価格、名前、在庫状況など、お客様の地域の金属製品のサプライヤー/セラーのサイトから詳細なデータを収集します。 金属価格、入手可能性、検索などに関するデータを使用してポータルを作成します。他の分野でも同じことができます。自動車部品、建築材料などの検索です。
• 関連するデータを配置できる特定のリソースが既にあります。 たとえば、あなたは健康/美容ブログを持っています。 薬が言及されている記事では、価格のあるユニット、またはこれらの薬を購入できる最寄りの薬局のユニットを追加できます。 音楽スターについてのリソースはありますか？ ミュージシャンのプロファイルでは、次のコンサートのチケットの価格またはこれらのチケットを購入できる場所にブロックを追加できます。 そして、サーバー側での変更なしでこれらすべてを行います。 HTMLおよびJavaScriptコードを静的に挿入するだけです。
• 製品プロモーションサイトを作成する場合、この製品を購入できる場所の検索フォームを配置できます。 または、この製品の価格情報。

このようなサービスを促進できる人々、JavaまたはJavaScriptプログラマー、デザイナー、テスター、その他の支援者と商業的および非営利的に協力できることを嬉しく思います。



繰り返します リクエストに応じて、彼らはすべてを探していることがわかります-薬と薬局、ガソリンスタンドのガソリンスタンド、洗車とそのサービス、ATM、支払いターミナル、ホテル、カフェ、レストラン、食べ物（メニューから）、プール、チケットオフィス、チケットのみを検索できます。 モスクワのみ。