検索で他にできることは何ですか？ Yandexレポート

Yandexには、MapReduceに検索ベースを構築する検索コンポーネント開発サービスがあり、レンダリング用の組版データを提供し、アルゴリズムとデータ構造を生成し、品質向上のML問題を解決します。 このサービス内のグループの1つの責任者であるAlexey Shlyunkinは、検索ランタイムの構成要素とその管理方法について説明します。

MLで突破したい-突破します。 MapReduceのみが必要です-わかりました。 ランタイムが欲しい-ラン​​タイム。

-今日の検索とは何ですか？ Yandexは、検索を実行して開発を開始しました。 20年が経ちました。 数千億のドキュメントの検索ベースがあります。



ドキュメントをインターネット上の任意のページと呼びますが、実際にはそれだけではありません。 それでも-その内容、どのユーザーが彼女に行きたいかについてのさまざまな統計、それらの数。 さらに、計算したデータ。



また、各リクエストに応じてデータを処理し、何かを検索し、検索レスポンスを充実させる何万ものインスタンスがあります。 写真を探しているインスタンス、通常のテキスト文書を探しているインスタンス、ビデオを探しているインスタンスなどがあります。つまり、リクエストごとに何万台ものマシンが起動されます。 彼らは皆、何かを見つけ、あなたに示される結果を改善しようとします。 したがって、何万台ものマシンが1秒あたり何千ものリクエストを処理します。 これらの数万のインスタンスは、問題を解決するために設計された数百のサービスに結合されます。







コア検索があります-ウェブ検索サービス。 また、ビデオ検索サービスなどがあります。したがって、さまざまな検索の回答を組み合わせて、ユーザーに表示するのに適したものと順序を選択しようとするものがあります。 これが音楽に関する何らかのリクエストである場合は、Yandex.Musicを最初に表示し、次にこの音楽グループに関するページを表示する方がおそらく良いでしょう。 これはブレンダーと呼ばれます。 そのようなサービスはすでに何百もあり、リクエストごとに何かをして、何らかの形でユーザーを助けようとします。 そしてもちろん、これはすべて、単純な統計、線形モデル、勾配ブースティング、ニューラルネットワークなど、あらゆる種類の機械学習を使用します。



インフラストラクチャとMLについて今すぐお話します。



私のグループは新しいランタイム開発グループと呼ばれ、検索コンポーネント開発サービスの一部です。 あなたがアイデアを持っているために、私たちのサービスが何をするかを少しお話しします。







実際、みんなに。 検索を送信すると、検索ベースの構築から始めて、ほぼすべてのものに手を出しました。 つまり、MapReduceがあり、そこにあるドキュメントに関するすべてのデータを収集し、それを沸騰させ、あらゆる種類のデータ構造を構築します。 したがって、私たちは、ドキュメントが最初に到達したときの一番下から、最初の段階で、これらのドキュメントが何かを得てランク付けするとき、そしてレイアウトが条件付きJSONを受け取り、すべての写真や美しいもので描画する一番上から作業します。 下から上に、スタック全体で何かを開発しています。



しかし、私たちはコードを書いているだけではなく、したがって、インフラストラクチャでこれらすべてを行っています。 実際にニューラルネットワーク、CatBoostをトレーニングしています。 そして、あなたが想像して燃やすことができる他のMLの事柄も教えます。 それでも、私たちは大きな負荷と大きなデータを持っているので、もちろん、アルゴリズム、データ構造を調べ、どこかにそれらを導入することを決して制限しません。 たとえば、いくつかの場所でセグメントツリーを使用します。 ホウ素を構築するインデックスの独自の圧縮があり、それに応じて辞書を構築する最適な方法のダイナミクスを考慮します。



一般に、検索などの巨大な巨像を扱うと、このような単純なタスクで飽和状態になりました。 したがって、私たちはもちろん、複雑で新しいもの、私たちに挑戦するものを崇拝します。 そして、いつものように10行のコードを作成するだけではありません。 いくつかの実験について考える必要があります。 一般に、私たちが自分で設定するタスクは、しばしばフィクションの危機にonしています。 時々あなたは思う：それはおそらく不可能です。 しかし、その後、おそらく、何らかの形で実験されました-実験には1年かかることがあります-しかし、最終的には何かが判明します。 その後、私たちは何かを導入し、改造し始めます。



そして、プロジェクト、スキルなどに加えて、一般的に、私たちはYandexで最も野心的で急速に成長しているチームの1つです。 たとえば、私は2年前に来て、私たちのサービスの9番目の人でした。 現在、約60人のサービスを提供しています。 実際、これは研修生によるものですが、一般的には、2年で4倍になりました。 これは、当社のサービスが何をしているのかを知るためのものです。



ここで、私たちのタスクのトップと、私には思えるように、近い将来、私たちはますます関連性を増す方向についてお話したいと思います。 ただし、このためには、最初に最も基本的な検索レイヤーがどのように機能するかを簡単に説明する必要があります。







一般的に、すべてが非常に簡単に機能します。 検索ベースとすべてのドキュメントがあり、これらすべてのドキュメントをほぼ均等にN個に分割します。 それらは破片と呼ばれます。 そして、「基本検索」と呼ばれるプログラムがシャード上で起動されます。 彼女の仕事は、インターネットのこの部分でそれぞれ検索を実行することです。 つまり、彼女はそれを検索する方法を知っていて、他のインターネットについてこれ以上何も知りません。 そして、そのようなN個のシャードがあります。 基本検索がそれらの上に起動され、それに応じてメタ検索があります。 ユーザーのリクエストはそれに該当し、それに応じて、すべてのシャードに移動し、各シャードが検索を実行し、それぞれが結果を返し、何らかのマージを実行して回答を返します。



これが、ほぼ20年間すべての検索が行われた方法であり、一般的に、彼らは長い間、これはそのままであり、これ以上何もできないと考えていました。 しかし、すべてが変化しており、新しいテクノロジーが出現しており、機械学習により品質が向上するだけでなく、何らかのインフラストラクチャの問題を解決できるようになりました。 最近、私たちの検索では、インフラストラクチャと機械学習の接点でプロジェクトが非常に多く撮影されました。 このようなマストドンが2つ合体すると、非常に興味深い結果が得られます。







最近、ニューラルネットワークが登場しました。 リクエストのテキストがあり、ドキュメントのテキストがあります。 リクエストから数値のベクトルを取得し、ドキュメントから数値のベクトルを取得して、スカラー積が必要な値を予測するようにします。 たとえば、スカラー積をトレーニングして、ユーザーがこのドキュメントをクリックする確率を予測します。 かなり理解できることです。







ほぼこのように配置されます。 非常に失礼な場合、最下層にいくつかの単語があり、ネットワークのいくつかの層があります。 実際、各レイヤーはベクターを入力として受け取ります。 つまり、最下層はそのような疎ベクトルであり、各単語はリクエストです。 それを行列で乗算し、ある種のベクトルを取得してから、それに応じて各コンポーネントに非線形性を適用し、これを数回行います。 そして最後のレイヤー、これはリクエストを受け取ったばかりのベクターと呼ばれ、そのようなレイヤーを適用しました。ここで最後のレイヤーはまさにリクエストベクターです。



したがって、これらのニューラルネットワークはここ数年、検索に積極的に導入されており、品質に多くの利点をもたらしました。 しかし、予測したいすべての値が良好であるという1つの問題がありますが、そのようなニューラルネットワークをトレーニングするために最下層は非常に大きいため、すべての単語は数千万の単語であるため、書く必要があります彼女は数十億のデータを入力しました。



たとえば、一部のユーザークリックについてトレーニングすることができます。 しかし、私たちの検索で最も重要と考えられる主な信号は、特別な人による手動マーキングです。 彼らはリクエストを受け取り、ドキュメントを取り、それを読み、それがどれほど良いかを理解し、マーク、つまり、このドキュメントがこのリクエストにどれだけ適合するかをマークします。 地球全体を絶えずマークアップするために雇うのは非常に費用がかかるので、長い間、ニューラルネットワークでそのような規模を予測することはできませんでした。 そのため、ハッキングを行いました。







ニューラルネットワークのニューラルネットワーク。 過去数年にわたって、私たちは良い信号を予測するいくつかのニューラルネットワークをかなり蓄積してきましたが、特別な人の評価よりも少しラフです。 したがって、これらのネットワークの既製のベクトルを下位層に送信し、ニューラルネットワークをトレーニングして、より小さなデータネットワークでのみ検索の関連性を予測することにしました。



結果は非常に良いモデルでした。 彼女はドキュメントのリクエストをベクトルに導き、そのスカラー積は、私たちが長年予測してきた本当の関連性を直接予測します。



さらに、検索を少しやり直す方法も考えました。 このプロジェクトは、KNNベース（英語のk最近傍法、k最近傍法）と呼ばれます。







基本的な考え方はこれです。 クエリベクトルとドキュメントベクトルがあります。 最も近いものを見つける必要があります。 各ドキュメントはベクトルで表されます。 ドキュメントのスペース全体を特徴付けるN個のクラスターを強調表示しましょう。 大まかに言って。 ドキュメントの数よりも非常に少ないですが、たとえば、トピックを特徴付けます。 簡単に言えば、猫のクラスター、食料品のクラスター、プログラミングのクラスターなどがあります。



したがって、以前のようにドキュメントをシャードにランダムに分散させることはありませんが、ドキュメントをそのシャード、つまり重心がドキュメントに最も近い場所に配置します。 したがって、シャード内のトピックごとにグループ化されたそのようなドキュメントがあります。



そして、リクエストを求めるだけで、すべてのシャードに移動することはできませんが、このリクエストに最も近い一部のサブセットにのみ移動できます。







したがって、このようなスキームがあり、メタ検索はすべてのシャードに含まれています。 そして今、彼はもっと少ない数に行く必要がありますが、同時に最も近い文書を探します。



このデザインから実際に得られるものは何ですか？ クラスターの数が少ないため、コンピューティングリソースの消費が大幅に削減されます。 これは、すでに述べたように、私たちのサービスのハイライトの1つです。これは、これまで誰も考えられなかった結果をもたらすインフラストラクチャと機械学習の合金です。







そして最後に、ここでモデルを入手してから、検索全体をやり直し、ペタバイトのデータをオフにし、検索が機能するため、10分の1のリソースしか消費しないため、非常に楽しいことです。 あなたは会社のために10億ドルを節約しました、誰もが幸せです。







私たちの検索で発生し、中断された年のすべての実験と一緒に実装および実行されているプロジェクトの1つについて話しました。 他の典型的なタスクは、検索ベースを2倍にすることです。これは、インターネットが絶えず成長しており、それに追いつき、インターネット上のすべてのページを検索するためです。 そしてもちろん、これはベース層の加速であり、ほとんどの場合、ほとんどの鉄があります。 たとえば、ベース検索を1％高速化すると、約100万ドルを節約できます。



また、スタートアップインキュベーターとして検索に取り組んでいます。 説明します。 検索は20年間行われています。 それはすでに多くのことを行っており、何度も行き止まりに立ち向かい、これ以上何もできないと考えました。 その後、長い一連の実験がありました。 私たちは再びこの行き止まりを突破しました。 そしてこの間、私たちは大きくてクールなことをする方法について多くの専門知識を蓄積してきました。 したがって、Yandexの新しい方向のほとんどは、検索で行われます。検索の人々はすでにこれをすべて行う方法を知っているためです。少なくとも新しいシステムを設計するように依頼することは論理的です。 そして、最大限に-自分で行ってください。



さて、あなたが私たちの仕事について少し知っていただければ幸いです。 私のサービスのインターンについて、私のストーリーの主題部分をすぐに説明します。 とても気に入っています。 たくさんありますが、去年の夏は私のグループだけで20人の研修生がいましたが、これは良いことだと思います。 1〜3人のインターンをとるとき、彼らは少し孤独を感じ、時には年上の仲間に尋ねることを恐れます。 そして、それらの多くがあるとき、彼らは不幸な同志として互いに通信します。 彼らが開発者に何かを尋ねることを恐れるなら、彼らは行くでしょう、彼らは隅でささやきます。 このような雰囲気は、すべてを効率的に行うのに役立ちます。



私たちには100万のタスクがあり、チームはそれほど大きくないので、インターンは満員です。 常にログに座ってテストを書き、コードをリファクタリングするように研修生に依頼するのではなく、すぐに何らかの複雑な制作タスクを与えます：検索の高速化、インデックス圧縮の改善。 もちろん助けます。 私たちはこれがすべて報われることを知っているので、私たちは専門知識を喜んで共有します。 私たちの活動分野は非常に広範囲であるため、私たちはそれぞれ自分の好みに合った仕事を見つけるでしょう。 MLで突破したい-突破します。 MapReduceのみが必要です-わかりました。 ランタイムが欲しい-ラン​​タイム。 何かあります。



あなたは私たちに何を得る必要がありますか？ 主にC ++とPythonですべてを行います。 両方を知る必要はありません。 アルゴリズムの知識を歓迎します。 それはある種の考え方を形成し、多くのことを助けます。 しかし、これも必要ではありません。繰り返しますが、私たちはすべてを教える準備ができており、時間を投資する準備ができています。 私たちのモットーである最も重要な要件は、何も恐れず、多くのことを理解することです。 生産を落とすことを恐れないでください。複雑なことを始めることを恐れないでください。 したがって、私たちはまた、何も恐れず、山を曲がる準備ができている人々を必要とします。 どうもありがとう。