機械学習は流行の用語になりましたが、大量のデータを扱う場合、長年にわたって重要な必要性がありました。 Yandexは毎日2億件以上のリクエストを処理しています！ むかしむかし、インターネット上にサイトがほとんどなく、その中の最高のものがカタログに置かれていましたが、現在では、新しいデータから学習する複雑な数式がページへのリンクの関連性に関与しています。 タスクは、いわゆるコンベヤー、これらのフォーミュラをトレーニングおよび制御する通常のプロセスにあります。



今日、機械学習タスクに使用されるNirvanaコンピューティングプラットフォームを作成した経験をHabrコミュニティと共有したいと考えています。







Nirvanaは、ユーザーが指定した順序でアプリケーションが実行される非専門のクラウドコンピューティングプロセス管理プラットフォームです。 Nirvanaは、プロセス、リンク、プロセスユニット、および関連データに必要な説明を保存します。 プロセスは非循環グラフとして設計されています。



さまざまなYandex部門の開発者、アナリスト、およびマネージャーは、Nirvanaを使用して計算問題を解決します。これは、ラップトップ上ですべてのものを数えることができないためです（その他の理由については、記事の最後でNirvanaの使用例を説明します）。



以前のソリューションを使用したときに発生した問題、Nirvanaの主要なコンポーネント、およびこの名前がプラットフォームに選ばれた理由を説明します。 次に、スクリーンショットを見て、プラットフォームが役立つタスクに進みます。

ニルヴァーナの登場

ランキング式を学習するプロセスは、一定の膨大なタスクです。 YandexはCatBoostおよびMatrixnetテクノロジーと連携するようになりました。どちらの場合も、ランキングモデルを構築するには、かなりのコンピューティングリソースと直感的なインターフェイスが必要です。



FMLサービス（Friendly Machine Learning）は、かつて自動化と簡素化の大きな一歩でした-機械学習の仕事をフローに取り入れました。 FMLは、トレーニングパラメーターの構成、結果の分析、およびクラスターでの分散起動のためのハードウェアリソースの管理のためのツールに簡単にアクセスできるようにしました。



しかし、ユーザーはFMLを既製のツールとして受け取ったため、インターフェイスの改善や技術革新の開発はチームの肩にかかっていました。 最初は便利だと思われました-必要な機能のみをFMLに追加し、リリースサイクルに従い、ユーザードメインに飛び込んで、本当にフレンドリーなサービスを作ります。



しかし、これらの利点に加えて、開発のスケーラビリティが不十分でした。 FMLフォームの改善および改善の注文の流れは、すべての期待を超えていました。すべてを迅速に行うには、チームを無限に拡大する必要がありました。



FMLはSearchの内部サービスとして作成されましたが、他の部門の開発者はそれについてすぐに学びました。その作業タスクはMatrixNetと機械学習にも関連していました。 FMLの可能性は検索タスクよりもはるかに広く、需要はリソースを大きく超えていることが判明しました。私たちは行き詰っています。 チームの比例的な拡大が必要な場合、人気のあるサービスを開発する方法は？



私たちは、オープンアーキテクチャで自分自身の答えを見つけました。 ニルヴァーナを開発し、基本的に主題領域に接続されなくなりました。 そのため、プラットフォームの名前は、ユーザーがどのタスクを使用するかには関係ありません。開発環境は、プログラムが何であるかについて無関心であり、グラフィックエディターにとって、現在編集している画像は関係ありません。



そして、ニルヴァーナにとって何が重要ですか？ グラフの形で構成された任意のプロセスを正確かつ迅速に実行します。頂点には操作可能なブロックがあり、ブロック間のリンクはデータに従って構築されます。



Nirvanaが会社に登場してから、Yandexのさまざまな部門の開発者、アナリスト、マネージャーが、機械学習に関連するだけでなく、Yandexに興味を持つようになりました（記事の最後に他の例があります） Nirvanaは1週間に数百万のオペレーションブロックを処理します。 それらの一部はゼロから開始され、一部はキャッシュから起動されます-プロセスがスレッドに置かれ、グラフが頻繁に再起動される場合、いくつかの確定的なブロックを再起動する必要はない可能性が高く、そのようなブロックによってすでに取得された結果を別のグラフで再利用できます



ニルヴァーナは機械学習をよりアクセスしやすくしただけでなく、会議場になりました：マネージャーがプロジェクトを作成し、開発者を呼び出し、開発者がプロ​​セスを収集してそれを起動し、マネージャーが多くの起動を監視した後、アナリストは結果を理解します。 Nirvanaは、操作（またはグラフ全体）の再利用を許可しました。他のユーザーが作成およびサポートしているため、二重の作業を行う必要がありません。 グラフは非常に異なります：いくつかのブロックから数千の操作とデータオブジェクトまで。 グラフィカルインターフェイス（記事の最後にスクリーンショットが掲載されます）で、またはAPIサービスを使用して組み立てることができます。

ニルヴァーナはどうですか

Nirvanaには3つの大きなセクションがあります：プロジェクト（みんなが共通のタスクを見た大規模なビジネスタスクまたはグループ）、オペレーション（既製のコンポーネントのライブラリと新しいコンポーネントを作成する機能）、データ（Nirvanaにロードされたすべてのオブジェクトのライブラリ、新しいコンポーネントをロードする機能）。



ユーザーはエディターでグラフを収集します。 他の誰かの成功したプロセスのクローンを作成して編集できます。または、操作またはデータを含むブロックをフィールドにドラッグしてリンクで接続することにより、独自にゼロから作成できます（Nirvanaでは、ブロック間のリンクはデータを通過します）



まず、システムのアーキテクチャについてお話ししましょう。読者の中には、キッチンに興味があるバックアップ同僚がいると思います。 私たちは通常、候補者がニルヴァーナのデバイスの準備ができるようにインタビューでこれについて話します。



それから、インターフェースのスクリーンショットと人生の例に移りましょう。





まず、ユーザーは通常、Nirvanaのグラフィカルインターフェイス（シングルページアプリケーション）にアクセスし、時間の経過とともに、多くの永続的なプロセスがAPIサービスに移行します。 一般に、Nirvanaはどのインターフェイスを使用するかを気にしません。グラフは同じように動作します。 しかし、より多くの生産プロセスがNirvanaに転送されるほど、ほとんどのグラフがAPIを介して起動されることが顕著になります。 UIは、実験と初期設定、および必要に応じた変更のために残ります。



バックエンド側にはデータ管理があります。これは、グラフ、操作、結果に関する情報のモデルとストレージ、およびフロントエンドとAPIを提供するサービス層です。



もう少し重要なコンポーネントは、 Workflow Processorです。 グラフの実行を保証します。グラフがどのような操作で構成されているかについては何も知りません。 ブロックを初期化し、操作キャッシュを操作し、依存関係を追跡します。 同時に、操作自体の実行はワークフロープロセッサタスクに含まれません。 これは、プロセッサと呼ばれる個々の外部コンポーネントによって行われます。







プロセッサは、特定のドメインの特定の機能をNirvanaに導入し、ユーザー自身が開発します（ただし、コアプロセッサは独自にサポートしています）。 プロセッサは分散ストレージにアクセスし、そこから入力データを読み取って操作を実行し、そこに結果を書き込みます。



Nirvanaに関連するプロセッサは、指定されたAPIを実装する外部サービスの役割を果たします。したがって、Nirvanaまたは既存のプロセッサに変更を加えることなく、独自のプロセッサを作成できます。 主な方法には、開始、停止、タスクステータスの取得の3つがあります。 Nirvana（または、Workflow Processor）は、グラフに対する操作のすべての着信依存関係が準備されていることを確認し、タスクで指定されたプロセッサに開始要求を送信し、構成とリンクを入力データに転送します。 定期的に実行ステータスをリクエストし、準備ができたら依存関係に進みます。



Nirvanaチームがサポートするメインプロセッサは、 ジョブプロセッサと呼ばれます 。 大規模なYandexクラスターで任意の実行可能ファイルを実行できます（スケジューラーとリソース管理システムを使用）。 このプロセッサの特徴は、アプリケーションを完全に分離して起動することです。したがって、並列起動は、割り当てられたリソース内でのみ機能します。



さらに、必要に応じて、アプリケーションを複数のサーバーで分散モードで実行できます（これがMatrixnetの仕組みです）。 ユーザーは、実行可能ファイルをダウンロードし、実行するコマンドラインと必要なコンピューティングリソースの量を指定するだけです。 プラットフォームが残りを処理します。







Nirvanaのもう1つの重要なコンポーネントは、操作の結果とダウンロードされた実行可能ファイルまたはその他のリソースの両方を格納するキーと値のリポジトリです。 Nirvanaのアーキテクチャには、複数の場所とストレージの実装を一度に処理できる機能が組み込まれているため、データストレージの効率と構造を改善し、ユーザープロセスを中断することなく必要な移行を実行できます。 プラットフォームの運用中に、CEPHファイルシステムとMapReduce-aテクノロジーおよびYTデータストレージを使用し、最終的に別の内部ストレージであるMDSに移行しました。



ストレージシステムには制限があります。 まず、これは保存されるデータの最大量です。 Nirvanaおよびプロセスのユーザー数が絶えず増加しているため、最大のリポジトリであっても、それがいっぱいになる危険があります。 しかし、システム内のほとんどのデータは一時的なものであり、削除できることを意味します。 実験の既知の構造により、対応するグラフを再起動することにより、1つまたは別の結果を再度取得できます。 また、ユーザーが何らかの種類のデータオブジェクトを永遠に必要とする場合、意図的にNirvanaリポジトリに無限のTTLで保存して、削除から保護することができます。 異なるビジネスタスク間でストレージを共有できるクォータシステムがあります。

ニルヴァーナはどのように見え、なぜ有用なのか

サービスのインターフェースがどのように見えるか想像できるように、Catboostテクノロジーを使用して式の品質の評価を準備および実行するグ​​ラフの例を添付しました。







Yandexのサービスと開発者がNirvanaを使用しているのはなぜですか？ 以下に例を示します。



1. MatrixNetを使用して広告ネットワークの広告を選択するプロセスは 、Nirvanaのグラフを使用して実装されます。 機械学習を使用すると、新しい要素を追加することで数式を改善できます。 Nirvanaを使用すると、学習プロセスを視覚化し、結果を再利用し、定期的なトレーニング開始を設定し、必要に応じてプロセスを変更できます。



2. Weather Teamは、MLタスクにNirvanaを使用します。 予測値は季節によって変動するため、最も関連性の高いデータをトレーニングセットに追加して、モデルを絶えず再トレーニングする必要があります。 Nirvanaには、モデルを再カウントして定期的に更新するために、APIを介して自動的にクローンを作成し、新しいデータで新しいバージョンを再起動するグラフがあります。



また、現在の生産ソリューションを改善するためにニルヴァーナで実験を収集し、新機能をテストし、MLアルゴリズムを比較して、必要な設定を選択します。 Nirvanaは、実験の再現性を保証し、体積計算の能力を提供し、他の内部および外部製品（YT、CatBoostなど）の操作方法を知っており、フレームワークのローカルインストールの必要性を排除します。



3. Nirvanaの助けを借りたコンピュータービジョンのチームは 、さまざまなパラメーターを使用してグラフのコピーを100個実行し、最適なものを選択することで、ニューラルネットワークのハイパーパラメーターを整理できます。 Nirvanaのおかげで、必要に応じて、タスクの新しい分類子がコンピュータービジョンの専門家の助けを借りずに「ボタンで」作成されます。



4. Directoryチームは、 Nilvanaを使用してこのコンベヤを自動化することにより、 Tolokaおよびアセッサを介して1日に数千のアセスメントを実施します。 たとえば、組織への写真はこの方法でフィルタリングされ、モバイルトロカを介して新しい写真が収集されます。 Nirvanaは、組織をクラスター化するのに役立ちます（重複を見つけ、それらを結合します）。 そして最も重要なこと-文字通り数時間で完全に新しい評価のための自動プロセスを構築できます。



5.評価者とTolokに基づくすべての評価プロセスは、ディレクトリにとって重要なだけでなく、ニルヴァーナに基づいています。 たとえば、Nirvanaは歩行者のすべての作業の整理とカスタマイズ、地図の更新、技術サポート作業、評価者によるテストを支援します。

話し合いますか？

当社のオフィスでは、 特別なYandexミーティングが定期的に開催されています。 そのうちの1人で、ニルヴァーナについて少し話をしました（ニルヴァーナのデバイス 、機械学習でのニルヴァーナの使用 に関するビデオがあります ）、それは大きな関心を呼び起こしました。 Yandexの従業員のみが利用できますが、説明したNirvanaデバイス、およびそれが役立つタスクに関する意見をお聞かせください。 コメントで私たちのシステムに似たシステムについて教えていただければ幸いです。 おそらく、あなたの会社はすでに同様のコンピューティングプラットフォームを使用しているので、アドバイスとフィードバック、実践からのストーリー、およびあなたの経験に関するストーリーに感謝します。