7月上旬、私たちのオフィスはYandexとCERNの相互作用に関するセミナーを開催しました。 月曜日に、私たちはその最初の部分を発表しました-Andrey Golutvinによる新しいSHiP（Search for Hidden Particles）実験についてのレポート。 このセミナーの第2部は、YandexとCERNの共同プロジェクトについてAndrei Ustyuzhaninに捧げられました。







Andreiは、高エネルギー物理学におけるYandexテクノロジーの応用について話しました。 今日、さまざまな国からの膨大な数の人々がしばしば実験に取り組んでいます。 実験自動化のための共同エコシステムは、研究者をより協調させ、他の多くの問題を解決するのに役立ちます。 単一のインターフェイス、他の参加者の結果へのオンラインアクセス、バージョン管理システム、およびライブラリを交換する機能-これらすべてにより、研究者の生活が大幅に簡素化されます。



さらに、現代の高エネルギー物理学では、機械学習が積極的に使用されています。 テストサンプルに基づいて、分類子がトレーニングされ、その後、実際のデータに既に存在する特定のイベントの存在が判断されます。 同時に、1つの分析のためにトレーニングする必要がある式の数は、数百または数千にも達します。 しかし、私たちの開発はこの分野だけでなく、他の科学分野にも適用可能であることに留意する必要があります。 このレポートは、一般的な研究、さまざまな理論、仮説、およびモデルの実験的確認のプロセスに関するものです。 そのようなタスクは通常、研究機関の人々が直面しますが、現在では営利企業で頻繁に発生します。







最初に、人々は投機的な構成の質問への回答を検索してから、ストップウォッチ、スケール、定規などのさまざまなツールと実用的な技術を使用して仮説をテストしました。 実験者のツールキットでは、そのようなツールは最近までかなりの重量がありました。







上の写真は、水素蒸気で飽和した媒体を通過する荷電粒子の動きを記録するバブルチャンバーからの写真を示しています。 荷電粒子が軌道-気泡を残すことがわかります。 粒子の1つが水素原子から電子をノックアウトしました-電場では、顕著ならせん運動をします。 十字は、考慮すべきパスとそうでないパスを示します。 マークは人によって作成されました。







現在、すべてがより複雑になっています。 仮説を検証するために、数億から数十億フランの価値がある実験が行われます。 実験のコストは、ハードウェア部分だけではありません（トンネルを掘る、加速器を設置する、飛行中の荷電粒子または非荷電粒子を必要な精度で検出する検出器を設置する）。 また、蓄積されたデータを分析し、信頼性の高い結論を引き出すことができるアルゴリズムであり、データとその効果的な処理を保存するためのテクノロジーもあります。 したがって、タスクは最近までの作業に比べて桁違いに複雑になります。



荷電粒子の衝突の登録から記事の発行まで、ハドロンコライダーで何が起こるかをスケッチします。 イベントを分析および処理する場合、次の手順が発生します。



ここで、物理学者は検出器内の特定のイベントとその発生方法（たとえば、粒子の変換と相互作用中に何が起こるか）ではなく、特定のタイプのイベントの発生源の統計的特性に関心があることに注意することが重要です。 物理学者が特定の国の人口を推定しようとすると、女性、男性、特定の年齢層の人々の数、つまり全体の特性に興味があります。 特定の仮説を確認または反論することができます。



たとえば、標準モデルでは、b中間子のミューオンと反ミューオンのペアへの崩壊が3 * 10 ^-9回発生すると予測しています。 イベントの範囲を分析し、そうであることを証明した場合、標準モデルは有効です。 たとえば、イベントがより頻繁に発生することが判明した場合、標準モデルは何かを考慮しません。 これは、新しい物理学のアプリケーションを作成する機会です。 CERNでは、人々は少なくとも標準モデルからの逸脱を見つけようとしています。



手順に戻ります。 検出器は最初にデータストリームを生成します。 毎秒4,000万回の頻度で、陽子ビームが衝突します。 衝突の結果、粒子が生まれ、それが別の何かに崩壊します。







このデータは、リアルタイムで実行される処理ファームになります。 彼女は、次の衝突の一部が計算能力を使用しなくなるまで、着信データのフローを処理する時間が必要です。 ファームのタスクは、イベントストリーム全体から小さな部分（1秒あたり10 ⁷イベント）を選択することです：10 ^{-4、10 -3}またはそれ以下。 これらは、何かが起こる最も興味深いイベントです。



結果はストレージシステム-GRIDに入ります。 そのため、LHCbの実験では年間10 ¹⁰イベントが発生します。 各イベントの重量は約100キロバイトです。 もちろん、生データがイベントと見なされるか、単に処理されるかによって、さまざまな方法で発生します。



物理学者のグループがモデルまたは仮説をテストすることを決定したとします。 まず、データをプリフェッチします。 アレイ全体（10 10 ^個のイベント）から、特定のパラメーター（10 ⁵または10 ^{6 個の}イベントなど）に従って一部の部分が選択されます。 これはサンプルです。







問題は、サンプル内の信号イベントの数をどのように推定できるかです。 さて、質問に答えることができますか？ その結果、私たちのタスクは、このシグナル伝達イベントの発生の確率を評価することです。



サンプルはさまざまな方法で廃棄できます。つまり、さまざまな分析方法があります。 1つ目は、カットベースの分析です。 これは、運動量、横運動量、相互作用する粒子のさまざまな角度など、イベントのいくつかの特性に制限を課すという事実から成ります。 したがって、選択した地域での信号イベントを表示するための基準を絞り込みます。 選択した領域に含まれるイベントの数に基づいて、スコープ全体に含まれるイベントの数を推定しようとします。



比較的まれなイベント（たとえば、3 * 10 ^-9の確率で発生するイベント）が検索される場合、カットベースのアプローチはあまりうまく機能しません。 私たちが見つけたいものと関係のないバックグラウンドイベントが発生する可能性のあるスペースの大きすぎる領域がキャプチャされます。



この方法の精度を向上させるために、機械学習技術を使用することが提案されました。 それらを使用して、サンプル（信号とは何かを確実に言うことができる）から学習して、一連の標識を見つけることができます。 最良の方法で、または最高の信頼性でこれらの兆候は、信号イベントの出現を説明します。



分類器のデータを取得して機械学習モデルを構築するには、さまざまな種類のシミュレーターが使用されます。 それらは物理学者の特別なグループによって書かれ、構築され、調整されます。 シミュレータを使用すると、信号をバックグラウンドから区別する方法を学習するのに十分な量のイベントを生成できます。



データボリュームから一部（スペース領域）を選択できるようにする分類子を作成しています。 実際のデータから、このエリアにいくつのイベントが落ちたかを判断できます。 さらに、分類器の性能評価を分析するかなり複雑なプロセスが行われます。 結果は、数値または数値のペアです。サンプル内のイベントの発生の確率とこのイベントの発生の信頼性です。







分析の承認後、ワーキンググループと内部監査に関する文書がCERNで公開されます。 実行されたすべての分析手順について説明します。 雑誌にも記事が掲載されています。



重要なポイントがありますが、残念なことに、それは常に満たされているわけではありません。 データと分析コード-コンピューティング部分全体-は​​特別なリポジトリに保存されます。 これは、返されることができるように行われます。 たとえば、10年後に結果が返されるような方法で調査を実施できることが重要です。 この間、より高度な新しい分析メソッドが表示される場合があります。 同じデータでより正確な結果を得ることができます。







主な段階の概要を説明します。 オンラインデータ処理の領域があります（これは、高性能でリアルタイムの作業です）。 保管および後処理エリア（インフラストラクチャ部分）があります。







さまざまなモデルイベントの生成に関連する領域があります。 GRIDに蓄積されたデータの事後分析があります。 図の青色は、オフライン分析を示しています。 それは、必要な評価、出版物に送られる特定の数字を取得するまで起こります。 最後の領域は、後で再生するためのリポジトリ、データストレージ、および分析です。 物理学者はこのエリアのパンを手に入れないため、他のエリアに集中します。



アスタリスクは、Yandexシステムとサービスが関与する部分をマークします。 これは、イベントの検索とフィルタリング（分類子の処理と構築とその使用）、およびデータストレージです。 後者の作業を開始しました。 私たちはデータ保存ワーキンググループのメンバーです。 これまでは、以前に行ったサービスの変更に行き着きます。イベントで検索し、分類子を作成した結果を保存します。 それ以外の場合、これは異なる分類子のパフォーマンスを比較するストーリーです。



船の場合、私たちの前に新しい機会が開かれています。 この実験では、分散システムを構築するためにYandexで使用されているテクノロジーが物理学者の期待にどのように応えているかを見ることができます。

計算モデル

計算モデルと分散コンピューティングシステムの作業を整理する方法に専念する短いエクスカーションを行います。



左側にはBESM-6スーパーコンピューターがあります。これはおそらく、人類の歴史上最も重要な計算ツールです。 一方、ネットワークに接続されたパソコンが見られます。 コラボレーションを組織することにより、その時点でのスーパーコンピューターのパフォーマンスを超える結果を得ることができます。







2番目の段階は、1台のコンピューター内の高速バスによって互いに結合されたプロセッサーを構築する機能の出現です。 これにより、生産性が向上します。 一方、多くの生産的なコンピューターをコンピューティングクラスターに結合するシステム。 コンピューターは、低遅延で高帯域幅の比較的安定した接続によって相互に接続されます。 分散プログラムを作成するためのいくつかの手法を使用すると、生産性も向上します。



これはある種のスパイラルです。 左側には、集中型開発（能力開発）に関連する段階があり、右側には、地方分権化（そのようなエンティティの増加）に関連しています。 1つの領域でのブレークスルー（深刻なコンピューティングリソースの作成）により、このリソースを特定の数のコンピューティングユニットに拡張できます。



スーパーコンピューター（CRAY、Lomonosov、Beowulf）、GRID分散コンピューティングモデルがあり、現在CERNで非常に積極的に使用されています。 GRIDは1990年代半ばに登場し、その後大幅に成長しましたが、原則はほぼ維持されています。 営利企業のニーズに対して、GRIDなどのシステムはあまり人気がありませんでした。 これにより、テクノロジーの開発に別の方向性が与えられました。それは仮想化です。



仮想化とは、リソースおよびコンピューティングシステムをサービス、つまりクラウドテクノロジーとして使用する機能です。 現在、異なるクラウドを相互に組み合わせて、アクションとデータ転送を調整できるシステムがあり、それにより生産性を向上させることができます。 もちろん、このようなスキームは、リソースの集中化の最終段階としてSkynetなしでは実行できません。

グリッドリソースの使用

GRIDについて話す場合、CERNに関連するサイトの輻輳のスケジュールを検討する価値があります。 リソースへの負荷が非常に高い場合があり、概して、何も起こらない場合があります。 これらはサイクルです。 特にこのグラフでは、昼夜のサイクルはおそらくあまり見えませんが、非常に異なる変動があります。







短時間で大量の計算を実行する必要がある場合、GRIDではこれは簡単ではありません。 これを行うには、いくつかの大学またはYandexなどの大企業を提供する特定のマシンを具体的に構成する必要があります。 ロットを考慮する必要がなくなった場合、クラスターの使用を放棄することも非常に簡単ではありません。 この慣性は大部分が政治的または管理上の理由による大規模システムの特性です。 GRIDは、さまざまな研究組織の連合の一種です。 それらのそれぞれは、可能な限り、共通のシステムにリソースを投資します。 GRIDの負荷の程度に関係なく、コンピューターの作業に対して料金を支払うことがわかります。



GRIDに含まれるすべてのマシンには、共通のインターフェース、プログラムとライブラリのセットがあります。 しかし、困難があります。 マシンを使用して、GRIDにない特別なライブラリを必要とする問題を解決する場合、これを行うことはできません。 すべてのコンピューターで環境を構成するには、管理者の特定のアクションが必要です。

クラウド技術

クラウドテクノロジーは、コンピューティングシステムの開発における次のステップと考えることができます。 仮想化の利点には、実際のコンピューティングに料金を支払う機能と、必要な構成を使用する機能が含まれます。



これらの2つの領域を組み合わせることができます。 Yandexで使用されている特定のソリューション（世界中に配布されているだけでなく）について話す場合、これらはコカイン、エリプティクス、Docker、OpenStackなどです。 多くのテクノロジーがあり、タスクは物理学者と研究者のニーズに最も適したものを見つけることです。







上の図は、YARN-もう1つのリソースネゴシエーターのワークフローを示しています。 「Yet Another」はYandexとは関係ありません。 リソース使用モデルは、非常に柔軟で強力です。



クライアントごとに、彼のタスクを実行するための独自の環境を作成できます。 クライアントとして、必要なリソースのセットをリソースマネージャーに要求します。 それを受け取ったら、それを別個のクラスター（または別個のマシンのセット）として使用します。



分散コンピューティングのコンテキストで適用可能な2番目のテクノロジーはDockerです。 これにより、アプリケーション、ライブラリ、および依存関係を分離可能なコンテナにパックできます。 コンテナはどのコンピューターでも実行できます。 Linuxでは、これはすべて非常にうまく機能し、カーネルとコアライブラリのみが必要です。 管理の観点から見ると、Dockerはシンプルで理解しやすいものです。依存関係と環境の特別なインストールは必要ありません。 唯一必要なのは、特定の機能をサポートするカーネルです。 すべてのLinuxディストリビューションでは、これは簡単です。



グリッドとクラウド間の交配実験は続けられています。 最近の例の1つは、欧州委員会が支援するプロジェクトであるHelix Nebulaです。 一方では、CERNやEASAを含むいくつかの研究機関が含まれ、他方では、クラウドテクノロジーのプロバイダーである営利企業が含まれます。





これは、CERNの主力プロジェクトの1つの例であり、クラウドテクノロジーを使用してモンテカルロシミュレーションが行われました。 タスク配布サーバーがあり、この目的のためにPandaフレームワークが使用されました。 Pandaイメージを持つ仮想マシンはサーバーにアクセスし、結果と入力データをCERN GRIDストレージに配置しました。 仮想マシンのホストと管理は、Helix Nebulaプロジェクトから行われました。 Blueboxはこのプロジェクトの古い名前です。

タスク

実験用の計算モデルを構築している人が直面しているタスクをまとめると、イベントのシミュレーション（MC）、実際のイベントとシミュレーション（MC）イベントの検索、オンラインとオフラインの分析、データの保存（アクセスインターフェイス）、コードの保存および分析構造。



オンライン分析については、自分が望むほど詳しくは知らないので、話をしませんでした。 インフラストラクチャはリアルタイムのデータ処理をサポートする必要があることにのみ注意してください（データは実験から取得されます）。 特定のタスク（データ分析）に焦点を当てる場合、これは複雑なプロセスであることに注意してください。 多くのエンティティが交差します。 難易度の指標は、研究者が直面する問題、彼らが自分自身に問いかける質問です。 おそらく、それらはあなた方の何人かには馴染みがあるように見えるでしょう。

• チャート「13」はどのように生成しましたか？
• 新しい学生が3年前に公開したモデルを使用したいのですが、単一のグラフを再現できません。
• 私は同じパラメータを使用していると思っていましたが、結果は異なります！？！？
• 以前のバージョンのスクリプトで選択されたイベントはどこで入手できますか？
• 昨日はうまくいきました！
• なぜこれをしたのですか？

複雑さの原因：物理学、データの操作、分析戦略、分析手順、チームインタラクション。 すべてが単純であれば、1人でデータを分析して記事を書くことができます。



複雑な物理現象を扱う場合、多くのニュアンスを考慮する必要があります。たとえば、特定の現象の起源を説明するいくつかの異なるモデルがあります。 物理学にはそのようなモデルが非常に多くあり、それらを理解することは素晴らしい芸術です。 データ量が多く、このデータで何かを変更すると、同じファイルの多くのバージョンが表示されます。



分析戦略は、意味のある結果を得るために完了する必要がある一連のステップです。 データを引き出し、モンテカルロ生成を順序付け、データを引き出し、正規化チャネルを引き出してモンテカルロと比較し、1つの分類器を訓練し、2番目の分類器を訓練し、分類器を実際のデータに適用し、サイド領域でその効率を確認し、最も中心部を開きます興味深いのは、信号部分のイベントのおおよその数を推定し、実際にそれらのイベントの数を計算することです。 全体の物語。



分析の手順は異なり、非常に複雑です。 たとえば、分類子を作成するには、少なくともそれを使用して品質を評価し、分類子が再トレーニングされているかどうかを確認する前に、多くのチェックを行う必要があります。 分析に携わる多くの人々は異なる国に住んでいます。 共通の言語を見つけ、お互いを理解できることが必要です。

実験の生態系

困難に立ち向かうためには、ハードウェアおよびソフトウェアインフラストラクチャによってサポートされるエコシステムが必要であると考えています。 この主題分野での共同研究が可能になります。 標準のツールセットがあり、これらのツールは人々によく知られています（ROOT、PyROOT）。



必要に応じて設定を変更できるように、各チームメンバーが行うことへのオンラインアクセスを提供することが重要です。 それらのアプリケーションには品質基準とツールが必要です。



私たちはこの方向に動き始めました。 Yandexでは、多数の研究者の参加を必要とする同様のタスクに直面しました。 たとえば、検索ランキング式を学習するとき（数百人が参加しました）。 プロセスの重要な部分を自動化する方法を学ぶまで、人々は互いに干渉し、互いの足を踏み、オレンジとキュウリを比較して同じ仕事をしました。 その結果、実験の実施を自動化するシステムを作成しました。



システムは社内インフラストラクチャに関連付けられており、他のエリアにシステムを転送することには問題があります。 私たちは、利用可能なツールを使用して、物理システムをゼロから作成しようとしています。



たとえば、CERNで提供したサービスの1つであるイベントフィルターは、分類子構築システムであるMatrixnetを中心に構築されています。 最初は、データをアップロードし、数式をトレーニングして、数式をアップロードし直すことができるのは単なるWebインターフェイスでした。 式はパラメータ空間でトレーニングされ、最適化される必要があるため、これはあまり便利ではないことがわかりました。 1つの分析では、数千の異なる数式をトレーニングする必要がある場合があります。 手ですべてを叫ぶことは不可能です。 そのため、高エネルギー物理学で2番目に人気のあるPythonを介してイベントフィルターへのアクセスをラップするシステムを作成しました。







システムとPythonを組み合わせることにより、同じスペースで異なるライブラリを使用することが可能になりました（ROOT、Matplotlib SciKit-Learn、インタラクティブなチャート表示）。







動作にIPythonを使用したため、ユーザーのすべてのライブラリと機能が1つのインターフェイスに統合されました。 ただし、インターフェイスの背後には、いくつかの重要なコンポーネントがあります。 ユーザーにとっては、特定のモジュールが利用可能なWebページのように見えます。 彼は自分でこれらのモジュールを作成し、他の研究者が使用できるように公開します。ライブラリ、計算を実行するための分散環境、中間結果を保存するためのバージョン管理システムです。 ユーザーにとって、これはすべて次のようになります。コードが散在するページとその作業の結果、どの変更が注がれるかを確認できます。

データ分析学部

SHADの学生の間では、数学者が圧倒的に多く、その70％を占めています。 次に来るのは物理学者-25％、エンジニア-5％です。 SHADで教えられるコースは物理学とあまり密接に関連していませんが、人々は依然として主な専門分野に執着しており、知識を応用しています。 SHADの基本コース：アルゴリズムとデータ構造、機械学習、離散数学、確率理論、統計、自然言語テキスト処理、グラフ理論。







現時点では、MIPT、モスクワ州立大学、高等経済学部、その他の主要大学があります。 今年、理論情報学部が経済学部の高等学校に開設され、モスクワ物理学技術研究所と経済学部の大学院があります。 ヨーロッパの大学の学生向けのインターンシッププログラムが現在開始されています。



物理学と機械学習の交差点での研究の小さな例を次に示します。







イベントの分析、小さなサブサンプル（10 ⁵ ）があり、そこから理解する必要があります。ノイズまたはノイズ+信号のみがあります。 信号がある場合は、この信号の量を調べる必要があります。 シミュレートされたデータで動作するように分類器をトレーニングしようとするとき、分類器に背景のみが与えられた場合の選択された（あるしきい値での）信号の分布図は、背景とほぼ同じ形状を持つことが重要です。



ある変数に分類器を適用する前と後のバックグラウンド分布が異なることが判明した場合、分類器は導入された系統誤差を評価することが難しいため、実際の分析に使用できません。

おわりに

現在CERNが提供しているサービスは、イベントインデックスとイベントフィルターです。 また、新しい実験、特にSHIPでも需要があります。これにより、作業の新しい方向性が得られます。 研究開発のための優れたプラットフォームを提供できる技術があります。



現在、これらのテクノロジーを適用して問題を解決することができますが、他の場所でそれらを適用する方法を学ぶことに興味があります。 これは、会社の発展の方向の1つです。 ShADの学生は、プロファイルによってこのエリアを興味深いと感じるかもしれません。