Highload ++ 2017で通知する内容

ロシアと世界のさまざまな地域からの2,700人の参加者、150人のスピーカー、10室以上、最大のSkolkovo会場での2日間-これは、 Highload ++会議のすべてです。 さまざまなセクションに大規模な踊り場があり、伝統的なパフォーマンスだけでなく、マスタークラスもあります。

Mail.Ru Groupからのスピーチのスケジュールをまとめました-ほぼ18人のスピーカー！ 検出および認識テクノロジー、ダウンタイムなしのデータベースの作成と移行、ストリーミングビデオプラットフォームの作成、DDoSからの保護、Tarantoolの新機能などについて説明します。

一部の講義とマスタークラスは互いに交差していますが、レポートの記録は従来、会議後にレイアウトされます。 または、ブロードキャストに接続することもできます。

11月7日

Eduard Tyantov 、Mail.Ru Groupヘッド、Anti-Spam and Machine Vision Group

顔認識：スクラッチからハッチまで 、15：00、ナイロビ+カサブランカホール

Mail.Ruモバイルクラウドはすでに顔検出および認識技術を使用して写真をクラスタリングしています。 また、社内のサービスで認識技術を使用しています。 製品の実際の経験に基づいて、エドワードは次のように伝えます。

• 写真で顔を見つけてそれらを区別するためにニューラルネットワークを教える方法。
• トレーニングとトリックの興味深い側面は何ですか？
• 1日に数千万のクエリを処理するためのコンピューティング最適化について知っておくべきこと。
• モデルの問題とソリューションに気付きました。

Vasily Soshnikov 、Tarantoolチームのシニア開発者

「NginXモジュールを作成する方法と理由-理論、実践、利益。 パート2 " 、15:00、ホール"デリー+カルカッタ "

1年前、Vasilyは「理論、実践、利益-NginXモジュールを作成する方法と理由」というプレゼンテーションを行いました。 当時は、NginXのすべての機能について話すことはできませんでした...今回は機能しません-トピックが大きすぎます！ すべての可能性の代わりに、昨年話し合う時間がなかった問題に焦点を当てます。

• アップストリームモジュールを作成する方法と理由。
• モジュールを通過するコンテンツを適切に変換する方法。
• NginX共有メモリ-なぜですか、それで何ができますか。

また、複数のNginXモジュールなしでは実行できなかった、ライブストリームビデオおよびVOD（CDNおよび3つのデータセンターの規模）でのユーザーアクティビティ、セッション、トラフィックアカウンティングを追跡するプロジェクトの問題と解決策についても説明します。

アントン・レズニコフ 、Cloud.Ruクラウド開発チーム長

Igor Munkin 、Mail.Ru Cloudプロジェクトの開発者

「サポートが地獄にならないサービスを書く方法」 、17：00、「議会ホール」

運用、インシデントの解決、およびそれらの調査のコンテキストでのサービスの開発に関する共同プレゼンテーション。 1万5千台のマシン、数百万のオーディエンス、複雑なビジネスロジックがあるCloud.Ru Cloudプロジェクトでは、次の質問に対する答えが見つかりました。

1. インシデント調査が干し草の山で針の検索にならないようにログを書き込む方法は？
2. メトリックを収集する方法、プロジェクトはどうなりましたか？
3. プロジェクトの問題についてユーザーから学ばないように、監視にメトリックを追加する方法は？

この分野の知識は、負荷の高いサービスに役立ちます。

Dmitry Soloviev 、Mail.Ru Groupリード開発者

「属性の定義と衣服のUGC写真の視覚的検索」 、17：00、ホール「ナイロビ+カサブランカ」

電子商取引の最もハイテクな分野の1つは推奨事項です。 ユーザーの行動やテキストから抽出された情報に基づいたアルゴリズムは、それ自体をよく示していましたが、視覚的な検索と視覚的な推奨の分野で他のソリューションを見つける必要があります。

Dmitry Solovyovは、ユーザーからの写真に基づいて衣服の推奨システムを作成する過程で遭遇したことを説明します。

• 画像検索の問題を解決するために畳み込みニューラルネットワークを使用する方法。
• 事前学習済みのニューラルネットワークを使用して画像検索をすばやく構築する方法。
• 衣服の属性を強調するためにネットワークを再トレーニングする方法は、推奨事項の品質を向上させるのに役立ちます。

この講義では、ニューラルネットワークの実用化に関する以下の問題に取り組んでいます。

• 衣服の属性の分類。
• 物体検出;
• 同様の服を検索します。
• 写真からの服の推奨。

Dmitry Egorov 、VKontakteデータベース部長

「VKontakteの個人メッセージのデータベースをゼロから書き換え、ダウンタイムなしで移行する方法」 、18：00、「会議場」

長年にわたり、VKontakteの個人メッセージのセクション（合計1兆メッセージおよび約1ペタバイトのデータ）は同じ自己記述型データベースで機能していましたが、これは徐々に廃止され、膨大な数のサーバーを必要としました。

10か月間、新しいメッセージストレージシステムがゼロから開発されて導入され、多くのアーキテクチャ上の制限がなくなりました。 パフォーマンスがはるかに高く、数百万ドルを節約できます。

2017年の初めに、ユーザーの個人メッセージセクションで使用される鉄の量が半分になりました（古いエンジンでは2倍の増加が必要でした）。 また、ロジックの大部分がphp-backendからエンジンに転送されました。 HighLoad ++のメインホールでは、Dmitry Egorovがパーソナルメッセージングエンジンのアーキテクチャ、小規模チームによる短時間の最適化、そして最も困難な部分であるダウンタイムなしの移行について詳しく説明します。

11月8日

OdnoklassnikiのプラットフォームチームYuri Nevinitsin

「オドノクラスニキでドルイドの仕事をした方法」、10：00、ムンバイホール

OdnoklassnikiのMSSQLベースの50テラバイトの統計システムが次のようになりました。

• 遅い（平均応答率は必要な数倍でした）。
• 不安定（ラッシュアワー時の統計は最大30分遅れていた）。
• 親愛なる（Microsoftライセンスポリシーが変更され、ライセンスコストが数百万ドルに達する可能性があります）。

ドルイドを実装することにより、これらすべての問題を解決することができました。平均応答速度が20倍に増加し、高価なライセンスの代わりに統計が遅れなくなり、オープンソースが登場しました。 Odnoklassnikiでは、Druidを使用して、過去2年間の運用指標の保存と処理を行っています。 現時点では、データベースは1日あたり数百億のレコード（数百ギガバイトのボリューム）を処理します。

Yuri Nevinitsinは、すべての決定の中で、Druidが選択された理由を説明します。 ネタバレ：高性能、水平方向の拡張性、耐障害性。

Alexander Tobol 、ビデオおよびニュースフィードプラットフォームOdnoklassnikiの開発者

「UDPまたはオンラインでゼロから100万オンラインのビデオをストリーミングするためのプラットフォームの上にプロトコルを記述します」 、11：00、デリー+カルカッタホール

Odnoklassnikiのビデオサービスは、ビュー数でRunetで2番目にランクされています。1日4億回以上のビデオビューです。 ユーザーはビデオを見るだけでなく、自分でコンテンツを生成します-OKライブストリーミングアプリケーションの使用も含みます。

Odnoklassnikiは、ストリームの次の技術的な問題を解決しました。

• 動的に変化するモバイルチャネルでのストリーマーと視聴者間の遅延の保証。
• 機器が失われた場合でも継続的なストリーミング。
• 一般的なブロードキャスト中の配信サーバーの負荷。

Alexander Tobolは、スケーラブルなフォールトトレラントビデオストリーミングサービスを構築した経験を共有し、数千のオンラインストリームと数百万の視聴者に耐えることができるアーキテクチャについて話します。 実用面では、レポートは次の質問に答えます。

• ブロードキャスト遅延をp2pビデオ会議に匹敵する時間に最適化する方法。
• hls、dash、rtmp、webrtcプロトコルの使用方法。
• 遅延を最小限に抑えるために、クライアントとトランスコーダーでコーデックを構成する方法。
• TCP遅延保証の問題
• 独自のUDPプロトコル：MTU測定、ペーサー、パケット損失暗号化、高速再送信。

Odnoklassnikiでのストリーミング作業の結果、モバイルネットワークでFullHD（1080p）にストリーミングできる世界初のAndroidアプリケーションが発売されました。

Denis Linnik 、Mail.Ru Group Media Projectsのバックエンド開発者

「Tarantoolの例によるNoSQL DBMSのストアドプロシージャ 」、11：00、ホール「ナイロビ+カサブランカ」

Tarantoolの例に関するDenis Linnikは、ストアドプロシージャを記述してデータの処理と取得の速度を上げるアプローチの長所と短所を検討します。 Tarantoolを本格的なアプリケーションサーバーと見なす場合、そこで起動されたアプリケーションはマイクロサービスと見なすことができます。 LuaのTarantoolのストアドプロシージャ（およびC）を使用すると、大量のデータをOAuth2承認に集約する複雑なロジックを実装できます。 このレポートでは、ストアドプロシージャを作成する際の機能と落とし穴、コードのプロファイリングと最適化の問題について詳しく説明しています。

Alexander Khristoforov 、Odnoklassnikiの主任開発者（プラットフォームチーム）

「安く、信頼性が高く、簡単です。 OKでのペタバイトのビデオと写真の保管​​、「 12:00、ホール」デリー+カルカッタ」

Odnoklassnikiは数十ペタバイトのビデオデータを保存し、数百Gb / sの速度でそれらへのアクセスを提供します。プロセスには、数千のディスクと数百のサーバーで構成されるインフラストラクチャが必要です。 以前は、データの信頼性とフォールトトレランスを確保するために、各データセンターに1つずつ、3つのデータレプリカが保存されていました。 ダウンロード可能なビデオコンテンツの爆発的な成長により、新しい低コストで信頼性の高いデータストレージシステムの開発が決定されました。

Alexander Khristoforovは、データストレージの冗長性を3から2.1に削減すると同時に、より高い信頼性とシステム可用性を実現する方法を説明します。 このレポートでは、数千台のドライブを交換する簡単で安全な方法について説明しています。

Oleg Anastasiev 、Odnoklassnikiの主任開発者（プラットフォームチーム）

「ワンクラウド-オドノクラスニキのデータセンター管理システム」 、15：00、カリーニングラードホール

クラスメートは、複数のデータセンターにある8,000台を超える鉄製サーバーです。 各マシンは特定のタスクに特化しており、障害の分離と自動化されたインフラストラクチャ管理を保証します。 ただし、新しい制御システムの導入により、機器のより効率的なロード、アクセス制御の容易化、コンピューティングリソースの自動（再）配布、新しいサービスの立ち上げの加速、大規模な事故への対応の加速が可能になることが明らかになりました。

DCのクラウド管理システムに関するOleg Anastasyevの講演の論文：

• Odnoklassnikiクラウドの基本原則、プロセス、および実装の詳細。
• クラウド自体とクラウドが実行するタスクのフォールトトレランスを提供します。
• タスクを分離し、テクノロジーの使用密度を高めるアプローチ。
• クラウドの実際の操作とその中のタスク。

Andrey Domas 、Odnoklassnikiの主要システム管理者

ワイヤ速度での「バランス調整」。 ASIC、制限なし。 クラスメート向けNFWareソリューション 、16：00、ムンバイホール

近年のDDoS攻撃の定性的および定量的な成長により、DDoS攻撃は優先度の高い問題の1つになりました。 攻撃ベクトルに応じて、インフラストラクチャのこの部分またはその部分がボトルネックになります。 特に、SYNフラッドでは、最初の打撃がトラフィックバランシングシステムで発生します。 攻撃に対する抵抗の成功は、そのパフォーマンスに依存します。

Andreyは、OdnoklassnikiとNFWareがソフトウェア高性能ロードバランサーをどのように実装したかについての経験を共有します。 彼は、このソリューションが最大数千万CPSのスループットを提供し、多くのハードウェアアナログの最大能力よりも高いスループットについて説明します。 そして、最も負荷の高いRunetプロジェクトのネットワークでどのように機能するか。

さらに、次のトピックについても説明します。

• マルチコアアーキテクチャによる速度の向上。
• 通常のLinuxスタックではなく、開発されたスタックのゼロから選択。
• 最高のパフォーマンスを維持しながら、ソリューションのフォールトトレランスを確保します。
• 特別に開発されたアルゴリズムによる強化されたDDoS保護。

レポートには、NFWareテクニカルディレクターのVyacheslav Morozovが出席します。

Arthur Udalov 、Mail.Ru MailのReactコンポーネントのライブラリのメンテナー

「コンポーネントライブラリを壊さずに開発する方法」17:00、北京+上海ホール

Mail.Ru MailチームはUIコンポーネントを個別のライブラリに割り当て、いくつかのプロジェクトで使用しましたが、問題が発生しました。各開発者がライブラリを自分のニーズに合わせて変更すると、必ず他の機能が壊れてしまいました。 この問題に対処することができました-このレポートでは、その方法を説明します。

アーサーウダロフは、Storybook、BackstopJS、Jest、Webdriver.io、TypeScriptなどのさまざまなツールを使用して、実際のプロジェクトでチームワーク用のコンポーネントライブラリを効果的に開発およびサポートする方法について説明します。

マスタークラス

11月7日

Roman Tsisyk 、Tarantoolチームの開発者

「タランツール。 方法、理由、理由は？」 、11:00、ホールA1.3

Roman Tsisykは、Tarantoolのパフォーマンスの秘密がソリューションとして何であるか、いつコストがかかり、いつ使用すべきではないかを説明します。 スピーチの論文：

• ホットデータとコールドデータ。
• DBMSとキャッシュ。
• SQLおよびNoSQL。
• モノリスとマイクロサービス;
• CRUDおよびCQRS;
• タランツールとレディス。

Tarantoolプロジェクトの開発者および創設者であるKonstantin Osipov

「Tarantoolのビニールストレージエンジンインテリア」午後1時、ホールA1.3

Vinyl-Tarantoolディスクストアの実装-Tarantool 1.7.5で運用を開始しました。 Konstantin Osipovが、Vinylのチューニングとチューニングについて説明します。

• Level0がLSMでどのように機能するか。
• インメモリテクノロジーのどのデータ構造が使用されているか。
• LSM Vinylのセカンダリキーサポートの効率。
• ディスク上のLSMツリーレイヤーの管理により、使用されるディスク容量を最小限に抑え、ゴミの量を削減します。

15:00に、コンスタンチンはトピック「PgSQLからTarantoolへのデータ同期」でデータベースについて話し続けます。

データベース内の関連データにすばやくアクセスするというタスクは、Tarantoolアプリケーションサーバーを使用して解決されました。 アプリケーションを実行する過程で、PgSQLから現在のデータを取得し、PgSQLで変更した直後に更新します。これにより、キャッシュに常に現在のデータを保持できます。 その結果、状態を監視して現在のデータを保存するスマートキャッシュがあります。

Nikita Pettik 、Tarantoolチームの開発者

「Tarantool SQL：クエリオプティマイザーの仕組み」17:00、ホールA1.3

TarantoolのSQL Query Translatorを使用すると、特定のクエリに対して準最適なクエリプランを自動的に作成することができ、パフォーマンスが最適なクエリプランに匹敵します。 これは、一連の最適化変換を使用して行われます。

Nikita Pettikは、SQLトランスレータに存在する最適化、クエリプランの作成時にオプティマイザが正しい決定を下すのに役立つ情報、およびこのデータを保存および収集する方法を正確に教えてくれます。

11月8日

キラン・ユヒン 、タランツールチームの開発者

「タランツールのSQL：ステータスと計画」 、午後2時、ホールA1.3

Cyril Yukhinは、SQLのサポートをTarantoolに追加する際に、私たちが基礎として取ったものと遭遇した問題について説明します。 また、現時点でSQLで達成されたことを示します。

Alexey Khatskevich 、Tarantoolチームの開発者

「TarantoolのSQL：EXPLAINの読み方」 、午後4時、ホールA1.3

SQLクエリは、次のようないくつかの異なる方法で実行できます。

• 実行のために受け入れられたクエリプランのパフォーマンスは、接続操作（存在する場合）の操作の順序によって大きく影響されます。
• 適切なカバリングインデックスは、テーブル全体のスキャンを回避します。

EXPLAINは、クエリプランを表示できるSQLコマンドです。 このコマンドの出力の意味を理解することを学習することにより、効果的なSQLクエリの作成スキルを大幅に向上させることができます。

Alexey Khatskevichは、TarantoolのEXPLAIN出力とは何か、それを正しく読む方法、および読んだものをどのように使用するかについて説明します。

---

ライブ放送は会議で開催されます（有料）が、マスタークラスは含まれません。 メインホールはパブリックドメインで放送されます- ここでは、Cloud Mail.Ruプロジェクトの「サポートが地獄にならないサービスを書く方法」と「VKデータベースをゼロから書き換えて移行する方法」の2つのスピーチを無料で見ることができます。ダウンタイムなし。」