金曜日の形式：Netflixの仕組み

Habréのブログでは、 1cloudクラウドサービスの技術的側面だけでなく、ワークフローを整理する問題についても説明しています。 たとえば、最近、 それらの作業について説明しました。 サポート 。



本日、ストリーミングマルチメディアテクノロジーに基づいた映画やシリーズを視聴者に配信するNetflixサービスデバイスのテーマに関する資料を分析することで、Habrの金曜日のテープを多様化することにしました。



Netflixは、1997年にカリフォルニア州スコッツバレーでマークランドルフとリードヘイスティングスによって設立されました。 最初は30人の従業員が関与し、925本の映画と定期購読テレビ番組を提供しました。 今日、Netflixは数千万の顧客にサービスを提供している世界有数のインターネットテレビネットワークです。



同社は、ネットワークで使用されている技術、インフラストラクチャ、および珍しいソリューションに関する情報の投稿に非常に積極的です。 たとえば、 ブログ投稿で 、Netflixの従業員は、提供されるコンテンツが常に高品質であることを保証するために会社が何をしているのかについて話しました。 これを行うために、彼らは方法論全体を開発しました。 同社のコンテンツ配信ネットワーク（CDN）は、顧客が使用するデバイスを考慮し、0.5 Mb / s未満の速度のモバイルインターネットから高速インターネット（100 Mb / s以上）までの幅広いインターネット接続をサポートしています。



Netflixは、ユーザーのインターネット速度に応じてオーディオとビデオの品質を調整するアダプティブストリーミングテクノロジーを使用しますが、ビデオ品質を独自に設定する機能も顧客に提供します。 Netflixのコーデックとビットレート値の多数の組み合わせは、「1つの映画120をストリーミングプラットフォームに転送する前にさまざまな方法でエンコードする義務」を意味します。



ビデオエンコーディングのプロセス全体がクラウドで実行されるため、会社はスケーリングの大きな機会を得ることができます。より多くのフィルムを処理する必要がある場合、クラウドテクノロジーにより追加のリソースを簡単に使用できます。 逆もまた真です-必要に応じて、計算能力の量を減らすことができます。



長いビデオを処理するタスクは小さなものに分割され、並行して実行されます。 これにより、実装時間を大幅に短縮できます。 次の図は、プロセス全体の図を示しています。 ソースを受信した後、ビデオはさまざまな形式およびさまざまな品質でエンコードされ、その後のみCDNに入ります。







Netflixは、独自の映画スタジオまたはパートナーからビデオ素材のソースファイルを受け取りますが、これは、受け取ったファイルの一部に、ストレージまたは複数のデータ処理中に発生した欠陥がある可能性を排除するものではありません。 このため、最初の段階で、ソースコードが必要な要件を満たしているかどうかがチェックされます。これにより、表示に否定的な印象を与える可能性のあるコンテンツが明らかになります。



ソースファイルが要件を満たさない場合、システムは自動的に会社のパートナーに問題について通知し、新しいソースを要求します。 すべてが正常な場合、エンコードのメタデータがファイルに添付されます。 大きなファイル（4Kの解像度のビデオなど）の処理効率を高めるために、ファイルは断片化されています-ファイルは条件に応じて小さな部分に分割され、並行してチェックされます。



検証中に、エラーが検出され、フラグメントの時間的特性を含むメタデータが生成されます。 分析が完了すると、すべてのピースが特別なアグリゲーターで収集され、ファイルを生産プロセスの次のステージに転送するかどうかが決定されます。 その結果、15分以内に4Kビデオの欠陥がチェックされます。







ビデオファイルのエンコードについては、品質管理の場合と同じで、並行して実行されます。 フラグメントの処理が成功した後、特別なプログラムがすべての部分を1つの全体に収集します。



並列処理技術を適用する前に、システムは数日間1080pの解像度でフィルムを処理しました。 現在、同じフィルムをわずか数時間でさまざまな形式で完全に検証およびエンコードできます。







品質管理がNetflixシステムに統合される前は、顧客がテクニカルサポートに連絡するとすべてのエラーが「発生」しました。 ほとんどの場合、ユーザーは非常に不満であり、これは会社の財務状況に影響を与えました。 品質管理システムの導入後、Netflixチームはすべてのエラーをタイムリーに特定し始め、今日のテストに合格したソースコードの信頼性は99.99％以上です。 会社が自動化アルゴリズムを使用して特定できない問題に直面した場合、従業員はこれが将来発生しないように新しい検証メカニズムの開発を開始します。



コンテンツ配信および配信システムに基づいて、Netflixは、たとえば、さまざまなタイプのコーデックを比較し、エンコードプロセスを最適化するなど、ビデオファイルで大規模な実験を行います。 会社の従業員によると 、Netflixは高品質のビデオストリームの最適な配信に必要な問題を解決すると同時に、コミュニティにも利益をもたらします。



NetflixのOpen Connectコンテンツ配信ネットワークは 、100,000以上の顧客を持つ大規模なインターネットサービスプロバイダーにサービスを提供しています。 低電力で高記録密度の有料の特別な組み込み機器は、インターネットプロバイダーのデータセンターに保存されているコンテンツをNetflix Webサイトから転送できるため、Webからデータを送信するコストを削減できます。 この機器は、nginxサーバーとBIRDルーティングサービスを使用して、FreeBSDオペレーティングシステムで動作します。

失敗したサーバーの監視

Netflixは現在、数万台のサーバーで実行されており、誤動作しているサーバーは1％未満です。 障害が発生したサーバーは必ずしも切断されているわけではなく、これが主な危険です。ヘルスチェック中にリクエストに応答し、システムメトリックは通常の制限内にありますが、最適からはほど遠いレベルで機能します。



遅いサーバーまたは障害のあるサーバーは、ダウンしたサーバーよりもはるかに悪いです。 わずかなマイナスの影響でも、サービスの顧客に不快感を与えるには十分かもしれません。 このため、Netflixは、監視システムによって検出されない障害のあるサーバーの検索の自動化に関心があります。



以下のビデオでは、Cody Riouxがこれらの問題に対処するために会社を促した理由について語り、使用されたアルゴリズムの技術的な詳細を（例とともに）共有しています。







同社は、いわゆる「クラスター分析」を広く使用しています。これは、「教師なしで学習する」機械の方法です。 Netflixのメンバーはクラスターアルゴリズムを選択して、DBSCAN（ノイズを伴うアプリケーションの密度ベースの空間クラスタリング）空間クラスタリングアルゴリズムを選択しました。



DBSCANは、入力で一連のポイントを受け取り、クラスターのポイントとして、多数の隣接ポイントをマークします。 密度の低いエリアにあるポイントは、統計的外れ値と見なされます。 特定のポイントがクラスターに属する場合、特別な関数によって決定されるこのクラスターの他のポイントから特定の距離にある必要があります（彼のブログのNaftali HarrisはDBSCANメソッドの優れた視覚化を提供しました）。



DBSCANは次のように使用されます。Atlas動的テレメトリプラットフォームは、指定されたメトリックを追跡し、データウィンドウを形成します。 その後、このデータはDBSCANアルゴリズムに渡され、誤動作が疑われるサーバーのセットが返されます。 以下の画像は、DBSCANアルゴリズムに入力されるデータを示しています。 赤で強調表示されている領域は、現在のデータウィンドウです。







サーバーが定義されると、制御が通知システムに転送され、次のアクションの1つ（または複数）が実行されます：電子メールでサービスの所有者に連絡する、停止せずにサービスからサーバーを切断する、さらに調査するために専門家データを収集する、サーバーを停止する、交換を許可する



障害のあるサーバーを正確に特定することはできませんが、この可能性は非常に高くなります。 ここでのエラーのコストは非常に小さいため、クラウド環境では不完全なソリューションは非常に受け入れられます。 切断されたサーバーはすぐに「新しい」サーバーに置き換えられるため、誤ったサーバーのシャットダウンやシャットダウンは、システムに影響を与えることはほとんどありません。



Netflixのクラウドインフラストラクチャは常に拡大しており、運用ソリューションの自動化により新しい可能性が開かれ、サービスの可用性が向上し、人間の介入が必要な状況の数が削減されています。 故障したサーバーを特定することは、そのような自動化の一例にすぎません。

推奨アルゴリズム

2009年、NetflixはNetflix Prizeと呼ばれるコンテストを開催しました。 彼女は個人データへのアクセスを許可し、参加者に、視聴者が他の視聴者の評価に基づいて映画に与える評価予測アルゴリズムを改善する機会を与えました。 優勝チームは、アルゴリズムの効率を10.06％向上させることに成功しました。



推奨システムに関しては、いくつかのアルゴリズムで構成されており、そのうちのいくつかはパーソナライズされたホームページを作成するプロセスを担当します。 たとえば、ユーザーが映画に与える評価を予測するためのアルゴリズム、各行のビデオをランク付けするためのアルゴリズム、および映画をグループ化するためのアルゴリズム。



現時点では、Netflixホームページの映画やショーはテーマ別の行（それぞれに特定の名前があります）の形式で編成されており、サービスのユーザーはページを水平および垂直にスクロールできます。 このアプローチにより、ユーザーは、映画のグループ全体が注目に値するのか、それとも次の行に進むのかを自分ですぐに決めることができます。



パーソナライズされたページを作成するには、機械学習が使用されます-アルゴリズムは、これまでに作成されたすべてのホームページに関する履歴情報と、ユーザーとの対話に関する情報に基づいてトレーニングされます。



Netflixには、トレーニングアルゴリズムの文字列を表すために使用できる機能がかなり多数あります。 行はビデオのセットであるため、属性として、それらが所有するすべてのプロパティを一緒に、または別々に使用できます。 これは、通常のメタデータでも、この写真またはその写真が特定のユーザーにとって関心のあるものであるかを示すより有用な推奨事項でもかまいません。



アルゴリズムを使用してページを生成する場合、その品質を評価することが非常に重要です。 評価指標の発明において、Netflixの従業員は情報検索などの分野でアイデアを引き出しました。 たとえば、会社はリコールと呼ばれる値の使用を発見しました。これは、関連オブジェクトの総数に対するサンプル内の関連オブジェクト（顧客が選択したフィルム）の数の比率です。



値Rec [m; n]を使用することにしました。これは、ページの最初のm行n列にある関連オブジェクトの数を関連オブジェクトの総数で割ったものです。 したがって、Rec [3; 4]は、デバイスに表示される（特定のユーザーの）ビデオの品質であり、その表示では、各4ビデオの3行のみを表示できます。 このようなメトリックの利点は、値（mまたはn）の一方を修正し、もう一方を変更することにより、ページをスクロールしたときに完全性の値がどのように変化するかを確認できることです。



ホームページを作成するとき、ユーザーがどのようにそれを表示するか、つまり、最も注意を払う画面上のポイントを理解することも非常に重要です。 最も関連性の高いビデオを最も視聴された場所（ほとんどの場合、これは画面の左上隅）に配置すると、夜の映画を見つけるのにかかる時間を短縮できます。







さまざまなジャンルについては、これはまったく別の話です。 あなたがNetflixユーザーなら、おそらく奇妙な、時には不条理なジャンルの映画があなたに提供されていることに気付いているでしょう。 システムを備えた戦闘機に関するドキュメンタリーの劇的な映画？ 実際のイベントに基づいて、王室についての劇？ 80年代の悪魔主義者についての外国の物語？



そして興味深いことに、Netflixには76897種類の映画の記述方法があります。 会社は特別なチームを作成し、メンバーが提案した各映画にメタタグを付けました。 このプロセスは非常に複雑であることが判明したため、参加者には性的内容、血球数、映画のロマンスを判断し、演技のレベルを評価する方法に基づいて映画を評価する方法を説明する36ページのマニュアルが提供されました。 道徳的性格さえも評価した。



大西洋のジャーナリストであるアレクシス・マドリガルは、状況をより詳細に調査することを決定し、Netflixには非常に多くのジャンル（その数は90,000を超える）があることを発見しました。 状況を明らかにするために、Alexisは会社のWebサイトから既存のすべてのジャンルを「引っ張る」スクリプトを作成しました。



「サイトには、提示されたすべてのジャンルの映画がないことにすぐに気付きました」 とマドリガル氏は言います。 「データベースにジャンルが存在するということは、アルゴリズムによれば、そのような映画は後で登場する可能性があるか、説明に該当するがサイトにまだ追加されていない資料がすでにあることを意味します。」 たとえば、カテゴリNo. 911300は「スペイン語のグッドロマンチックテレビ番組」と呼ばれ、空でした。カテゴリNo. 91307は「美しいラテンアメリカのコメディ」と題され、2つの映画を含み、カテゴリNo. 6307では「美しいロマンチックなドラマ」20の映画が上映されました。



ただし、すべてのジャンルを分析しようとすると、Netflixの文法は非常に透明になります。 たとえば、写真の「渋面」に関する情報は常に「オスカー賞を受賞したロマンチックなドラマ」の最初に記録されますが、期間は常に「オスカー賞を受賞した50年代のロマンチックなドラマ」に続きます。 映画の内容を明らかにするカテゴリーも終わりに近づいています。オスカー賞を受賞した結婚式に関するロマンチックな映画です。



各記述子には厳密な階層があることが判明しました。 要するに、ジャンルは確立されたパターンに従って形成されます：



ロケーション+形容詞+名詞+に基づく... +撮影された... +監督から... + O ... + X〜Y世代







Madrigalボットが見つけた76897ジャンルはすべて、これらのコアコンポーネントから作成されました。 Netflixの副社長Todd Yellinは、「マイクロジャンル」を形成するプロセスについてさらに詳しく話しました。 2006年、Yellinはエンジニアチームと共にNetflix Quantum Theoryと呼ばれるドキュメントの作業を開始しました。 これに関連して、クォンタムはすべての映画の一部である小さな「エネルギーパッケージ」（マイクロタグ）です。



Yellinは、ジャンルは3つの主な要因によって制限されていると述べました。

• ジャンルの名前は、ユーザーインターフェイスの機能のために50文字を超えないようにしてください。
• アルゴリズムがジャンルを形成するためには、その記述に適合するコンテンツの「クリティカルマス」を蓄積する必要があります。
• 登録されたジャンルは構文的に正しいです。

Netflixの世界には、5つを超える記述子で構成されるジャンルはありません。 4つの記述子は非常にまれですが、「1970年代のクレイジーな科学者に関するカルトホラー映画」を見つけることができます。 3つの記述子は非常に一般的です：「手に負えないロマンティックのための良い外国のコメディ」。 「謎に満ちた映画」という2つの記述子が頻繁に使用されます。 非常に多くの場合、「ファンシームービー」という単一の記述子があります。



ただし、Netflixの魔法は、すべてのタグが人によって配置されたわけではなく、一部はシステム自体によって開発されたということです。 たとえば、「励まし」という形容詞は、特定の機能セットを備えたフィルムに付けられますが、その中で最も重要なのはハッピーエンドです。 「奨励」は直接的なタグではなく、タグのセットに基づいて計算されたカテゴリであることがわかります。