「管理者と開発者の両方に利点があります」：OdnoklassnikiクラウドについてのOleg Anastasiev

パブリッククラウドは長い間誰にも驚かされておらず、パブリッククラウドについて何かを説明する必要はほとんどありません。 プライベートで、別の話：誰もが自分の存在について知っていますが、誰もがそれらに対処する機会がなかったので、他の人の経験はより興味深いです。



したがって、Odnoklassnikiの「各サーバーには独自のタスクがある」というアプローチから「必要に応じてリソースの単一プールを割り当てる」というクラウドアプローチへの移行は、疑問を提起しました。 11年の歴史を持つこのような大規模なプロジェクトを新しいシステムに移行するのは簡単ではありません。これらの人件費を支払うようになったきっかけは何ですか？ Odnoklassnikiでのクラウドの使用は、公共サービスの使用とどのように異なりますか？ このプロジェクトがMesosやKubernetesなどの標準ソリューションに適していないのはなぜですか。また、独自のワンクラウドが作成されました。



すでにHabrの読者になじみのあるOdnoklassnikov Oleg Anastasievの主要な開発者が、これらの質問やその他の質問で答えてくれました。



-「ビッグZのルール」があることを覚えています。技術的なアクションは、「なぜ？」という質問に答える必要があります。 では、なぜクラウドが必要なのですか？



-理由の一つは次のとおりです。 腺で直接操作することは、ほとんどの場合、システム管理者またはシステム信頼性エンジニアの特権であり、彼らをあなたが望むものと呼びます。 開発者を本番環境に近づけたいと考えています。 そして、これを行うには、タンブルするものを何も与えずに、不必要な官僚主義から人々を救うような方法で、彼らに生産と通信する方法を与える必要があります。 そして、これは問題を解決する1つの方法です。



もう1つの理由は、より高密度のサーバー負荷を提供する能力であり、データセンターの使用率が向上します。



「通常、彼らはこのコンテキストでクラウドと重いサーバー負荷について言います：「スタートアップが今日1,000人のユーザーを持ち、明日100万人のユーザーがいる場合、必要な量のリソースでクラウドを迅速にスケールアウトして使用できます。



しかし、Odnoklassnikiはもはやスタートアップではありません。視聴者が突然倍増することはありません。その成長はより遅く、より予測可能です。 では、クラウドがなければ、高密度のサーバー負荷が提供されず、必要なだけ正確に各タスクに割り当てられないのはなぜですか？



-いくつかの考慮事項があります。 まず、はい、視聴者は多かれ少なかれ安定していますが、これはユーザー数にのみ適用されます。負荷ははるかに速く増加します。 現在、ビデオ（特にライブブロードキャスト）の消費が負荷の点で非常に急速に増加しているという事実により、すでにかなり大きな負荷がかかっているにもかかわらず、年に2回成長しています。



第二に、Odnoklassnikiは全体として長い間存在していますが、かなりの数の異なる新製品が発売されています。同じ放送が比較的最近登場し、グループ管理者向けの多くの新製品、個人発表、音楽。 最後に、TamTamメッセンジャー。 そのような製品について、それらがどれほど成功するか、どれだけ早くスケーリングする必要があるかを事前に評価することは困難です。 また、各サーバーがそのタスクに従事している場合、割り当てる必要があるサーバーの数は明らかではありません。 これは、起動時の問題と同じです。



そして第三に、特定のサービスの負荷は極端に不均一になる可能性があり、ピーク時は通常のものとは非常に異なる可能性があります。 たとえば、有名なフットボール放送が行われると、対応する負荷が10倍になり、そのためのリソースを割り当てる必要があります。 また、これらのピークモーメントの一部は事前に予測できません。 これは大きな課題であり、大きな問題です。



-長所により、明確になりました。 しかし、あなたは彼らのために短所に同意する必要がありましたか？ 以前に障害分離と呼んだサーバー間でタスクを分離した理由を考えてみましょう。 フォールトトレランスは、現在そのような分離がないという事実に苦しんでいますか？



-当然、魔法は存在せず、いくつかの妥協をしなければなりません。 また、以前にタスク専用のサーバー全体があり、このサーバーに完全な罪がある場合、つまり、タスクを互いに完全に分離できないというリスクがあります。 しかし、私が判断できる限りでは、この場合のシステムの全体的なフォールトトレランスは高くなっています。 実際、シミュレートされていない実際の大規模な事故はこれを示すことができますが、これまでのところ、彼らはまだクラウドを使用していません。



-なぜ今クラウドベースのアプローチの必要性を感じたのですか？ 業界、特にOdnoklassnikiで何か変わったことはありますか？



-一緒になった要因は3つあると思います。 多かれ少なかれ新しいオープンソースのインフラストラクチャ管理システムが世界に登場し始め、これらのよく知られたコンポーネントのうち、新しいシステムでDockerを使用しています。 インフラストラクチャの拡張を計画する際に、既存のデータセンターの場所はまもなく終了することに気付きました。新しいデータセンターを構築するか、既存のデータセンターに凝縮する必要があります。 そして、この問題を最終的に解決するためにリソースを解放しました。



-Odnoklassniki規模のプロジェクトの場合、新しいシステムを作成するだけでなく、それに切り替えることも困難です。 この移行はどれほど面倒ですか？ たとえば、ユーザーのために大規模なサイトで何かを変更する状況と比較して？



-サイトの変更は技術的にはるかに簡単です。 集中構成システムでスイッチを引くと、ユーザーは新しいシステムに移動します。 また、新しいクラウドへの移行は別の大きなプロセスであり、会社全体で努力をしなければなりません。



データセンターの隣にあるクラウドと同じ大きさのものをもう1つ置いて、そこにすべてを転送することは経済的に不可能であることは明らかです。すでに稼働している機器を使用する必要があります。 したがって、ますます多くのインフラストラクチャをクラウドに導入することは、徐々に実行されている複雑なタスクであり、「ただ実行して実行する」ことはできません。









一方、開発者からのサポートも必要です。コード内の何かを変更し、アプリケーションのコンテナーを作成する必要があります（約700種類のマイクロサービスがあることを考慮に入れる）。一般に、これは大きなプロセスです。 クラウドの最初のバージョンは、1か月前とはほど遠くに書かれて発売されましたが、システムはまだクラウドに移行しています。



-そして、この「開発者からのサポート」を達成するのはどれほど簡単ですか-「ここで機能を削減する必要があります。インフラストラクチャの問題に気を取られたくないので、後でクラウドに移行した方がいいです」。



-私は、人々自身が新しいシステムを使用したくない場合、古いシステムと比較して利点をもたらさない場合、スティックで運転することはできないという明確な確信を持っています。 また、新しいクラウドには、管理者と開発者の両方にとって利点があります。



開発者には代替手段があります。 必要なコンピューティング能力を備えているため、クラウドで何かをすぐに起動するか、何らかの理由でクラウドに移行したくない場合は、鉄のサーバーが必要です。 つまり、誰かがデータセンターに行ってラックに接続し、構成するなどして、1つのデータセンターではなく、少なくとも3つで行う必要があります（フォールトトレランスの要件に従って、サービスは3つのデータに分散する必要があります）センター）そしてそれは時間がかかります。



そして、それに応じて、選択を行います。製品をクラウドに転送してすぐに起動するか、物理サーバーが実行するのを待つか、構成するなどです。 選択は明らかです。 そして、リソースを最も必要とするチームは、あらゆる可能な速度で移行しています。



-世界中の多くの大企業がクラウドを作っています。 そして、条件付きAmazon AWSを使用するだけの準備ができていないのはなぜですか？安価であるため、セキュリティを心配するため、または大規模な制御とアクセスが必要なためです。



「Amazonに行く人もいます」とクラウドコンピューティングの先駆者であるNetflixが言いました。 ただし、AWSの上で、独自の自動インフラストラクチャ管理システムを起動すると、AWS用の独自のアドオンを使用する方が便利であるという点に既に到達しています。



しかし、いずれにしても、それは会社が元々持っていたものと現在の状況に依存します。 会社には独自の鉄サーバーがありますか？ インフラストラクチャを開発できる専門家はいますか？ すべての企業がその道を選択しますが、多くは専門家の有無、彼らが始めた場所、さらには地理的な場所に依存します。 ロシア市場に焦点を当てたロシアの大企業にとって、アマゾンでのホスティングは単に馬鹿げたものになります。



-そして、クラウドを使用するOdnoklassnikiの従業員にとって、これは同じAWSを使用することとどのように違いますか？



-Amazonはわずかに異なるシステムです。 彼女は年上です：彼らは最新の状態を維持しようとしますが、AWS Lambdaのようなことをし、最新のソフトウェアを使用しますが、多くの遺産があります。 そして、レガシーではないため、私たちとは異なって見えます。



さらに、AWSはさまざまなもののホスティングに適したユニバーサル製品です。 普遍的な製品のように、特定のタスクのコンテキストではあまり便利ではありません。私たちが必要とせず、混乱させるだけのあらゆる種類のものがたくさんあります。



私たちは特定の製品を作っているので、それを使って作業するのがより簡単で、管理がより理解しやすくなり、私たちはそれを通常のやり方に自然に置くことができます。 そのため、ホスティングだけでなく、クラウドの他のコンポーネントも使用します。これらのコンポーネントは、ユニバーサルソリューションから独自のソリューション（たとえば、1クラウド）に移行しました。



-具体的には、秋に開催されるJokerとDevOopsのカンファレンスで詳しく説明する1クラウドについてですが、今のところ簡単に教えてください。



-これはデータセンターレベルのオペレーティングシステムです。つまり、タスクの説明を使用してインフラストラクチャを自動的に管理できる大規模な分散システムです（「タスク」は幅広い概念で、複数のDCのサーバーに分散された数千のレプリカを含むことができます）。 さらに、さまざまな障害が発生した場合にタスクのパフォーマンスを自動的に維持できます。 最も単純なケースで、サーバーがクラッシュした場合、システムは必要な数のレプリカを他のマシンに自動的に復元するとします。



-そして、この場合、Kubernetesのような一般的なオープンソースソリューションは、その汎用性のために使用しませんでしたか？



-はい。 KubernetesとMesosの両方を調べました。 通常の形式の1番目と2番目が、私たちが望むものに当てはまらないことは明らかでした。 私たちは必要なものをどんどん差し出すことができます。 しかし、私たちはやらなければならない仕事、そして私たち自身の執筆の仕事に感謝し、仕事の量はほぼ同じであることが判明しました。 その結果、要件とインフラストラクチャに対して、より便利で理解しやすく、信頼性が高く、よりシャープになる独自のものを作成することにしました。



-JavaカンファレンスとDevOpsカンファレンスの両方でワンクラウドについて話すので、知りたいのですが、これらのレポートは異なりますか？



-はい。 DevOopsのレポートでは、プロセスについて詳しく説明します。クラウドまたは独自のデータセンター管理システムがある場合にDevOpsプロセスを構築する方法と、フォールトトレランスを失わない方法です。 また、1台のマシンでタスクを確実に分離することについて。 このような大規模な分散システムではフォールトトレランスが非常に重要であるため、レポートのほとんどはその提供方法に関するものです。



Jokerでは、フォールトトレランスプロセスについてはあまり行わず、こちら側の復元力が提供するクラウドが内部にどのように配置されるかについてより多くのことを計画しています。 さらに、コンテナ内のJavaアプリケーションの操作について詳しく説明するという考えがあります。 私たちのクラウドはおそらく、起動されたタスクの100％がJavaで記述された唯一のものであり、Javaで記述した人に役立つ経験を持っているからです。



-ジョーカーの場合、予備報告計画は「sod」、「homorrh」、「gut」の項目で構成されます。 ハードコアを期待することはありますか？



-正直なところ、著者の1人として、1つのクラウドは歪んだ認識を持っているため、判断するのは困難です。 一般的に、すべてが非常に単純であるように思えますが、他の人は常にこれに同意するとは限りません。 私自身は最終的に何が起こるのだろうか。







DevOopsとJokerの両方のカンファレンスが秋にサンクトペテルブルクで開催されます：DevOopsは10月20日、Jokerは11月3〜4日です。 両方のウェブサイトで、オレグのレポートに加えて、他に何があるかを見ることができます-そして、両方のウェブサイトであなたはすでにチケットを買うことができます。