クラウドサービスMail.Ru Groupの開発者に質問する

Redditのおかげで、Ask Me Anything（AMA）形式が人気を集めています-大規模で人気のあるプロジェクトを担当する専門家チームが、すべての人に仕事やサービスの内容について質問をするように皆に提案するとき配置されました。 Habréの最初のAMA形式は、Badooの開発者によって使用されました。 また、試してみることにしました。 他の企業が私たちの例に従って、読者を彼らの内なる台所に入れ始めることを願っています。

Mail.Ru CloudチームとAMAを開始することにしました。 これは若い、活発に開発されているプロジェクトであり、それについて私たちは常に多くの質問をされます。 さらに、ローンチ（2013年8月以降）以来、クラウドはプロジェクトの大きなファミリーに成長しました。

歴史的に、クラウドはWeb、デスクトップ、およびモバイルバージョンを備えたB2C製品として始まりました。 ただし、B2Bは非常に有望な市場でもあります。 したがって、Cloud for archives（Icebox）、Cloud for workgroups（Teambox）、Hot storage（Hotbox）など、Mail.Ru GroupのすべてのB2Bサービスを組み合わせて、ビジネス用のMail.Ruプラットフォームを開発しました。

この楽しい家族の重要な活動と繁栄を誰がどのように正確に保証するか、データセキュリティがどのように達成されるか、これにより、高いファイルアップロード速度と低いレイテンシを実現します-このことについては、記事から学び、興味のある質問をすることができます。

まず、少し歴史

クラウドの記述を開始したとき、Mail、My World、およびコンテンツプロジェクトで使用される統一されたコードベースを基盤としていました。 このコードベースをMpopと呼びます。 それはPerlライブラリの束です。 そして数年前、Mail.Ru Groupのすべてのポータルプロジェクトがその上に存在していました。 いずれかのプロジェクトのMpopで何かがリファクタリングされると、他のプロジェクトに影響を与えました。 徐々に、各プロジェクトはそのバージョンのMpopに移行し、その後、私たちはそれを離れ始めました。 たとえば、メールは部分的にGoに切り替えられました。 私たちはもともとMpopにも住んでいましたが、超高速Perlサーバーのすべてを静かに書き換えました。 完全に非同期のアーキテクチャがあり、AnyEventを使用します。 そして、Perlを知っているなら、私たちのところに来てください。たくさんの楽しみがあります。

仕組み

構造的に、Mail.Ru Cloudはいくつかのチームで構成されています。

• サーバー側を記述し、ストレージおよびモバイルクライアントとの相互作用を構築するチーム。
• API開発チーム、サーバーとWebの間のレイヤー。 APIは、IceboxとTeamboxの両方で使用されます。
• ホットボックス開発チーム。 彼女は、Hotboxでバケットとキーを操作するための管理インターフェイスと、S3 APIの両方を開発しています。
• 開発チームのUI（ユーザーインターフェイス）とレイアウト。 インターフェイスの美しさ、その安定性、速度、機能性に責任を負います。
• Windows、Linux、macOSプラットフォーム用のクラウドクライアントを作成するデスクトップクライアント開発チーム。 また、このチームはスクリーンショットとそのためのさまざまな機能に取り組んでいます。
• iOSとAndroidのクライアントアプリケーションを作成し、サーバー側と直接やり取りする2つのモバイル開発チーム。
• 昼夜を問わず目を閉じることなく、これらすべてをサポートする管理者チーム。
• また、テストチームと、APIの自動テストを作成する自動テストチームがあります。

クラウドのWebおよびデスクトップバージョンの内部

Mail.Ru Cloudバックエンドは、ANSI C、Perl、Lua、および少しのC ++で記述されています。 PerlはAPI関連のタスクを解決します。 たとえば、ドキュメントの編集。 ちなみに、かつてHabr で、ビデオをクラウドで表示する方法を説明しました。クラウドのサーバー部分はPerl + Luaで記述されています。

クラウドを作成するようにタスクが設定された当初から、主な要件の1つは、データベースでの長い検索の欠如、追加のみの原則によるディスクおよびストレージでのseek



の欠如でした。 起動時には、ツリーデータに適したデータベースが見つからなかったため、ファイルシステムを表す独自のデータベースを作成しました。

ここにいくつかの数字があります：

• ユーザーは1日に約100テラバイトのデータをアップロードします。
• 1000台以上のディスクストレージサーバーがあります。これは100ペタバイト以上のデータであり、90億以上のファイルが含まれています。 それらを最適に回避および検証し、ユーザーコンテンツが変更なしで安全に保存されるようにする必要があります。
• 1か月あたりのアクティブユーザーの数は1800万人を超えています。 毎日、何十万ものユニークな人々がウェブを訪れます。
• 週に平均10個のディスクを変更し、それらのデータを再ロールします。
• ネットワーク帯域幅-最大200 Gb / s（必要に応じて、数倍に増やすことができます）。 現在、約25ギガビット/秒がダウンロードされています。

当初、クラウドはデスクトップおよびモバイルクライアントに焦点を当てて作成されました。 その後、ウェブはやり直しが必要なものであることが明らかになりました。 クラウドは完全に非同期に書き直されました（一般的に、ANSI CからPerlのAnyEventまで、コードベース全体が非同期です）。 たとえば、現在、クラウドのWebバージョンは、ユーザー数が大幅に増加しているにもかかわらず、3年前と同じダースのサーバー上にあります。 その後、彼らは何の準備もせずにリソースシェルフに横たわりました。 Hotboxなどの他の新製品も、Perlで作成しています。 そのようなこと。

モバイルクラウドの内部

Cloud iOSアプリを作成するために、Objective-Cを引き続き使用します。 いくつかの理由により、Swiftにはまだ触れていません。

1. 私たちはまだiOS 7をサポートしています。はい、SwiftはこのバージョンのOSで既にサポートされていますが、Swift依存関係の操作は非常に困難です。
2. Swiftはまだ不安定であり、Firefox開発チームがよく説明しているように 、新しいバージョンの言語を適応させるという勇敢な偉業を繰り返したくはありません。
3. 現時点でSwiftを使用すると、アプリケーションのサイズが大幅に増加します。重量がわずか20 MBであることを誇りに思います。
4. Objective-C言語の動的プロパティを積極的に使用していますが、Swiftには類似物はありません。

Objective-Cのダイナミズムの適用例として、次のとおりです。

1. メモリリークの単体テストを作成します。 これは、 POSAllocationTrackerライブラリのおかげです。 単体テストで使用する機能は、 FBAllocationTrackerに直面してFacebookの同等品と比較して有利です 。
2. 間違ったストリームからのオブジェクトへのアクセスを自動的に検出します。 POSRxライブラリのPOSSchedulableObjectに実装されています。 ちなみに、メモリリークの単体テストの戦闘例を見ることができます。

iOSアプリケーションのその他のアーキテクチャ機能：

• POSInputStreamLibraryを使用して、ビデオファイルをクラウドにアップロードします。 次の表は、2種類のビデオファイルのダウンロードを示しています。 Orange Pillars — Photos.framework APIを使用してコンテンツが取得されるダウンロード。 青い柱-ALAssetsLibraryを使用して取得され、POSInputStreamLibraryにラップされたコンテンツ。 これにより、 長年の記事で説明されているように、重いビデオファイルのロードが非常に高速になります。

• 災害復旧テストの使用。 ネットワークライブラリには、ランダムネットワークエラーを生成するためのメカニズムが組み込まれています。 したがって、デバッグアセンブリでは、アプリケーションは確かに500から400のサービスから飛びます。 これにより、これらのエッジケースの各新機能をテストしないことは事実上不可能です。 実装は、 POSRxライブラリのPOSHTTPGatewayオブジェクトで視覚的な形式で利用できます。

今日のiOSアプリケーションの主要なアーキテクチャタスクは、大きなクラウドで作業する際にアプリケーションのフリーズを取り除くことです。 この問題を解決するためのツールとして、最近Habréで書いたSchedulable Architectureパターンがあります。 実装した結果をすぐに確認し、正しい方向に進んでいることを確認するために、サスペンションの監視を行いました。 ハングが最も頻繁に発生するクラスのリストの形式で、最も問題のある場所のスケジュールが既にあります。 次のようになります。

HockeyAppのプラグインのおかげで、各ハング（コールスタックとログ）に関する完全な情報が得られます。

クラウドのAndroidクライアントはJavaで完全に開発されています（Kotlin'eでのメリットはまだ見つかりません）。 原則として、アーキテクチャにスーパーファッショナブルなものはありません。MVP、サービスのネットワーク層全体、okhttpを使用するネットワークでは、ギャラリーを除き、データはSQLiteに保存されます。 大量のデータが存在する可能性があるため、それらをキャッシュから迅速に削除する必要があります。 したがって、ギャラリーにはsamopisnyシリアル化を使用します。 アプリケーション内の通信には、グリーンロボットからのイベントバスがあります。 Androidの新しいバージョンでのバックグラウンドでの効果的な作業のために、JobSchedulersを使用します。あまり新しいものではありません-GcmNetworkManager。

パーセンテージで機能を展開するために、A / Bテストといくつかの分析のために、Firebaseを使用します。 サーバーとの対話をデバッグするには、Facebook Stethoビルドを使用します。 最新バージョンでは、アプリケーションでベクターグラフィックスにほぼ切り替えました。 いくつかのバージョンでは完全に切り替えると思います。 junit、uiautomator、espressoでテストを作成します。

B2Bクラウドの内部

B2B-Cloudは3つの異なる製品です。

• Teamboxは、B2C-Cloudに類似したワークグループ用のクラウドであり、ドメイン内の各アカウントに個人用スペースを割り当て、部門や従業員グループ用の共有フォルダーを作成し、ファイルへのアクセスを構成できます。
• Hotboxは、S3互換アクセスプロトコル、複数のコピーを備えた分散ストレージ、99.99％保証SLAを使用して、メディアやその他の頻繁にダウンロードされるコンテンツを配布するためのクイックアクセスリポジトリです。
• Iceboxは、アーカイブ用のオブジェクトクラウドストレージであり、長期的なデータストレージとシンプルなWebインターフェイスです。 S3プロトコルをサポートする、めったに使用されないデータを保存およびアクセスするように設計されており、必要に応じて迅速にアクセスできます。

B2B-Cloudは2つの部分で構成されています。フロントエンドはビジネス向けプラットフォームに組み込まれ、フロントエンドはクラウドの管理と運用を提供します。 クラウドの機能を担当するバックエンドの部分はPerlで記述され、管理サポートはPythonで記述されています。

biz.mail.ruビジネスプラットフォームは、すべてのB2Bクラウドを管理するためのアクセスを提供します。 プラットフォーム自体は、Mail.Ru B2Bサービスの一般的な管理パネルです。サイトのメール、企業カレンダー、エージェント、DNS、およびB2Bクラウドです。 このプラットフォームは管理者の個人アカウントを提供し、プラグインの原則に基づいて実装されます-共通の要素（承認、プロジェクトおよびドメイン管理、ユーザーのリスト）があり、メール、Teambox、Hotbox、Iceboxなどの接続サービス用の個別のセクションがあります プラットフォームには独自のAPIと、プラットフォームバックエンドから接続されたサービスのバックエンドにリクエストをプロキシするためのメカニズムがあります。 したがって、私たちには共通のインフラストラクチャがあり、その機能はプログラマのさまざまなチームによって開発され、ユーザーはすべての管理が1つの管理パネルに集められます。

だから聞いて！

伝統により、質問に答える時間を指定する必要があります。 そして、1日ではなく2日とします。今日と明日の12.00から19.00（モスクワ時間）までです。 しかし、特に激しい議論の場合、私たちはもちろんこの間隔に自分自身を制限しません。 ソフトウェア、サーバー、チーム、APIなどについて質問してください。 行こう！