クラウドのボトルネック：Pokemon GoとTrivia Crackのストーリー

レッスン：「200万人のユーザーで動作するシステムは、1,000万人を処理できない場合があります。」



2016年7月に米国でPokémonGoがリリースされた後、当時最も人気のあった拡張現実ゲームになりました。 これは、ゲーム開発者のNianticとGoogleの長年にわたるコラボレーションの成果です（Nianticが立ち上がるまでは、Googleの内部スタートアップでした）。 したがって、PokémonGoのインフラストラクチャは、クラウドプラットフォームとGoogleアプリケーションサービスに大きく依存していました。 （任天堂とポケモンは、モバイルプラットフォーム向けに成長する小さなモンスターのエキサイティングなゲームプレイの作成にも貢献しました。）



これは最初のナイアンティック拡張現実ゲームではありませんでした 。 同社は以前、2013年にAndroidデバイス向けにリリースされたエイリアン侵入ゲームであるIngressを作成しました。 しかし、 ポケモンGOはまったく異なるレベルのゲームになりました-ポケモンは長い間文化的な現象でした。 このゲームは、モバイルゲームを待つために長年にわたって視聴者の興味を引きました。 したがって、インストールの数は急速に増加しました。 半日の間、このゲームはiPhoneの収益で1位になりました。 ある程度までは、モバイルゲームの世界最大のリリースでした。



しかし、その成功によりプラットフォームの負荷が増加しました。リリース後2日で、ナイアンティックのCTOであるジョンハンケは、サーバーの過負荷が原因でPokémonGoの世界的なリリースを延期すると発表しました。 同時に、ナイアンティックがGoogleの識別および位置情報サービスと連携する方法が原因で、 プライバシーの問題が発生しています。 同社は、サーバーの容量に関する問題を解決しながら、多くのエラーを修正する必要がありました。



理論的には、クラウドはピーク負荷の期間に対応してアプリケーション管理を簡素化し、クラウドソリューションプロバイダーが提供するサービスはさまざまなモバイルアプリケーション（ゲームだけでなく）の開発を簡素化する必要があります。 また、クラウドの機能により、より多くの計算能力（拡張現実など）を必要とする新機能の使用が本当に簡素化されました。



しかし、過去の他のネットワークプラットフォームの場合と同様に、開発者は、これらすべての容量が存在することは、それらに接続する可能性がなければ重要ではないことを発見しました。 インタラクティブなモバイルアプリケーションが増えるほど、モバイルデバイスとクラウドインフラストラクチャ間でデータを交換することが難しくなります。 世界中の通信事業者からのデータ転送速度の違いの要因を追加し、ユーザーに必要な速度を確保するためのシステムを取得します。多くのパラメーターを考慮する必要があります。



世界的に流行しているポケモンGoのように「離陸」するアプリケーションはほとんどありません。 ゲームやアプリケーションを拡張したい開発者は、Nianticや他のゲーム開発者が予想外の成功にどのように対処したかを調査することが役立ちます。 ヒットしたモバイルゲームが、デバイスとクラウド間の相互作用のパフォーマンスをテストおよびデバッグするときに発生する障害に対処できる場合、企業はユーザーアクティビティの予期しないピークに関する問題を解決することもできます。

それらすべてを処理します

ポケモンゴーで学んだ教訓を学ぶため、アルステクニカは最近、ナイアンティックのテクニカルディレクター、フィルケスリンと話をしました。 Googleクラウドのパブリックにアクセス可能な部分と内部データ間の複雑な相互作用について話しました。



PokémonGoは、Google Compute Engine、そのクラウドベースのデータウェアハウス、およびデータおよびクエリインフラストラクチャを含むネットワークテクノロジーの完全なスタックを使用しています。 もちろん、ゲームはGoogleマップを使用してプレーヤーの位置を特定します。 Keslinによると、ゲームプレイAIのすべての変更では、モバイルクライアントがNianticデータウェアハウスを呼び出す必要があります。 「ゲームの状態が変わるたびに-ポークボールを投げたり、ポケモンを捕まえたり、他のアクションをキャッチしたりして、データウェアハウスとのやり取りが実行されます。



Keslin氏によると、最初の大きなピークが発生したとき、「Googleはこれに気付かず、ゲームは処理されたデータの量を少なくとも2倍にしました。」 ただし、これはシステムの過負荷につながりませんでした。 「これを言う最も簡単な方法：最悪のシナリオの予測がありましたが、ゲームはそれを超えました。」 リリースの日に、本当に爆発がありました。 「パフォーマンスを低下させるボトルネックが見つかりました。 それらを排除した後、新しい「ボトルネック」に出会いました。」



ボトルネックの一部はナイアンティックのコードにありました。「しかし、予想していなかったいくつかのオープンソースライブラリに問題がありました。これは解決が最も困難なものでした。」 全体的に、ナイアンティックは5つまたは6つのボトルネックを発見し、それぞれが解決するのに1〜2日かかりました。



ただし、Googleからも誤動作が発生しました。 PokémonGoにはクラウドインフラストラクチャの問題があります。 コンテナエンジンには、このような負荷でテストされたことのないサブシステムが含まれていました。 ネットワークスタックにいくつかの問題がありました。



ボトルネックを解消するには、チームリーダーであるケスリンと3人のサービスエンジニアで構成される5人のチームによる多くの作業が必要でした。 「最初の2週間はほとんど眠れませんでした」とKeslin氏は言います。 「Googleのメンバーもベストを尽くしました。」



ケスリンによると、さまざまな地域の生産性に影響を与えたもう1つの要因は、世界のさまざまな地域のモバイルオペレーターの違いでした。 「ゲームが低帯域幅のモバイルデバイスで動作するように、PokémonGoを設計しました。 発生した問題は、電気通信事業者のマーケティングプログラムにより関連していた。」 たとえば、フィリピンの大手携帯電話会社は、すべての加入者にPokémonGoへの無料アクセスを許可したため、Nianticはプロモーションの終了後にユーザーが確実にオンとオフを切り替える必要がありました。



最初の混乱にもかかわらず、ケスリンは、ナイアンティックはゲームのリリース後にポケモンGoのアーキテクチャを変更する必要がないと述べました。 （同社は引き続きアプリケーションの改善を続けており、ポケモンの波が沈静化した後、ゲームに第2の風を吹き込む第2世代のポケモンGoをリリースする準備を進めています。） 「システムの中核は同じままで、新しいゲームプレイを追加するだけです。 スケーラブルなシステムを作成できたのは幸運でしたが、テストしませんでした。 幸いなことに、作成されたアーキテクチャは確実にスケーリングします。



Keslinは、新しい拡張現実現象を作成しようとしている他の開発者に何をアドバイスできますか？ 「最初からスケーリングについて考えてください。 ゲームの開発チームは生産性に焦点を合わせています。 これにより、低コストでパフォーマンスを最大化でき、システムを拡張できました。」

トリビアクラックへの依存

Erivax Trivia Crackロゴ



他の企業もゲームインフラストラクチャを備えたパブリッククラウドを使用しましたが、結果は矛盾していました。 ポケモンGoが大当たりする2年前に、アルゼンチンに本拠を置くEtermaxは、独自のモバイルゲームヒット、Trivia Crackを作成しました。これは、Amazon Web Servicesが提供する競争力のあるゲームから選択したゲームです。



Etermaxのテクニカルディレクター、ゴンサロガルシアによると、トリビアクラックの大成功は、2つの波で彼女にもたらされました。2014年3月の最初の試合は、南米諸国の一部でのゲームの成功を示しました。 同時に、トラフィックは1日のアクティブユーザー10万人から1,000万人に増加しました。 第2の波は、その年の10月にアメリカでゲームが人気を博したときに始まり、1日のアクティブユーザー数が2500万人に増加しました。



「私たちはこれを予見しませんでした」とガルシアは言います。 「見積もりとテストによると、100万人のプレイヤーを処理できることがわかっていて、200万人を計画しました。 しかし、私たちはそのような成長を期待していませんでした-広告にあまり投資しませんでした！ クラウドインフラストラクチャサーバーがなければ、私たちはそれを実現できなかったでしょう。」



「別の会社のゲームをリリースすると思っていました」とEtermaxのITディレクター、マーティンドミンゲスが追加します。 「以前は、100万人のユーザーが制限されていましたが、200万人に適しているとは限りませんが、1000万人には十分ではありません。」



この負担により、アジャイル開発プロセスにストレスがかかっています。 「私たちはスクラムに執着していないと思い、常にアジャイルスタイルで作業していました」とドミンゲスは言います。 「問題は、このようなユーザー数の急増により、スプリントを2週間で完了できず、毎日仕事をしなければならなかったことです。」



人気に対処するために、Etermaxは最初にいくつかの機能を放棄しなければなりませんでした。 また、一部のデータベースを変更し、プロセスを調整して効率を改善する必要がありました。 特に、EtermaxはAmazon Relational Database Service（RDS）の使用方法を変更しました。 彼女は、フラグメンテーション、セカンダリサーバー、およびセカンダリサーバー間のデータ交換を実装しました。 また、AWSと協力して、1秒あたりのパケットの問題を解決しました。



拡張されたネットワーク機能をサポートするために、EtermaxはAmazonパブリックネットワークから仮想プライベートクラウドに移行する必要がありました。 「かなり複雑でした」とドミンゲスは回想します。 「2千5百万人に増加したユーザーの2番目のピーク時に、AWSの従業員は、そのレベルでRDSを使用している会社を見たことがないと言いました。」



ガルシアは、1つの機能がTrivia Crack Etermaxの人気の爆発的な成長に対処するのに役立ったと言いました。 「Trivia Crackでは、インターフェイスはほぼ完全にモバイルデバイス上にあったため、少量の情報しか送信されませんでした。」 これにより、他のEtermaxゲーム、たとえばBingo Crackモバイルビンゴゲームと比較して、同期接続はTrivia Crackの問題になりませんでした。ビンゴ！ ""。 EtermaxがTrivia Crackの成功を教えたことは何ですか？ Dominguezによると、インフラストラクチャに関しては、迅速に考え、変更を行う際には積極的に対処し、どのような問題が発生するかを推測する必要があります。 「ポケモンGOにも同じ問題があった-毎日生き延びなければならなかった。」 テストの準備をし、新しい人気ヒットに備えて、Etermaxはコア開発チームの従業員数を3人から10人に増やしました。

成功管理

Patric Palmは、スウェーデンの企業HansoftのCTOであり創設者です。 彼女はUbisoftやid Softwareを含む多くのゲーム開発者が使用するFavroコラボレーションソフトウェアを作成しました。 Patrickには、モバイルゲーム業界でのタスクを解決している企業顧客を監視する機会があります。



PokémonGoが直面する課題を見て、Palmは世界のさまざまな地域での接続速度の違いの問題を強調しています。 しかし、彼は、クラウドコンピューティングのおかげで、スケーラビリティが今や邪魔にならないことを強調しています。



「数年前、スケーラビリティははるかに深刻な問題であり、それを解決するためにより多くの人々が必要でした。」 NianticはGoogle Cloudの問題のいくつかに解決策を移すことができたため、さまざまな国での実装と登録に集中することができました。 「クラウドコンピューティングは、ビジネス上の最大の課題の1つを解決します」とPalmは言いました。



スケーラビリティの問題の解決策が見つかったという事実により、他の小さな問題に注意が払われました。 PokémonGoの場合、携帯電話のバッテリーが急速に放電し、プレーヤーは外部バッテリーで街中を走り回らなければなりませんでした。 「ナイアンティックのゲームはバッテリーを使い果たしました」とパルムは言いました。 「クラウドゲーム開発者は現在、電力消費について多くのことを考えています。」



別の関連する問題：異なる関税でのデータ転送制限。 「すべてのユーザーが成功した携帯電話会社の関税を持っているわけではありません。」 これは、ほとんどの負担をサーバー側に移すもう1つの動機です。 バックグラウンドで実行されるゲームは、エネルギーだけでなくデータも消費します。





「より大きなクラウドが必要です。」

ゲームのルール

PokémonGoとTrivia Crackがモバイルプラットフォームでのクラウドコンピューティングのスケーリングの問題に対処できれば、成功するでしょう。 独自のタスクを評価するためのヒントを次に示します。

1. 「最悪より悪い」シナリオを検討してください。 もちろん、見積もりに関しては、いくつかの指標を選択する必要があります。 ただし、上限を超えてスケ​​ーリングする方法も計画する必要があります。 クラウドコンピューティングの主な利点は柔軟性です。これらのスケールがテストしたよりも速く拡大するとどうなるかを考えてください。
2. サービスプロバイダーと緊急事態について話し合う。 トラフィックが増加するにつれて、NianticとEtermaxはGoogleおよびAmazonと緊密に連携する必要がありました。 クラウドサービスプロバイダーを選択するときは、期待されるものと比べてニーズが劇的に増加した場合に提供できるサービスを具体的に話し合います。
3. キャリアとモバイルデバイスを調べます。 クラウドテクノロジーがユーザーのモバイルデバイス（おそらく世界のさまざまな地域）で実行される場合、デバイスからクラウドに転送される接続の数を検討し、製品が遭遇する最も問題のあるオペレーターからの最も遅い接続で料金プランを評価します。