参加者は、Minecraftプラットフォームでいくつかのゲームに参加します。 左：プレイヤーが構造を再現する必要があるバトルゲームをビルドします（この場合、構造は地面にあります）。 右：AIエージェントが協力して豚を追い詰めるPig Chaseゲーム



Microsoft Researchは、 MarLÖ2018 （ マルメでのマルチエージェント強化学習）コンテストの予選段階を完了しています。 競合他社は、 MalmOプラットフォームで定義されているいくつかの3Dゲームをプレイできる強化トレーニングが可能なAIエージェントを導入しました。



競争の目的は、一般的な知能の分野での研究を奨励することです。 AIエージェントは、特定の1つのゲームではなく、いくつかのゲームでトレーニングされます。 さらに、彼らは協力しなければなりません。それはお互いの意図と目標を理解することを必要とします（これは人間の意識の重要な特性です）。 したがって、このシステムは、現実の世界での生存にさらに適合します。



ユニバーサルAIエージェントをトレーニングするためのより一般的なアプローチを刺激するために、タスクは1つではなく複数のゲームで構成され、各ゲームでは複雑さと設定が異なる複数のタスクがあります。 これらのタスクの一部は本質的に公開されており、参加者はそれらから学ぶことができます。 しかし、他のものは閉鎖されたままであり、それらは競争の最終評価を決定するためにのみ使用されます。



コンテストの主催者は、マイクロソフト、ロンドンのクイーンメアリー大学、 crowdAIプラットフォームです。 競争は2018年7月27日に始まりました。 予選ラウンドは2018年12月31日に終了します。 最終トーナメントは予選ラウンド終了の1週間後にオフラインで開催されます。

ゲームとタスク

競争の主な特徴の1つは、エージェントが複数のゲームをプレイすることです。 したがって、いくつかのタスクが競争のために提供されています。 ゲーム内のタスクは、レベルの位置、サイズ、複雑さ、およびゲームに依存するその他のパラメーターが互いに異なる場合があります。 この図は、競技におけるゲームとタスクの編成方法を示しています。







ご覧のとおり、各ゲームには4つのタスクがあり、そのうち2つはパブリックドメインで公開され、2つは秘密です。



コンテストに参加するには、crowdAIに登録し、 GitHubでコンテストのスターターキットを複製する必要があります 。



Malmöプラットフォームは、Minecraftプラットフォーム上にあるアクション、観測（位置、周囲、ビデオフレーム、ゲーム統計）およびその他の一般的なデータへのアクセスを提供するAPIを提供します。 一方、MarloはMalmöのシェルであり、APIのレベルを高め、研究を強化した標準化された学習環境を提供します。



このフレームワークは、強化学習アルゴリズムを開発および比較するためのツールキットであるOpenAI Gymフレームワークを補完するものとして書かれています。これにより、科学者、開発者、一般的なフレームワークに標準で馴染みのあるプラットフォームを提供します。



Malmöプロジェクトは、英国のマイクロソフトリサーチケンブリッジのAI研究者Katya Hoffmannによって2015年に開始されました。 現代のAIエージェントはさまざまなゲームで多くの成果を実証していますが、カティアはAIがより幅広いスキルを習得できるゲームを探していました。「Minecraftについて話し始めたとき、これはAI研究に理想的な環境であることが明らかでした」彼女です。 「これは、特定の目的なしに人々が参加する世界です。」 したがって、MalmöプロジェクトはMinecraftの上に構築されたプラットフォームであり、研究者はAIを使用してさまざまな実験を行い、標準化された方法で結果を比較できます。



2017年にMarloコンテストをテストしたとき、参加者には1匹のゲームのみが提供されました：豚を捕まえます。 2018年の競争はもっと複雑です。3つのミッションが現在開発されており、それぞれに協力が必要です。 エージェントは、環境内の別のAIエージェントを認識する方法を理解してから、共通の目標を達成するために協力する方法を見つける必要があります。



AIエージェントが別のエージェントの目標を仮定する場合、これは心理学者が「 精神状態のモデル 」と呼んでいる、他の人の精神状態と意図を理解する人間の能力の初歩的な形と呼ぶことができます。 Katya Hoffmanは、AIエージェントがMinecraftの人間プレイヤーと協力することで、最終的にこの能力を磨くことを望んでいます。 「アルゴリズムは、人々とのコラボレーションの方法を学び、人々が何を望んでいるかを見つけます」と彼女は言います。