まえがき

過去数年にわたり、人工知能の分野での進歩により、抽象化のいくつかの層を持つ表現学習に基づく機械学習方法の作成が行われました-いわゆる「ディープラーニング」。 古代中国のボードゲームが行われたおかげで、この分野の研究にメディアやメディアの注目が集まっています。 囲goの複雑さはしばしば人生そのものの複雑さと比較されるという事実にもかかわらず、 AlphaGoプログラムは、深層強化学習を使用して、囲Leeリー・セドルの世界チャンピオンを何とか超えました。 驚くべきことに、AIの研究はゲームで使用されており、このように広く注目されています。 また、AlphaGoの開発者の1人であるDemis Hassabisは、テーマパーク（1994）のリードプログラマーであり、AI Black＆White（2001）のリードプログラマーでした。 ゲームと最新のAIの進歩には、ある程度の相関関係があります。



この記事は、人工ニューラルネットワークのさまざまな方法を使用して、 Fantasy Raidersのレベル生成を実装しようとするチームの試みに関する事後報告です。 以前は、レベルの生成は、確率論的な手法を使用してゲーム開発者の知識をエンコードするプロセスでした。 ただし、 Fantasy Raidersについては、データに基づいてレベルを学習および生成できるプログラムを作成しました。 結果として、レベルを生成する問題を解決するための鍵しか得られず、一般的な解決策は得られなかったようです。 私たちの発見を他のゲーム開発者と共有するために、最初から最後まで、私たちの研究のプロセスについて詳しく話したいと思います。









[図 1.ニューラルネットワークを使用したレベル生成]

難易度評価

私たちの研究の最初の段階では、人工ニューラルネットワークがFantasy Raidersレベルで学習できることをしっかりと確認する必要がありました。 したがって、私たちは最も単純なものから始めなければなりませんでした：既製のレベルの複雑さを評価します。



Fantasy Raidersは、各プレイヤーのスキルと好みに応じた独自のレベルを作成し、エキサイティングなゲームプレイを提供するRPGです。 レベルの単位は自己完結型の部屋です。 同様のことはThe Binding of Isaac（2011）で見ることができます。 便宜上、各部屋をファンタジーレイダースを 「レベル」と呼びます。



ゲームは、プレイヤーのキャラクターの状態と現在のレベル（部屋）の複雑さに応じて、適切な難易度の新しいレベル（部屋）をプレイヤーに推奨します。 各部屋の複雑さは、現在のレベルでNPCとアイテムを評価するアルゴリズムによって計算されます。









[図 2.レベルの順序で推奨されるレベルの難しさ]



評価プロセスで最も簡単なステップは、NPCまたはHPの数（ヘルスポイント）に数値を割り当てることでした。 ただし、部屋のインタラクティブオブジェクトを評価することははるかに困難でした。 そのため、人工ニューラルネットワークでこのようなヒューリスティックアルゴリズムを置き換えることができるかどうかを確認することにしました。

データ収集

人工知能を訓練するには、データが必要です。 複雑さによるレベルの自動分類の場合、データ単位は「レベル-複雑さ」のペアの形式にする必要があります。 ただし、アルゴリズムによる各レベルの評価では、結果がアルゴリズム自体によって制限されるため、意味のある結果を作成できません。



最初に、各レベルでプレイし、結果に応じてその複雑さを評価するゲームプレイボットを作成する可能性を検討しました。 ただし、ゲームプロセスの速度を機械学習に適した値に上げることはほとんど不可能でした。 そのため、この計画を放棄し、チームの3人の開発者に5段階のスケールですべてのレベルを評価するよう依頼しました。 日中、彼らはなんとか20レベルで評価し、一般に、1000レベルの評価には2か月かかりました。









[図 3.難易度の評価の例。]

難易度予測

マークアップが完了した後、エディターでレベルのスクリーンショットを撮り、各レベルの抽象バージョンになりました。 「エディターのレベルのスクリーンショット-複雑さ」のペアの形式で、データセットからプログラムに学習させます。 低解像度では、ゲーム内のスクリーンショットよりも識別しやすいため、つまり、学習速度と着信データの品質の点でより効果的であるため、レベルエディターの写真を使用しました。 このプロセスでは、他のニューラルネットワークと比較して画像の分類に適しているため、CNN（ 畳み込みニューラルネットワーク ）を使用することにしました。 彼女の作品の品質を評価するために、ゲームデザイナーの1人によって開発された数式を参照ポイントとして選択しました。

• ゲームデザイナーが導出した公式に基づく予測：精度42
• レベルエディター（CNN）のスクリーンショットに基づく予測：62％の精度

標準のCNNモデルでも、精度は20％向上しました。 他の複雑なCNNモデルを使用しようとしましたが、意味のある結果は得られませんでした。 結果は、限られたデータ量（約1000ペア）によって悪影響を受けました。









[図 4. CNNを使用した複雑さの予測]



デビッド・シルバーらの作品に触発された道を進む ディープニューラルネットワークとツリー検索 （2016） でGoのゲームをマスターし、 Juanha Kim Do Neural Networksは手続き型コンテンツの生成を夢見ていますか？ （2016）Nexon Developers Conference 2016から、より良い結果を得るには、受信データを多様化する必要があることを理解しました。 Silverの仕事によると、2016年のAlphaGoのデータセットには、白と黒の石の位置に加えて、ゲーム開始後の動きの数、ゲーム開始後の「殺された」石の数、グリッドに関するコンテキストと処理された情報（「階段」）が含まれていました。 同様に、Kimの記事では、ゲームのレベルの複雑さを評価するために、NPCと地形に関する情報が処理されました。



レベルエディターの画像は、人間が読める形式にする必要があるため、グラフィック要素で構成されていました。 ただし、各NPC、オブジェクト、またはアイテムに関するすべての情報がグラフィック要素に表示されるわけではありません。 したがって、再び、仲間のデザイナーの助けを借りて、複雑さのレベルに影響を与える可能性のある情報を再分類しました。 同じ品質を持つすべての情報値は、1つのチャネルで一意の値を持つグループに分類されます：R、G、B、またはA。レベル。 そのため、試行錯誤の結果、複雑さの評価プロセスで使用される4つの基本情報値に到達しました。









[図 5.レベルエディター（上、RGBA）とエンコードされた画像（下、R、G、B、A）のスナップショット。 画面上の画像の視認性を高めるために、各画像は128階調のグレーで色調整されています。]

• エンコードされた画像を使用した予測（参照値-ロジスティック回帰）：61％の精度
• コード化メッセージ（CNN）を使用した予測：71％の精度

他の入力データの使用により、同じモデル構造の精度が10％向上しました。 さらに、学習プロセスに必要な各画像のサイズが64倍に削減されたため、学習を高速化できました。









[図 6. ファンタジーレイダーのエンコードされた画像-ゲームレベル]

自動レベル生成

複雑さの評価のおかげで、ニューラルネットワークがあらゆるレベルの特徴を学習できると確信できました。 AIが前のステップで学んだことを基に、次のステップであるレベル生成に進みました。



画像、音声、テキスト生成の分野で活発な研究が進行中です。 モデルへの入力としてイメージスナップショットを使用したため、GAN（Generative Adversarial Networks）から始めました。これは多くの場合に広く使用されており、良い結果を示しています。









[図 7.生成モデルの分類-Ian Goodfellow（2016）、図9.「NIPS 2016チュートリアル：生成的敵対ネットワーク」]

GAN（生成競合ネットワーク）

2014年のGANの最初の実装と、2015年末のDCGANモデルでのGANとCNNの接続以来、 GANのさまざまなバージョンが作成されました。 10個以上を使用して画像を生成できます。 （GANが生成できる結果の複雑さを確認する場合は、the-gan-zooをご覧ください。）









[図 8. GANが生成したアニメキャラクター-Yanghua JIN、 「Chainerを使用したさまざまなGAN」 ]



学習プロセスでは、レベルを生成するために、複雑さを評価するプロセスと同様に、エンコードされた画像を使用しました。 トレーニングを完了した後、ジェネレーターはデコーダーがレベルに変換できる画像を作成しました。









[図 9. GANをトレーニングしてレベルを生成するプロセス。 GeneratorとDiscriminatorはニューラルネットワークです。 Generatorは、Discriminatorをtrickして、プログラムによって生成されたレベルをゲームデザイナーによって作成されたレベルに渡し、Discriminatorによってゲームデザイナーによって作成されたレベルをゲームデザイナーによって生成されたレベルから分離しようとしています。 このプロセスを繰り返すことにより、Generatorはゲームデザイナーが作成したレベルにますます類似したレベルを生成できます。









[図 10.トレーニング終了後のレベルの生成。]



何よりも、収集されたデータの量が限られていることを心配していました。これは、MNISTデータベース全体で60,000を超えるレコードが含まれているため、約1000にすぎません。 DCGANを使用した最初の試行は失敗に終わりました。 画像生成で驚くべき結果を示した最近発明された他のGANモデルを使用する他の試みのほとんどは、レベル生成でも失敗しました。 たとえ成功したとしても、生成されるレベルは非常に限られています。









[図 11.トレーニングに失敗した後に取得した画像の例。 トレーニングのサンプルは8 x 8レベルです。 シリーズサイズ16（左）で5,000回繰り返した後。 シリーズサイズ16（右）で50,000回繰り返した後。]



この時点で、ほとんどあきらめ、失敗の理由は少量のデータであると考えました。 ただし、GANトレーニング用の安定バージョンであるDRAGANを使用したトレーニングは成功しました 。









[図 12. 1000レコードのデータ量でトレーニングされたDRAGANを使用して生成されたレベル画像。 この段階では、最も単純なレベルのみが生成されました。]



ただし、DRAGANはデータ量が少ないため、さらに複雑なレベルを生成できませんでした。

データ拡張

機械学習では1000レベルはかなり少量ですが、いくつかのゲームデザイナーはそれらを作成するのに2年かかりました。 着信データの量をすぐに増やすことはできませんでした。 そのため、機械学習の他の分野で一般的に使用されている方法を使用してデータ量を増加させようとしました。データ量を1000から6000に増やし、各レベルを元のレベルから90、180、270度に変更し、NPC、オブジェクト、オブジェクトの種類を置き換えました。









[図 13.データ量を拡張する例-元のバージョン（左）、時計回りに90度回転（中央）、NPCの交換（右）]



6000のデータセットで何千回も繰り返した後、モデルは最終的に、より複雑なレベルを生成し始めました。









[図 14.トレーニングが繰り返されるほど、プログラムはより複雑なレベルを生成しました。 それらは、ゲームデザイナーによって作成されたものに似てきました。]









[図 15.ゲームデザイナーが作成したレベル（左）。 GAN生成レベル（右）。]

（半制御）CGAN

Fantasy Raiders開発の最初から、時間の経過とともに自動生成が手動レベリングに置き換わることを期待して、生成文法を研究しました。 したがって、GANがより複雑なレベルを生成すると確信したとき、条件に応じてデータを生成するCGANを使用して、複雑さによってレベルを生成しました。



前述したように、レベルはわずか1,000であり、その複雑さは仲間のデザイナーが手動で推定しました。 データ量が少ないため、より複雑なレベルを作成できませんでした。 この問題を解決するために、データ量を増やすことでデータ量を増やしました（Data Augmentation）。 ただし、5000レベルでは設計者がすべてを手動で評価するには多すぎます。



そのため、セミコントロールトレーニングの方法を使用することにしました。この場合、データの一部のみがラベル付けされている場合、Discriminatorはゲームデザイナーが作成するレベルと、すべてのレベルからサンプリングするプログラムを決定します。 ただし、データ量を拡張することで得られるレベルの複雑さは決定しません。 この方法の詳細については、 GANをトレーニングするための改善されたテクニックを参照してください 。









[図 16. CGANによって生成され、シードの初期値は同じですが、複雑度が異なるレベル。]

RNN（リカレントニューラルネットワーク）

GANを使用したレベルの生成は非常にうまく機能しました。 このモデルは、レベル形式のあらゆる特性のトレーニングで十分に機能しましたが、レベルのコンテキスト情報を学習しませんでした。









[図 17. GANを使用した生成モデルは、レベルの形式の特性を学習できますが、レベルのコンテキスト情報を学習することはできません。 ゲームデザイナーが作成したフェンス（左）と、GANを使用して生成モデルによって生成されたフェンス（右）。]



ただし、他の理由もありますが、最も重要なのは受信データ自体の特性です。 一般的な場合、画像は一連の値で構成されますが、わずかな違いは大きな変化をもたらしません。 ただし、レベルエディターの写真では、データは非常に離散的であり、値のわずかな違いが大きな変更を加える可能性があります。 したがって、入力データ（レベルのスナップショット）は、イメージというよりもオファーのように見えました。



その結果、文を生成するために使用される他の生成モデルよりも頻繁に使用されるRNNを使用するようになりました。 RNNのいくつかのバージョンの1つであるLSTMを選択しました （最近、GAN文を使用して離散値を生成する別の研究があることを知りましたが、まだ実験していません）。









[図 18. RNNを使用したレベルの生成]

LSTM（長期短期メモリユニット）

LSTMを使用するには、すべてのレイヤーを文字列に変換する必要があります。 すでにすべてのレベルをエンコードしているため、翻訳プロセスで問題は発生しませんでした。 エンコードされた画像を分割し、1次元の文字列に接着する必要がありました。









[図 19. RNN学習用の行レベル変換]



複雑さに従ってレベルを生成するために、ラインに変換されたレベルの複雑さに関する情報を追加しました。 すべての繰り返しの後、LSTMはレベルの生成を開始し、フォームの特性だけでなく、コンテキスト情報も学習しました。









[図 20. RNNを使用して生成されたレベル-生成された行（上記）。 文字列からデコードされたレベル（下）]



RNNモデルは、ゲームデザイナーが作成したレベルに似たレベルを生成しましたが、中心またはレベルの角度を定性的にカバーするフェンスでレベルを生成できませんでした。 これにはスペースのより深い理解が必要であると思われました。



最初は、この問題の原因がハイパーパラメーターであると疑って、それを変更しようとしましたが、何も助けませんでした。 RNNは、2次元空間を理解したレイヤーを生成できません。

PixelRNN（PixelCNN）

RNNの利点と空間に関するコンテキスト情報の改善された理解を組み合わせた方法の検索で、RNNに基づいて画像を生成するソリューションPixelRNNを発見しました 。 （後ほど、学習速度の速いPixelCNNに切り替えました）。



入力として、PixelRNNデータには文ではなく画像が必要ですが、GANトレーニング用のエンコードされた画像を生成するすべてのプロセスは既に完了しています。



そして最後に、PixelRNNは、空間やその他のコンテキスト情報を2次元で理解することで、新しいレベルを生成し始めました。 これらの生成されたレベルでは、四角で交差するフェンスがあり、これがファンタジーレイダーズの特徴となった。 同時に、レベルはゲームデザイナーが作成したレベルとほとんど区別できませんでした。









[図 21.フェンスの位置と形状が異なる生成されたPixelRNNレベル。]

私たちは一緒に働きます：男と車

自動レベル生成プロセスの開始後、毎週、ニューラルネットワークの現在のトレーニング済みモデルについて、ゲームデザイナーからフィードバックを受け取りました。 一部のデザイナーは、マシンによって生成されたレベルに触発され、それらに基づいて新しいレベルを作成しようとしたことは、私たちにとって興味深いように思えました。



このような観察を行ったので、私たちは一緒にレベルを作成するのが良いと思いました：人と機械。 Sketch-RNNの調査に着想を得て、設計者が機械学習モデルで新しいレベルを生成できるレベルエディターモードを追加しました。









[図 22.ゲーム設計者が選択した場合、マシンはNPC、アイテム、またはアイテムを推奨します。]









[図 23.ゲーム設計者がいくつかのオプションを選択した場合、マシンはゲーム設計者の代わりに残りの選択を行います。]



Fantasy Raidersは Unityに基づいて開発されており、レベルエディターもUnityに基づいています。 したがって、レベルインスタンスはJSONで作成され、サーバーに送信され、サーバーはそれに変更を加えてJSON形式でUnityに送り返します。



（Unityは、 Unityで強化学習を使用できるUnity Machine Learning Agents SDKを開発者に提供します。ただし、Python APIには制限があります。Unityチームが強化学習だけでなく、その他の機械学習方法。）

まとめると

Fantasy Raidersの開発終了の現在の段階では、レベル生成はエンジニアにとっての技術的な問題だけでなく、学習成果の改善にすでに参加しているゲームデザイナーにとっての問題にもなっています。 ここで言及されていないものも含め、すべての障害物があるため、技術的な知識だけでなく、独自のゲームFantasy Raidersに関する情報にも助けられました。



上記のように、我々の実験はニューラルネットワークを使用してレベルを生成する問題の一般的な解決策にはなり得ないと考えています。 現在の段階では、ニューラルネットワークを使用した生成手法がコンテンツの手続き型生成に取って代わることができるかどうかはまだ完全にはわかりません。 ただし、コンテンツ生成手法を新しく見直すことができることを否定するのは困難です。



新しい発見についてお伝えできるよう、幸運を祈ります！









[図 24.機械学習によって生成されるファンタジーレイダーの最初のレベル。]

追加の読書

生成モデル ： 生成モデルの簡単な紹介。



TensorFlowの生成的敵対ネット ：GANの簡単で簡単な紹介。



リカレントニューラルネットワークの不合理な効果 ：RNNの包括的な紹介。



画像生成用のRNNモデル ：RNNを使用した画像生成の概要。



描く機械を教える ：創造性の分野におけるニューラルネットワークのアプリケーションの古典的な例。 この例は、ニューラルネットワークを自動化ツールとしてだけでなく、インスピレーションの源としても考慮する必要があることを示しています。



AlphaGo ：ゲームでニューラルネットワークを使用するためのインスピレーションの源。



人工知能とゲーム ：異なる角度からのゲームAIの観察。 特に、 機械学習による手続き型コンテンツ生成（PCGML）では、機械学習を使用してゲームのコンテンツを生成するための多くの研究について説明しています。

---

この記事は、プログラマーのMaverick Games Seungback ShinとSungkuk Parkによって書かれました。