ゲームボーイスーパーコンピューター

毎秒10億フレーム以上の速度で、間違いなく世界で8ビットコンソールクラスターの中で最速です。





分散テトリス（1989）

そのようなコンピューターを構築する方法は？

レシピ

ほんの一握りのシリコンを用意し、強化トレーニングを適用し、スーパーコンピューターの経験、コンピューターアーキテクチャへの情熱、汗と涙を追加し、沸騰するまで1000時間攪拌します。

なぜこのようなコンピューターが必要なのでしょうか？

要するに：人工知能の強化に向かって移動すること。





実験に使用された48個のIBMニューラルコンピューターボードの1つ

そして、これはより詳細なバージョンです

2016年。 ディープラーニングはどこにでもあります。 畳み込みニューラルネットワークのおかげで、画像認識は解決されたタスクと見なすことができ、私の研究対象は、メモリと強化学習を備えたニューラルネットワークを目指しています。







具体的には、Google Deepmindの著者は、Deep Q-Neural Networkでサポートされている簡単な学習アルゴリズムを使用して、Atari 2600（1977年にリリースされた家庭用ゲームコンソール）のさまざまなゲームで人のレベルを達成したり、それを上回ることさえできることを示しました。 そして、これらはすべてゲームプレイを表示しているときにのみ発生します。 それは私の注意を引きました。





Atari 2600のゲームの1つであるBreakout。 マシンは、単純な強化学習アルゴリズムを使用してトレーニングされました。 何百万回も繰り返した後、コンピューターは人間よりも良くなり始めました。



Atari 2600ゲームの実験を開始しましたが、ブレイクアウトは印象的なものではありますが、複雑とは言えません。 難易度は、アクション（ジョイスティック）と結果（ポイント）に応じた難易度によって判断できます。 この問題は、エフェクトを長時間待機する必要がある場合に発生します。





例として、より複雑なゲームを使用した問題の説明。 左-ブレイクアウト（ATARI 2600）[著者が間違えた、これはピンポンゲームです/約。 トランス。]非常に高速な応答と高速なフィードバック。 右-マリオランド（ニンテンドーゲームボーイ）はアクションの効果に関する情報を即座に提供しません; 2つの重要なイベントの間に無関係な観察の長期間が現れることがあります。



学習をより効果的にするために、より単純なゲームから知識の一部を移転する試みを想像できます。 このタスクは現在未解決のままであり、研究の活発なトピックです。 OpenAIから最近公開された課題は 、まさにそれを測定しようとしています。



知識を伝達する能力はトレーニングをスピードアップするだけではありません-いくつかの学習問題は基本的な知識がないとまったく解決できないと思います。 データ効率が必要です。 Prince of Persiaのゲームに参加してください：







明確なポイントはありません。

ゲームを完了するには60分かかります。







Atari 2600で作品を書くときに使用したのと同じアプローチを適用することは可能ですか？ ランダムキーを押して最後まで到達できる可能性はどのくらいありますか？



この質問をきっかけに、この問題を解決するために、コミュニティに貢献することになりました。 実際、鶏と卵のタスクがあります-メッセージを送信できるより良いアルゴリズムが必要ですが、より効率的なアルゴリズムがないため、これには研究が必要であり、実験には時間がかかります。





知識移転の例：最初に、左のような単純なゲームのプレイ方法を学びました。 次に、「レース」、「車」、「トラック」、「勝利」などの概念を保存し、色または3次元モデルを学習します。 共通の概念は、ゲーム間で「持ち越される」ことができると主張しています。 ゲームの類似性は、ゲーム間で転送される知識の数によって判断できます。 たとえば、テトリスとF1ゲームは似ていません。



したがって、最初のスローダウンを回避し、システムを劇的に高速化する2番目の理想的なアプローチを使用することにしました。 私の目標は：

-加速環境（Prince of Persiaは100倍速く完了することができると想像してください）および100,000ゲームの同時起動。

-より研究に適した環境（タスクに集中していますが、予備計算ではなく、さまざまなゲームにアクセスできます）。



当初、パフォーマンスのボトルネックは、エミュレータコードの複雑さに何らかの方法で依存する可能性があると考えました（たとえば、Stellaコードベースは大きく、C ++抽象化に依存しています-エミュレータには最適ではありません）。

コンソール

アーケードスペースインベーダー、アタリ2600、NES、ゲームボーイなど、これまでに作成された非常に最初のゲームの1つから始めて、合計でいくつかのプラットフォームに取り組みました。 そして、これはすべてCで書かれました。



毎秒2000〜3000の最大フレームレートに到達しました。 実験結果の取得を開始するには、数百万または数十億のフレームが必要であるため、ギャップは巨大でした。





FPGAで実行されているスペースインベーダー-低速デバッグモード。 FPGAカウンターは、経過したクロックサイクルの数を示します。



そして、私は考えました-鉄で適切な環境を加速できるとしたらどうでしょう。 たとえば、元のスペースインベーダーは1 MHzの周波数で8080 CPUにアクセスしました。 3 GHz Xeonプロセッサで8080 40 MHz CPUをエミュレートできました。 悪くはありませんが、これらすべてをFPGAに入れた後、周波数は400 MHzになりました。 つまり、1つのストリームから24,000 FPSを意味しました。これは30 GHz Xeonに相当します。 100個の8080プロセッサを平均的なFPGAに詰め込むことができると言ったでしょうか？ これにより、すでに240万のFPSが生成されます。





Hard Involved Space Invaders、100 MHz、フルスピードの1/4





ザイリンクスKintex 7045 FPGA内の100を超えるコア（明るい色で示されています。中央の青い点は、デモの一般的なロジックです）。





不均一な実行パス



GPUについてはどうですか？ 要するに、 SIMDではなくMIMDのような並行性が必要です。 学生として、私はしばらくの間、GPUでのモンテカルロツリー検索の実装に取り組みました（そのような検索はAlphaGoで使用されていました）。



当時、GPUやその他のハードウェアをSIMDの原理（IBM Cell、Xeon Phi、AVX CPU）で動作させて同様のコードを実行しようとしていたため、数え切れないほどの時間を費やしました。 数年前、強化訓練に関連する問題を解決するために特別に設計されたハードウェアを独自に開発できるといいと思い始めました。









MIMD並行性

ATARI 2600、NESまたはゲームボーイ？

8080で、Space Invaders、NES、2600、およびGame Boyを実装しました。 そして、それらについてのいくつかの事実とそれぞれの利点があります。





ファミコン



スペースインベーダーは単なるウォームアップでした。 私たちはそれらを機能させることができましたが、それはたった1ゲームであったため、結果はあまり役に立ちませんでした。



実際、Atari 2600は強化学習研究の標準です。 MOS 6507プロセッサは有名な6502の簡易バージョンであり、その設計は8080の設計よりもエレガントで効率的です。ゲームとグラフィックスに関する特定の制限のためだけでなく、2600を選択しました。



また、2600とCPUを共有するNES（Nintendo Entertainment System）も実装しました。ゲームは2600よりもはるかに優れています。しかし、両方のコンソールは、過度に複雑なグラフィックス処理パイプラインとサポートが必要ないくつかのカートリッジ形式に悩まされています。



一方、私は任天堂のゲームボーイを再発見しました。 それが私が探していたものでした。

ゲームボーイがなぜこんなにクールなのですか？

ゲームボーイカラー用の1049のクラシックゲームと576のゲーム



合計で、1000以上のゲーム、非常に多種多様、高品質、それらのいくつかは非常に複雑です（プリンス）、ゲームをグループ化し、知識の伝達とトレーニングの研究のために複雑さを割り当てることができます（たとえば、テトリス、レーシングゲーム、マリオのオプションがあります）。 ゲームプリンスオブペルシャを解決するには、ポイントが明確に示されている他の同様のゲームから知識を転送する必要があります（プリンスではそうではありません）。





任天堂ゲームボーイは、私のお気に入りの知識移転研究プラットフォームです。 グラフでは、ゲームを複雑さ（主観）と類似性（レース、ジャンプ、シューティング、テトリスなどのさまざまなゲームなどの概念に基づいてグループ化しようとしました。HATRISをプレイしましたか？）



古典的なGame Boyは非常にシンプルな画面（160x144、2ビットカラー）を備えているため、前処理が簡単になり、重要なことに集中できます。 2600では、単純なゲームでも多くの色があります。 さらに、ゲームボーイのオブジェクトは、まばたきがなく、最大2つの連続したフレームを取る必要もなく、はるかに優れたデモが行われます。







NESや2600のようなクレイジーなメモリレイアウトはありません。ほとんどのゲームは、2〜3マッパーで動作するように作成できます。



コンパクトなコード-わずか700行のコードでエミュレーター全体をCに収めることができ、Verilogの実装は500行に収まりました。



アーケードと同じスペースインベーダーのシンプルバージョンがあります。







そして、それは、1989年のドットマトリックスゲームボーイと、4K画面でHDMIを介して動作するFPGAバージョンです。







そして、これは私の古いゲームボーイができないことです：





鉄で加速されたテトリス-画面からのリアルタイム録画、速度は最大の1/4です。

これには本当の利点がありますか？

はい、あります。 これまでのところ、個々のゲームボーイと相互作用するルールの外部ネットワークを使用して、単純な条件でシステムをテストしました。 より具体的には、A3C（Advantage Actor Critic）アルゴリズムを使用し、別の投稿で説明する予定です。 私の同僚は、それをFPGA上の畳み込みネットワークに接続しました。





FGPAがニューラルネットワークと通信する方法





分散A3C





マリオの土地：初期状態。 ランダムなキーストロークは私たちを遠くに連れて行ってくれません。 右上隅には残り時間が表示されます。 運がよければ、ガンバに触れた後すぐにゲームを終了します。 そうでない場合は、「失う」ために400秒かかります。





マリオの土地：1時間プレイした後、マリオは走ること、ジャンプすること、そして秘密の部屋を開いてパイプに忍び込むことを学びました。





パックマン：約1時間のトレーニングの後、ニューラルネットワークはゲーム全体を一度終了することさえできました（すべてのポイントを食べたため）。

おわりに

今後10年間は​​、スーパーコンピューティングとAIがお互いに出会う時期になると思います。 希望するAIアルゴリズムに適応するために、特定のレベルに自分を調整できるハードウェアが必要です。





次の10年



Cのゲームボーイのコード

デバッグ

私はよく尋ねられます：最も難しかったことは何ですか？ それだけです-プロジェクト全体が非常に苦痛でした。 まず、ゲームボーイの仕様はありません。 学んだことはすべて、リバースエンジニアリングのおかげです。つまり、ゲームなどの中間タスクを開始し、それがどのように実行されるかを見ました。 これは、プログラムを実行するハードウェアをデバッグするため、標準のソフトウェアデバッグとは大きく異なります。 私はこれを達成するためにさまざまな方法を考え出さなければなりませんでした。 そして、100 MHzの周波数で実行されるプロセスを監視するのがどれほど難しいかについて話しましたか？ ああ、そこにはprintfはありません。





CPUを実装する1つのアプローチは、機能に関する命令をグループ化することです。 6502では、はるかに簡単です。 LR35092は多くの「ランダムな」ものを詰め込み、多くの例外があります。 CPU Game Boyで作業するときにこのテーブルを使用しました。 私は貪欲な戦略を使用しました-私は最大の命令を取り、それらを実行し、それらを取り消し、それらを繰り返しました。 命令の1/4はALU、1/4はレジスタのロードであり、非常に迅速に実装できます。 スペクトルの反対側には、「記号を使用してHLからSPにアップロードする」など、あらゆる種類の個別のものがあり、個別に処理する必要がありました。





デバッグ：デバッグしているハードウェアでコードを実行し、実装のログと追加情報を記述します（左側のVerilogコードと右側のCエミュレータの比較を示します）。 次に、ログに対してdiffを実行して不整合を見つけます（青）。 自動化を使用する理由の1つは、多くの場合、1つのCPUフラグが雪だるま効果につながったときに、数百万の実行サイクル後に問題を発見したことです。 私はいくつかのアプローチを試しましたが、これが最も効果的であることがわかりました。





あなたはたくさんのコーヒーが必要になります！





これらの本は40歳です。 それらをざっと調べ、当時のユーザーの目を通してコンピューターの世界を見るのは驚くべきことでした。将来のゲストのように感じました。

OpenAI研究リクエスト

OpenAIの投稿で説明されているように、最初はメモリの観点からゲームを操作したかったのです。



驚いたことに、Qラーニングをメモリ状態を表す入力で適切に機能させることは予想外に困難でした。



このプロジェクトには解決策がない場合があります。 Q-learningがAtariのメモリの操作に成功しないことを発見することは予想外ですが、このタスクが非常に困難になる可能性があります。



Atariのゲームは128 bのメモリしか使用しないことを考えると、フルスクリーンフレームの代わりにこれらの128 bを処理することは非常に魅力的であると思われました。 私は複雑な結果を得たので、私はそれに対処し始めました。



そして、記憶から学ぶことが不可能であることを証明することはできませんが、記憶がゲームの完全な状態を反映しているという仮定が間違っていることを示すことができます。 Atari 2600（6507）CPUは128バイトのメモリを使用しますが、別の回路（TIA、TV用アダプター、GPUなど）に存在する追加のレジスタにアクセスできます。 これらのレジスタは、オブジェクト（ラケット、ロケット、ボール、衝突）に関する情報を保存および処理するために使用されます。 言い換えれば、メモリのみを考慮した場合、アクセスできなくなります。 NESとGame Boyには、画面の制御とスクロールに使用される追加のレジスタもあります。 ゲームの完全な状態を反映していないメモリは1つだけです。



8080のみがビデオメモリにデータを直接保存するため、ゲームの完全な状態を抽出できます。 その他の場合、「GPU」レジスタは、RAMの外側にある間にCPUとスクリーンバッファの間に接続されます。







興味深い事実：GPUの歴史を調査している場合、8080は最初の「グラフィックアクセラレータ」である可能性があります。外部シフトレジスタを使用して、単一のコマンドでスペースインベーダーを移動し、CPUをオフロードできます。









Eof