Pythonを使用したFceuxエミュレーターのリモート制御

この記事では、NESエミュレーターをリモートで制御する方法と、コマンドをリモートで送信するサーバーについて説明します。

なぜこれが必要なのですか？

Fceuxを含むさまざまなゲームコンソールのエミュレーターを使用すると、Luaでカスタムスクリプトを作成および実行できます。 しかし、Luaは深刻なプログラムを作成するのに悪い言語です。 むしろ、Cで書かれた関数を呼び出すための言語です。 エミュレータの作成者が使用するのは、埋め込みの軽さと使いやすさだけです。 正確なエミュレーションには多くのプロセッサリソースが必要であり、初期のエミュレーション速度は作成者の主な目標の1つであり、スクリプトアクションの可能性を覚えていれば、そもそもそうではありませんでした。



NESをエミュレートするには、平均的なプロセッサのパワーで十分です。エミュレータでPythonやJavaScriptなどの強力なスクリプト言語を使用してみませんか？



残念ながら、人気のあるNESエミュレーターには、これらの言語や他の言語を使用する機能はありません。 なんらかの理由でJavaで書き直された、Fceuxカーネルをベースにした、あまり知られていないNintacoプロジェクトのみを見つけました。 次に、エミュレーターを自分で制御するためのスクリプトをPythonで作成する機能を追加することにしました。



私の結果は、エミュレータを制御する能力の概念実証であり、速度や信頼性を装うわけではありませんが、機能します。 私は自分でそれをしましたが、スクリプトを使用してエミュレータを制御する方法の質問は十分に一般的である ため 、ソースコードをgithubに配置しました 。

仕組み

エミュレーター側

Fceuxエミュレーターには 、コンパイル済みコードとしていくつかのLuaライブラリーが既に含まれています 。 その1つがLuaSocketです。 文書化は不十分ですが、 Xkeeper0 スクリプトのコレクションの中から作業コードの例を見つけることが でき ました 。 彼はソケットを使用して、Mircを介してエミュレーターを制御しました。 実際、tcpソケットを開くコードは次のとおりです。

function connect(address, port, laddress, lport) local sock, err = socket.tcp() if not sock then return nil, err end if laddress then local res, err = sock:bind(laddress, lport, -1) if not res then return nil, err end end local res, err = sock:connect(address, port) if not res then return nil, err end return sock end sock2, err2 = connect("127.0.0.1", 81) sock2:settimeout(0) --it's our socket object print("Connected", sock2, err2)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これは、1バイト単位でデータを送受信する低レベルのソケットです。



Fceuxエミュレーターでは、Luaスクリプトのメインループは次のようになります。

 function main() while true do --  passiveUpdate() --,        emu.frameadvance() --       end end
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ソケットからのデータのチェック：

 function passiveUpdate() local message, err, part = sock2:receive("*all") if not message then message = part end if message and string.len(message)>0 then --print(message) local recCommand = json.decode(message) table.insert(commandsQueue, recCommand) coroutine.resume(parseCommandCoroutine) end end
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コードは非常に単純です。データはソケットから読み取られ、次のコマンドが検出されると、解析されて実行されます。 解析と実行はコルーチン （コルーチン）を使用して編成されます-これは、コード実行を一時停止および継続するための強力なLua言語の概念です。



また、FceuxのLuaスクリプトに関するもう1つの重要なことは、スクリプトから一時的にエミュレーションを停止できることです。 Lua-codeの継続的な実行を整理し、ソケットから受け取ったコマンドで再実行する方法は？ これは不可能ですが、エミュレーションを停止してもLuaコードを呼び出すことはできませんが、文書化された機能は不十分です（ feosに指摘してください）。

 gui.register(passiveUpdate) --undocumented. this function will call even if emulator paused
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これを使用すると、 passiveUpdate内でエミュレートを停止および続行できます。これにより、ソケットを介してエミュレーターのブレークポイントのインストールを調整できます。

サーバー側コマンド

非常にシンプルなJSONベースのRPCテキストプロトコルを使用しています。 サーバーは関数名と引数をJSON文字列にシリアル化し、ソケットを介して送信します。 さらに、エミュレータがコマンドを完了する行で応答するまで、コードの実行は停止します。 応答には、フィールド「 FUNCTIONNAME_finished 」と関数の結果が含まれます。



このアイデアは、 syncCallクラスに実装されています 。

 class syncCall: @classmethod def waitUntil(cls, messageName): """cycle for reading data from socket until needed message was read from it. All other messages will added in message queue""" while True: cmd = messages.parseMessages(asyncCall.waitAnswer(), [messageName]) #print(cmd) if cmd != None: if len(cmd)>1: return cmd[1] return @classmethod def call(cls, *params): """wrapper for sending [functionName, [param1, param2, ...]] to socket and wait until client return [functionName_finished, [result1,...]] answer""" sender.send(*params) funcName = params[0] return syncCall.waitUntil(funcName + "_finished")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このクラスを使用すると、FceuxエミュレーターのLuaメソッドをPythonクラスでラップできます。

 class emu: @classmethod def poweron(cls): return syncCall.call("emu.poweron") @classmethod def pause(cls): return syncCall.call("emu.pause") @classmethod def unpause(cls): return syncCall.call("emu.unpause") @classmethod def message(cls, str): return syncCall.call("emu.message", str) @classmethod def softreset(cls): return syncCall.call("emu.softreset") @classmethod def speedmode(cls, str): return syncCall.call("emu.speedmode", str)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、Luaからと同じ方法で逐語的に呼ばれます：

 # : emu.poweron()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コールバックメソッド

Luaでは、コールバック（特定の条件が満たされたときに呼び出される関数）を登録できます。 次のトリックを使用して、この動作をPythonのサーバーに移植できます。 まず、Pythonで記述されたコールバック関数の識別子を保存し、Luaコードに渡します。

 class callbacks: functions = {} callbackList = [ "emu.registerbefore_callback", "emu.registerafter_callback", "memory.registerexecute_callback", "memory.registerwrite_callback", ] @classmethod def registerfunction(cls, func): if func == None: return 0 hfunc = hash(func) callbacks.functions[hfunc] = func return hfunc @classmethod def error(cls, e): emu.message("Python error: " + str(e)) @classmethod def checkAllCallbacks(cls, cmd): #print("check:", cmd) for callbackName in callbacks.callbackList: if cmd[0] == callbackName: hfunc = cmd[1] #print("hfunc:", hfunc) func = callbacks.functions.get(hfunc) #print("func:", func) if func: try: func(*cmd[2:]) #skip function name and function hash and save others arguments except Exception as e: callbacks.error(e) pass #TODO: thread locking sender.send(callbackName + "_finished")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Luaコードはこの識別子を保存し、Pythonコードに制御を転送する通常のLuaコールバックを登録します。 次に、Luaからのコールバックコマンドが受け入れられなかったことの確認のみに関係するPythonコードに別のスレッドが作成されます。

 def callbacksThread(): cycle = 0 while True: cycle += 1 try: cmd = messages.parseMessages(asyncCall.waitAnswer(), callbacks.callbackList) if cmd: #print("Callback received:", cmd) callbacks.checkAllCallbacks(cmd) pass except socket.timeout: pass time.sleep(0.001)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最後のステップは、Pythonコールバックが実行された後、「 CALLBACKNAME_finished 」 コマンドを使用して制御がLuaに返され、コールバックが終了したことをエミュレーターに通知することです。

例を実行する方法

• システムでPython 3およびJupyter Notebookを実行している必要があります。 次のコマンドでJupyterを実行する必要があります
  
  
  
  

   jupyter notebook
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  
• FceuxPythonServer.py.ipynbラップトップを開き、最初の行を実行します
  
  
  
  
• Fceuxエミュレーターを実行し、その中のROMファイルを開いて（私はゲームCastlevania（U）（PRG0）[！]。私の例ではNesを使用します）、 fceux_listener.luaという名前のLuaスクリプトを実行する必要があります。 Jupyterラップトップで実行されているサーバーに接続する必要があります。
  
  
  
  これらのアクションは、コマンドラインを使用して実行できます。
  
  
  
  

   fceux.exe -lua fceux_listener.lua "Castlevania (U) (PRG0) [!].nes"
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  
• Jupyter Notebookに戻ります。 エミュレーターへの正常な接続に関するメッセージが表示されるはずです。
  
  
  
  
  
  

それだけです。ブラウザのJupyterラップトップからFceuxエミュレータに直接コマンドを送信できます。



サンプルラップトップのすべての行を順番に実行し、エミュレータで実行結果を確認できます。



完全な例：

https://github.com/spiiin/fceux_luaserver/blob/master/FceuxPythonServer.py.ipynb



メモリの読み取りなどの単純な機能が含まれています。







より複雑なコールバックの例：







また、 スーパーマリオブラザーズから敵を移動させる特定のゲームのスクリプト。 マウスで：







ラップトップ実行ビデオ：

制限とアプリケーション

このスクリプトには、ばかに対する保護がなく、実行速度が最適化されていません-テキストプロトコルの代わりにバイナリRPCプロトコルを使用し、メッセージをグループ化することをお勧めしますが、実装にはコンパイルは必要ありません。 このスクリプトは、ラップトップで実行コンテキストをLuaからPythonに切り替え、1秒あたり500〜1000回戻すことができます。 ビデオプロセッサのピクセルごとまたはラインごとのデバッグの特定の場合を除き、これはほとんどすべてのアプリケーションに十分ですが、FceuxはまだLuaからのそのような操作を許可しないため、問題ではありません。



考えられるアプリケーションのアイデア：

• 他のエミュレーターおよび言語に対するこのような制御の実装例として
• ゲームリサーチ
• TASパッセージを整理するためのチートまたは機能の追加
• ゲームにデータとコードを挿入または抽出する
• エミュレーターの機能強化-デバッガーの作成、チュートリアルの記録と表示用のスクリプト、スクリプトライブラリー、ゲームエディター
• ネットワークゲーム、モバイルデバイスを使用したゲームコントロール、リモートサービス、ジョイパッドまたはその他の制御デバイス、クラウドサービスでの保存とパッチ
• クロスエミュレータ機能
• データ分析およびゲーム制御（ボットの作成）にPythonまたは他の言語ライブラリを使用する

技術スタック

私が使用した：



Fceux-www.fceux.com/web/home.html

これは古典的なNESエミュレータであり、ほとんどの人が使用しています。 それは長い間更新されておらず、機能的にも最高ではありませんが、多くのロムハッカーにとってデフォルトのエミュレータのままです。 また、Luaソケットサポートが統合されているため、自分で接続する必要がないため、これを選択しました。



Json.lua-github.com/spiiin/json.lua

これは純粋なLuaのJSON実装です。 コードをコンパイルする必要のない例を作成したかったため、これを選択しました。 しかし、Fceuxに組み込まれたライブラリの一部がライブラリ関数を文字列にオーバーロードし、シリアル化を中断したため、ライブラリをフォークする必要がありました（元のライブラリの作成者へのプール要求を拒否しました）。



Python 3-www.python.org

Fceux Luaサーバーはtcpソケットを開き、そこから受信したコマンドをリッスンします。 エミュレータにコマンドを送信するサーバーは、任意の言語で実装できます。 Pythonを選んだのは、「バッテリーを含む」という哲学です。ほとんどのモジュールは標準ライブラリに含まれています（ソケットとJSONも同様に機能します）。 Pythonは、ニューラルネットワークを操作するためのライブラリも知っているので、それらを使用してNESゲームでボットを作成したいと思います。



Jupyterノートブック -jupyter.org

Jupyter Notebookは、Pythonコードを対話的に実行するための非常にクールな環境です。 これを使用すると、ブラウザー内のスプレッドシートエディターでコマンドを記述して実行できます。 また、提示可能な例を作成するのにも適しています。



Dexpot-www.dexpot.de

この仮想デスクトップマネージャーを使用して、エミュレータウィンドウを他のウィンドウの上にドッキングしました。 これは、エミュレータウィンドウの変更を即座に追跡するために、サーバーを全画面で展開する場合に非常に便利です。 確立されたWindowsツールでは、ドッキングウィンドウを他のウィンドウの上に整理することはできません。

参照資料

実際には、プロジェクトリポジトリです 。



Nintaco-リモート管理を備えたJava NESエミュレータ

Xkeeper0 emu-luaコレクション -さまざまなLuaスクリプトのコレクション

Mesenは、強力なLuaスクリプト機能を備えたC＃の最新のNESエミュレーターです。 これまでのところ、ソケットのサポートとリモートコントロールはありません。

CadEditorは、NESおよびその他のプラットフォーム用のユニバーサルレベルエディターのプロジェクトであり、ゲームを研究するための強力なツールです。 投稿で説明したスクリプトとサーバーを使用して、ゲームを探索し、エディターに追加します。



フィードバック、テスト、およびスクリプトの使用の試みに感謝します。