私がグラフィックボットを書いたとき、それが何に変わったのか。 ペンギーボット

この記事では、最小限の労力と時間で幅広い日常業務を自動化できるツールを作成した経験を分析します。

まえがき

ボットを作成して、ロジックと反応速度を必要とするいくつかのタスクを実行する必要がありました。 APIに乗り込んでプログラムバイナリを選択したくありませんでした。 視覚的な自動化を採用することが決定されました。 いくつかのボットを見つけましたが、どれも私の要件に達していませんでした。遅すぎるか、スクリプト部分が大幅に削減されているか、ビジュアルコンポーネントを操作するための機能が不十分でした。 過去にビジュアルボットを使用して成功した経験があるので（スクリプト部分は遅く、大幅に調整されていますが）、実装することにしました。



最初に必要な機能



次の機能が必要でした：

• マウスのシミュレーション、カーソルの動き、ボタンを押す。
• キーボードのキーストロークのシミュレーション。
• 画面上で事前に用意された画像の一部（アイコンや文字など）を検索し、見つかった場合は、この情報を使って何でもできるようにします。
• スクリプトインタプリタ。これにより、アクションのアルゴリズムを簡単に記述でき、何度もコンパイルする必要がなくなります。

既存のアナログ



アナログはたくさんありますが、それぞれに長所と短所があります。 最も機能的なものを検討してください。





Sikuli-便利な機能の巨大なセット、便利なPythonスクリプト言語と構文、クロスプラットフォーム、いくつかの警告、

しかし、最初のタスクには正確な反応速度が必要であり、テッセラクトのためにほとんどの部分を提供することはできませんでした。

2番目の問題は、Java 1.6にバインドすることです。これにより、タンバリンとダンスすることなく、たとえば1.7または1.8に変換することができなくなります。

Jythonの古いバージョンもあまり満足していませんが、2.5.2はそれほど時代遅れではありません。



そうでなければ、Sikuliは素晴らしいツールです、私は皆にアドバイスします！



AutoIt-スクリプトにBasicを使用します。



フォーラムのKulibinsは、画面上の画像を検索することを可能にしましたが、残念ながら、この機能は不必要な簡素化と多くの制限のために私の要件を満たしていませんでした。

Windowsでのみ動作し、インストールが必要です。



他のマシンで使用するにはコンパイルが必要です; AutoItがインストールされていない場合、スクリプトをすばやく修正する方法はありません。



AutoHotKey-スクリプトを記述するために独自の構文を使用しますが、これはまだ長い間研究する必要がありますが、「恐ろしい」と呼ぶ方が正しいでしょう。 適切な習慣なしに真に分岐したロジックで何かを行うことは困難です。 画面上の画像の検索が切り捨てられすぎており、私のニーズに合っていませんでした。



Linux / Unixシステム用のポートがいくつかあり、インストールが必要です



Clickermann-独自の言語を使用してスクリプトを記述しますが、これはまだ調査する必要があります。 簡素化により、たとえば、同じhttpリクエストなどの機能がカットされました。



ピクセルの基本的な検索はありますが、画面上の画像の検索はありません。



UOPilot-私に合わなかったプロセスに付随して、クリッカーマンのような病気があります。 クロスプラットフォームはなく、大きなスクリプトは書くのに便利ではありません。



また、多くのマクロがあり、そのほとんどは「繰り返し実行」の原則に基づいて動作し、ユーザーアクションを記憶および繰り返します。



そして、残りのものには、画面上のアイコンの検索機能がありませんでした。



Habréのアナログ



私は記事を読みました 、著者はレーザー視力矯正の割引を得るためにボットを作りました。 この記事では、書き込み中に発生する多くの問題について説明します。 これらの問題のほとんどは理解しやすい単純化のために発生し、松葉杖は新しい松葉杖で解決されました。この記事を読むことをお勧めします。



自分の自転車のテクノロジーを選択する



最初からJava SEを使用してカーネル自体を作成することが決定されました。これは、私がJavaを最も頻繁に使用するため、時間の節約になります。 さらに、私はRobotクラスに精通していたため、マウスとキーボードのコントロールを簡単にシミュレートできます。



スクリプトインタープリターを追加する場合、Pythonは非常にシンプルで人気のあるものとして選択されました。 Javaの場合、JVM上で実行され、インストールを必要としないJython実装があります。 さらに、スクリプトから直接Javaクラスおよびオブジェクトを操作できるようになり、ボットのコアにあるものを制限することなく、スクリプトの可能性を大幅に拡大します。



その後、彼はOpenCLを使用してGPGPUを介して画面上の写真の検索を追加しました。JavaにはJOCLの実装がありましたが、それについては後で詳しく説明します。



Swingのグラフィカルインターフェイス。シンプルであると同時に、JREですぐに使用できる機能コンポーネントです。

最初のステップ

Javaには、キーボードのキーストローク、マウスの動き、およびクリックをシミュレートできるRobotクラスがあり、特別な問題はありませんでした。 そこで、mouseMove + mousePress + mouseReleaseを使用してmouseClick（x、y）のようなメソッドでいくつかの機能を拡張し、これらのアクションの間にThread.sleep（ms）を追加し、その後、オーバーロードにより異なる引数を持ついくつかのメソッドを追加しました。 単一のメソッドと同じドラッグアンドドロップ。

public void mouseClick(int x, int y) throws AWTException { mouseClick(x, y, InputEvent.BUTTON1_MASK, mouseDelay); } public void mouseClick(int x, int y, int button_mask) throws AWTException { mouseClick(x, y, button_mask, mouseDelay); } public void mouseClick(int x, int y, int button_mask, int sleepTime) throws AWTException { bot.mouseMove(x, y); bot.mousePress(button_mask); sleep(sleepTime); bot.mouseRelease(button_mask); } public void mouseClick(MatrixPosition mp) throws AWTException { mouseClick(mp.x, mp.y); } public void mouseClick(MatrixPosition mp, int button_mask) throws AWTException { mouseClick(mp.x, mp.y, button_mask); } public void mouseClick(MatrixPosition mp, int button_mask, int sleepTime) throws AWTException { mouseClick(mp.x, mp.y, button_mask, sleepTime); } public MatrixPosition mousePos() { return new MatrixPosition(MouseInfo.getPointerInfo().getLocation()); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

keyClick（）メソッドも同じ方法で追加されました。

 public void keyPress(int key_mask) { bot.keyPress(key_mask); } public void keyPress(int... keys) { for (int key : keys) bot.keyPress(key); } public void keyRelease(int key_mask) { bot.keyRelease(key_mask); } public void keyRelease(int... keys) { for (int key : keys) bot.keyRelease(key); } public void keyClick(int key_mask) { bot.keyPress(key_mask); sleep(keyboardDelay); bot.keyRelease(key_mask); } public void keyClick(int... keys) { keyPress(keys); sleep(keyboardDelay); keyRelease(keys); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらはすべて、スクリプトでのアクションの記述を容易にするために必要でした。 スクリプティングのレベルをより抽象的な「あなたはそれを必要とし、あなたがそれをする」に上げます。



読んで…休みましたか？ そして、さらに進んでいきましょう！



コアの目



次のステップは最も難しく、最も時間がかかりました。画面のスクリーンショットを撮り、事前に準備されたアイコンを見つける機能を追加します。



まず、画面のスクリーンショットを撮る方法と保存する方法は？

第二に、パターン（アイコン）を検索する方法は？

第三に、このパターン（アイコン）はどこで入手できますか？



スクリーンショットを撮るのがそれほど難しくない場合

 public void grab() throws Exception { image = robot.createScreenCapture(screenRect); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

検索で特定の問題が発生したこと、検索のパターンをどこで取得できるか？ 作成しますが、どのように？

最初のパターンを作成するために、PrintScreenを使用して古き良きペイントを使用し、スクリーンショットをエディターにアップロードし、スクリーンショットから小さな断片を切り取り、別の.bmpファイル形式で保存しました。



さて、パターン自体はそこにあり、BufferedImageのコードからロードしました。 BufferedImageにもスクリーンショットが作成されます。検索アルゴリズムを作成する必要があります。 ネットワーク上で、ブルートフォースを実行するオプションに出会いました-小さな画像の最初のピクセル、大きな画像の最初のピクセルを取得し、それらを比較します。ピクセルが同じカラーコードを持っている場合、その点に関連する残りのピクセルをチェックします。 すべてのピクセルが一致する場合、これは目的の画像が見つかったことを意味します。 一致しない場合は、大きな画像から次のピクセルを取得し、アクションを繰り返します。



それはあまり良く聞こえませんが、うまくいきます。

 for (int y = 0; y < screenshot.getHeight() - fragment.getHeight(); y++) { __columnscan: for (int x = 0; x < screenshot.getWidth() - fragment.getWidth(); x++) { if (screenshot.getRGB(x, y) != fragment.getRGB(0, 0)) continue; for (int yy = 0; yy < fragment.getHeight(); yy++) { for (int xx = 0; xx < fragment.getWidth(); xx++) { if (screenshot.getRGB(x + xx, y + yy) != fragment.getRGB(xx, yy)) continue __columnscan; } } System.out.println(“found!”); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

始めて...うまくいきます！ 一致するものが1つ見つかりました！ しかし、かなりゆっくりであり、私たちにはまったく受け入れられません。 getRGB（）メソッドが毎回呼び出され、プロセッサーのキャッシュが非常に非効率的に使用され、私たちにとってこれは純粋なマトリックス検索と言えます。 ピクセルマトリックス！ そのため、スクリーンショットを格納するBufferedImageオブジェクトをint [] []マトリックスに変換することにしました。そのため、目的のフラグメントをint [] []マトリックスに変換し、マトリックスを処理するサイクルを修正します。 開始して...見つかりません。



検索エンジンで回答を積極的に検索した結果、すべての理由がBufferedImageデータが格納されるARGB / RGBA / RGB形式であることが明らかになりました。 スクリーンショットには、BGRフラグメントを含むARGBファイルがありました。







すべてを1つの形式、つまりARGBスクリーンショット形式に縮小しなければなりませんでした。フラグメントをスクリーンショット形式にするのは、毎回スクリーンショット形式にするよりも高速です。 小さいものは大きなフォーマットにつながりますが、これにはかなりの時間がかかりましたが、最終的には動作し、パターンはスクリーンショット上ではるかに速く、ほぼ2倍速く配置され始めました！

 // USED FOR BMP/PNG BUFFERED_IMAGE private int[][] loadFromFile(BufferedImage image) { final byte[] pixels = ((DataBufferByte) image.getData().getDataBuffer()) .getData(); final int width = image.getWidth(); if (rgbData == null) rgbData = new int[image.getHeight()][width]; for (int pixel = 0, row = 0; pixel < pixels.length; row++) for (int col = 0; col < width; col++, pixel += 3) rgbData[row][col] = -16777216 + ((int) pixels[pixel] & 0xFF) + (((int) pixels[pixel + 1] & 0xFF) << 8) + (((int) pixels[pixel + 2] & 0xFF) << 16); // 255 // alpha, r // gb; return rgbData; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さらに、条件のマトリックス行のキャッシュなどの小さな最適化により、検索結果の速度も向上しました。

 public MatrixPosition findIn(Frag b, int x_start, int y_start, int x_stop, int y_stop) { // precalculate all frequently used data final int[][] small = this.rgbData; final int[][] big = b.rgbData; final int small_height = small.length; final int small_width = small[0].length; final int small_height_minus_1 = small_height - 1; final int small_width_minus_1 = small_width - 1; final int first_pixel = small[0][0]; final int last_pixel = small[small_height_minus_1][small_width_minus_1]; int[] row_cache_big = null; int[] row_cache_big2 = null; int[] row_cache_small = null; for (int y = y_start; y < y_stop; y++) { row_cache_big = big[y]; __columnscan: for (int x = x_start; x < x_stop; x++) { if (row_cache_big[x] != first_pixel || big[y + small_height_minus_1][x + small_width_minus_1] != last_pixel) // if (row_cache_big[x] != first_pixel) continue __columnscan; // No first match // There is a match for the first element in small // Check if all the elements in small matches those in big for (int yy = 0; yy < small_height; yy++) { row_cache_big2 = big[y + yy]; row_cache_small = small[yy]; for (int xx = 0; xx < small_width; xx++) { // If there is at least one difference, there is no // match if (row_cache_big2[x + xx] != row_cache_small[xx]) { continue __columnscan; } } } // If arrived here, then the small matches a region of big return new MatrixPosition(x, y); } } return null; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

long vs intのマトリックスのタイプを試してみましたが、最良の結果は、i7 4790の64/32ビットJVM構成の両方でint [] []マトリックスを使用したままでした。

ボットブレーン

つまり、スクリプト部分は便利である必要があり、構文はそれ以上説明することなく明確です。 理想的には、ボットカーネルに埋め込むことができ、ドキュメントが豊富な一般的な言語が適しています。 カーネルAPIの使用は簡単で覚えやすいものでなければなりません。



選択肢はPythonにあり、人気があり、学習しやすく、よく文書化されており、多くの既製のライブラリがあり、最も重要なのは、スクリプトはテキストエディターで簡単に編集できることです！ さらに、私はずっとそれを研究したいと思っていました。



Javaには、Jythonと呼ばれる組み込みPython実装があります。 JVM上で実行され、開始するのに特別なものは必要ありません。文字通りすべてのクラス、Javaライブラリ、および.jarパックを使用できます。 順番に、これは正しい選択に対する自信を強めるだけです。



Jythonをプロジェクトに接続し、インタープリターオブジェクトを作成して、スクリプトファイルを実行します。

 class JythonVM { private boolean isJythonVMLoaded = false; private Object jythonLoad = new Object(); private PythonInterpreter pi = null; public JythonVM() { // TODO Auto-generated constructor stub } void load() { System.out.println("CORE: Loading JythonVM..."); pi = new PythonInterpreter(); isJythonVMLoaded = true; System.out.println("CORE: JythonVM loaded."); synchronized (jythonLoad) { jythonLoad.notify(); } } void run(String script) throws Exception { System.out.println("CODE: Waiting for JythonVM to load"); if (!isJythonVMLoaded) synchronized (jythonLoad) { jythonLoad.wait(); } System.out.println("CORE: Running " + script + "...\n\n"); pi.execfile(script); System.out.println("CORE: Script execution finished."); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトを見てください

 # -*- coding: utf-8 -*- print("hello")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトから、必要なカーネルクラスをロードし、単純にオブジェクトを作成します。 したがって、クラスメソッドをプルできます。つまり、カーネルAPIを使用して必要なアクションを実行できます。



これらのクラスはActionおよびMatrixPositionでしたが、後でタイプFragmentNotLoadedExceptionおよびScreenNotGrabbedExceptionの例外クラスが追加されました



アクション-カーネル機能にアクセスするためのメインクラスとして使用されます。 問題を解決するために必要な余分な行の数を減らすために、スクリプトを記述するプロセスを単純化するように設計された便利なメソッドが含まれています。 同じmouseClick、keyClick、スクリーンショット内のフラグメントの検索、スクリーンショット自体の作成など。



さらに、このクラスの多くのオブジェクトを作成し、それに応じて一度に複数のスレッドで独立して使用できます！



カーネルAPIを使用するために、数行でスクリプトを補完しましょう

 # -*- coding: utf-8 -*- from bot.penguee import Action a = Action() #      API  print("hello") #    ,     a.mouseMove(1000, 500) #       x 1000, y 500
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

MatrixPosition-画面上の座標のラッパーとして使用されます。 この形式では、ボットAPIは座標を返します。 もちろん、すでに必要な機能を備えた既製のPointクラスを思い出します。 ただし、すべてがそれほど単純ではないため、XおよびYフィールドにはpos.getX pos.getYメソッドを介してのみアクセスできます。これにより、スクリプト作成中に多くの不便が生じます。 pos.x pos.yを介してフィールドにアクセスする方がはるかに便利です。 さらに、練習では、位置にも独自の名前が必要であることが示されています。これは、位置を並べ替える（画面の数字をアルファベット順に処理する）などのタスクに必要であることが判明しました。



add、subメソッドを使用して可能性を広げ、現在のオブジェクトの座標を基準にした新しい位置を作成できます。

 # -*- coding: utf-8 -*- from bot.penguee import MatrixPosition, Action a = Action() print("hello") mp = MatrixPosition(1000, 500) print(mp.x, mp.y) a.mouseMove(mp)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その後の改善

パターン座標キャッシュ



検索の統計から、画面上の位置を変更しない静的な画像をほとんど見つける必要があることが明らかになりました。 このため、座標付きのキャッシュが追加されました。 画像がキャッシュにある場合、まずキャッシュされた座標に画像が存在するかどうかがチェックされ、存在しない場合は画面の残りの部分が検索されます。 この小さな詳細により、スクリプトの実行速度が大幅に向上しました。



サービス中のGPGPU



私は常に、大画面でパターンを見つけるプロセスを速くしたかったのですが、アルゴリズムの最適化には限界があります。 これに先立ち、検索プロセス全体がプロセッサ上で行われ、それを別々のスレッドに分割しても、実際の速度は向上しませんが、負荷の問題が一桁増加します。 GPGPUのカーネルコードを記述した経験があるため、OpenCLライブラリをロードし、プロセッサーで使用されたものと同じ検索アルゴリズムを投げました（ビデオカードの最適なソリューションではありません）。



比較のために、画面解像度が1920 * 1080のIntel i7 4790では、プロセッサ検索は最悪の場合（画面の最も遠い隅）で0-12msを費やし、Intel HD 4600では0-2msが安定しています。 ただし、スクリーンショットのマトリックスをビデオカードのメモリにロードする必要があり、時間がかかるため、スクリーンショット自体を作成するより長いプロセスで支払う必要があります。 同時に、これは同じスクリーンショットで多くの異なる写真を検索できるという事実によって補われ、最終的にプロセッサ検索の前にパフォーマンスが向上します。



スレッドセーフ



ストリームを使用し、フラグメントを相互に独立して検索できるようにすることが特に重要です。これにより、スクリプトを記述するときにバグが発生しないように、バッファ、オブジェクトがローカルになります。



クロスプラットフォーム



スクリプトはどのプラットフォームでも同じように機能しますが、例外はコンソールに出力されるテキスト、オペレーティングシステムごとに異なるエンコーディングのみであるため、これは別の問題です。 JVMを使用すると、インストールする必要なく、任意のプラットフォームでボットを実行できます。 「Took and running。」

最終結果

スクリプトから呼び出すことができるカーネルメソッドの数は70個以上あり、その数は常に増加しています。



このツールは、ソフトウェアおよびグラフィカルインターフェイスのテストに適しています。 何かを自動化する必要がある場合に役立ちますが、バイナリを選択するための欲求や十分な知識がありません（enikeesに適しています）。



実際の使用例



明らかな理由から、名前やソースコードは教えません。

• オンラインMMOゲームのオークション用の取引ボットであるリアルタイムボットは、商品の価値と再販による利益の数値を分析し、オーバーレイレイヤーを使用して、利益の数をユーザーの画面に直接書き込みます。
• シングルプレイヤーゲーム用のパッシブマクロは、建物を自動的に改善し、アップグレードボタンの存在を受動的に観察し、コントロールを一瞬傍受し、ごく短時間で目的のボタンをクリックします。
  
  
• Skypeで新しいメッセージを受信すると、プログラムと目的のダイアログのウィンドウが開きます。
  
  
• 従業員の名前によって行われた仕事のオフィスカウント、データはAPIを持たない、またはデータベースに簡単にアクセスできない古いプログラムのインターフェイスから視覚的に取得されます。
  
  
• 1Cからの商品のオフィスカウントでは、EnikeyはAPIとデータベースを直接操作できません。このボットを使用しました。
  
  

GUIボットのレビュー





解析する簡単なスクリプトを書く





YouTubeプレイリスト









Githubリンク

APIリファレンス



UPD：02/28/2019プレイリストが追加され、リンクが更新されました

将来のバージョンでは：

フラグメント形式は、下位互換性を備えて.bmpから.pngに変換されました。



85％90％95％など、類似の（完全ではない）一致の検索が追加されました...



透明性のあるフラグメントの検索が追加されました。フラグメントはどのような形状でもかまいません



クイックスタートを高速化するPython拡張スクリプトを追加しました