Sikuli-GUIスクリーンショットを使用して何でもプログラム

おとぎ話

あなたが毎日バスで仕事をする不幸なプログラマであり、そのスケジュールを予測することは不可能であると想像してください。 このような状況では、自宅で朝食をとりながら、5分後にバスが停車することを知らせるSMSを電話で受信すると非常に便利です。



幸いなことに、運輸会社（明確なスケジュールを立てることを気にしませんでした）には、Googleマップを使用してリアルタイムでバスの現在位置を確認できるWebサイトが含まれています。 そして、ある晴れた日、あなたの忍耐が壊れて、あなたはその切望されたSMS-kuを送るスクリプトを書くために座ります。 しかし、それはそれほど単純ではありません。 地図上の停留所とその上の小さな円で実際の車両の速度と到着時間を評価するには、長い時間をいじくり回す必要があります。 「この地点が地図上のこの長方形に該当するときにSMSを受け取りたい」と書くことはできません。 それともまだできますか？

「神の目」

それが、シクリがメキシコのウイチョル族の言語からどのように翻訳されるかです。



Sikuli-画像（スクリーンショット）に基づくGUI要素を使用した作業の検索および自動化のためのテクノロジー。 このプロジェクトの著者は、 ロブミラー （マサチューセッツ工科大学教授）、 ツングチャンチャン （マサチューセッツ工科大学卒業生）、トムヤー（メリーランド大学の学生）です。 彼らのプロジェクトは、ACM（Association for Computing Machinery）の後援の下で開催された会議「User Interface Software and Technology」で最高の学生作品でした。



それでは、シクリとは何ですか？ 実際、これはユーザーインターフェイスでの作業を自動化するスクリプトを（Pythonで）作成できるAPIです。 大きな利点は、使用するアプリケーションのソースコードにアクセスする必要がないことです。 GUIの特定の要素を検索するために、Sikuliはそれらのスクリーンショットのみを使用し、マウスクリックやキーボード入力などのユーザーアクションをエミュレートするアプリケーションを制御します。 その結果、Sikuliがインストールされているオペレーティングシステム上のすべてのアプリケーションを完全に自動化できます。



すべてを言葉で説明するのは簡単ではないため、インターネット接続を個別に設定するスクリプトの断片を示します。







さらに、これは図やプレゼンテーションの一部ではありません。 これはスクリプトコードそのものです。 あなたについては知りませんが、 ボタンの画像を渡すことができませんでした=）

IDE

このようなスクリプトは、通常のテキストエディターでは書かれていないことは明らかです。 したがって、開発者は非常に簡潔な（ただし改善が必要な）プログラミング環境-Sikuli IDEを作成しました。



メインウィンドウは次のようになります。





ツールバーは、プログラマーに選択可能な5つのアクションを提供します。

1. -画面領域を選択すると、スクリプトで奇跡的に文字列になります（そう言えば）。
2. -後でスクリプトで使用するために画像をアップロードします。
3. -インターフェイス要素の検索領域を狭めるために、幾何学的な領域（画面の長方形の領域）を定義します。
4. -スクリプトの実行。
5. -一種のデバッグ。 スクリプトを実行し、そのすべてのアクションを表示します。

ソース（スクリーンショットの束、テキストPythonスクリプト、HTMLのスクリプトのビジュアルバージョン）の形式で創造性を保存するか、実行可能なsklスクリプトにエクスポートできます。 この種のスクリプトは、マウスをダブルクリックして実行できます（Macのみ！）、または次のようになります。

1. Mac：/Applications/Sikuli-IDE.app xxx.sklを開きます
2. Windows：PATH-TO-SIKULI / sikuli-ide.bat xxx.skl
3. Linux：PATH-TO-SIKULI / sikuli-ide.sh xxx.skl

Mac OS X 、 Linux、およびWindowsに Sikuli IDEをインストールでき ます 。 Jythonはインタープリターとして機能するため、Java 5以降が動作する必要があります。

Sikuli API

開発者が提供するAPIに関するいくつかの言葉。 KeyとVDictの 2つのクラスのみが含まれます。 1つ目は、Enter、Tab、Homeなどの特別な（非シンボリック）キーの定数のセットです。 2番目は、画像をキーとして使用するpython辞書の類似物です。 さらに、数十の関数が開発者に自由に使用でき、そのほとんどはパラメーターとしてイメージパラメーター（インターフェイス要素のスクリーンショット）を受け取ります。 それらのいくつかを次に示します。

• click（img、modifiers = 0） -img（ファイル名または直接スクリーンショット）に最も近い画面の領域をクリックします。 検索は、find（img）関数を使用して実行されます。 modifiers-キーボード修飾子マスク
• closeApp（app）-appというアプリケーションを閉じます
• ホバー（img）-imgに最も類似した画面領域を見つけてホバーします
• popup（msg） -メッセージmsgを含むダイアログボックスを表示します
• switchApp（アプリ） - アプリにフォーカスを与えます。 実行中のアプリケーションの中にアプリ名が見つからない場合、openApp（app）が自動的に呼び出されます。 （Windowsでは、検索はアプリケーションの名前ではなく、タイトルバーのテストによって行われます）
• type（* args） -入力のテスト（ここでは、Enterキーを押すなど、Keyクラスが役立つ場合があります）
• untilNotExist（img、タイムアウト= 3000）-imgイメージが画面から消えるまで待機します。 タイムアウト-ミリ秒単位の待機時間

したがって、スクリプトは通常のコンピューターユーザーが実行できることをすべて実行できます。

GUIの単体テスト

Sikuliのもう1つの可能性（そしておそらくもっと深刻なもの）は、インターフェイスをテストするためのスクリプトを書くことです。



繰り返しになりますが、Sikuli IDEの開発者は、タスクを完了するために必要なコードサイズを削減しようとしました。 テストコードはjunit.framework.TestCaseから派生したpythonクラスに自動的にラップされ、開発者は標準メソッドsetUp（）、tearDown（）、およびメソッドの直接テストのみを実装できます。



テストパネルへのアクセスは、メニュー項目の[表示] / [単体テスト ]を使用するか、Ctrl + Uの組み合わせを使用して取得できます。 その中に、テストを開始する「実行」ボタンがあります。

個人的な印象

このプロジェクトは間違いなく興味深いものです。 これまでのところ、ベータ版のみがあり、パフォーマンスとコントロールの検索の実装の両方の点でさらに多くの改善が必要です。



iTunesを起動し、ポッドキャストを強制的に更新し、接続されたiPodを同期し、抽出してiTunesを閉じるために作成したスクリプトは、まだタスクを完了していません。 代わりに、彼はiTunesを起動し、オーディオブック（おそらく彼は何かを探していたのでしょうか？）を調べ、iPodをすぐに取り出してプログラムを閉じました=）



シンプルだがあまり役に立たないタスクで、Sikuliの助けを借りて、私はまだ解決することができました。 スクリプトは、FirefoxのGoogleツールバーを介してGoogleグリーティングを個別に送信できました。 すぐではありませんが。 さらに検索するために、入力フィールドを探すために画面のどの部分で情報を提供する必要がありました。 そうでなければ、彼はアドレスバーに「こんにちは」と入力しようとし、私を忘れて、World Wide Webの荒野に飛び込みました。



バスに戻ると、現時点ではこの問題をそれほど簡単に解決することはおそらく不可能だと言えます。 しかし、Sikuliプロジェクトはプログラミングへの新しいアプローチの始まりであり、そのようなアクションを自動化する前例のない機会をすぐに開くでしょう。 おそらく、このアプローチはそれほど深刻に見えませんが、これは役に立たないという意味ではありません。 しかし、さらに本格的なプログラミングを好む場合は、旗を手にしています。この素晴らしいオープンソースプロジェクトに貢献してください。 実際、そのような外部の単純さの背後には、Sikuliの非常に複雑な実装があります。

デモビデオ

以下は、Sikuli IDEでの作業を示す公式ビデオです。

「参照」

Python411ポッドキャストシリーズは、最も重要なリンクではありませんが、Sikuliプロジェクトを初めて知ったリンクです（最新リリースで説明されているのはそれについてです）。 アマチュアプログラマーによる興味深いPythonポッドキャスト。



Sikuli Project Official Site-プロジェクトの公式サイト 。 デモを見て、Sikuli IDEのソースコードとOSのインストーラーをダウンロードし、もちろんドキュメントを読むことができます。



画像駆動コンピューティングは、技術とプロジェクトの主な目標に関する入門記事です。 そこから「おとぎ話」がバスやトピックの他の断片について借用されました。



LaunchpadのSikuli-プログラマー向けのプロジェクトに関するより詳細な情報：ソースコード、リリース、バグレポート、開発者に連絡する能力。 リンクのthe_tosterに感謝します。



さて、結論： TwitterのSikuli 。 それらに従ってください。



PS

記事に関する建設的なコメントとタイプミスに関するバグレポートを受け取ることができてうれしいです。 薬物の形でのみ望ましい。