👨🏾‍🍳 👎🏿 🔢 Python + pywinautoでデスクトップGUIを自動化する：MS UIオートメーションで友達を作る方法 🐿️ 🕵🏿 👩‍💼

pywinauto Pythonライブラリは、WindowsでデスクトップGUIアプリケーションを自動化するためのオープンソースプロジェクトです。過去2年間で、新しい主要な機能が登場しました。

MS UI Automationテクノロジーのサポート。インターフェイスは同じで、現在サポートされています：WinForms、WPF、Qt5、Windowsストア（UWP）など-Windowsにあるほとんどすべてのもの。
バックエンド/プラグインのシステム（現在、それらのうちの2つが"uia"

あります：デフォルトの"win32"

と新しい"uia"

）。その後、クロスプラットフォームに向けてスムーズに移行します。
Win32マウスおよびキーボードフック（pyKookスタイルのホットキー）。

また、デスクトップオートメーションのオープンソースで利用可能なものについて簡単なレビューを行います（真剣な比較の主張はありません）。

この記事の一部は、ミンスクでのSQA Days 20カンファレンスのレポートの写しです（ビデオとスライド）、一部はpywinautoの入門ガイドのロシア語版です。

この分野のオープンソースの概要から始めましょう。デスクトップGUIアプリケーションの場合、すべてがSeleniumを備えたWebよりもやや複雑です。主なアプローチは次のとおりです。

座標法

クリックポイントをハードコードし、良いヒットを期待します。

[+]クロスプラットフォーム、実装が簡単。

[+]記録再生テスト記録を簡単に記録できます。

[-]画面の解像度、テーマ、フォント、ウィンドウサイズなどを変更するのに最も不安定です。

[-]多大なサポート努力が必要です。多くの場合、テストを最初から再生成するか、手動でテストする方が簡単です。

[-]アクションのみを自動化します;データを検証および取得する他の方法があります。

ツール（クロスプラットフォーム）： autopy 、 PyAutoGUI 、 PyUserInputなど。通常、より高度なツールにはこの機能が含まれます（常にクロスプラットフォームではありません）。

座標法は他のアプローチを補完できると言う価値があります。たとえば、カスタムグラフィックスの場合、（画面全体ではなくウィンドウ/要素の左上隅から）相対座標をクリックできます-これは通常、特に要素全体の長さ/幅を考慮すると非常に信頼性が高くなります（異なる画面解像度は損なわれません）。

別のオプション：安定した設定（クロスプラットフォームではなく、場合によっては適切）で1台のマシンのみをテストするために割り当てる。

参照画像認識

[+]クロスプラットフォーム

[+-]比較的信頼性が高い（座標法よりも優れています）が、依然としてトリックが必要です。

[-+]比較的遅い認識アルゴリズムにはCPUリソースが必要です。

[-]原則として、テキスト認識（OCR）は問題外です=>テキストデータを取得できません。私の知る限り、既存のOCRソリューションはこのタイプのタスクにはあまり信頼性がなく、広く使用されていません（既にそうでない場合はコメントを歓迎します）。

ツール： Sikuli 、 Lackey （Sikuli互換、純粋なPython）、 PyAutoGUI 。

アクセシビリティ技術

[+]最も信頼できる方法。システムまたはフレームワークによってレンダリングされる方法に関係なく、テキストで検索できます。

[+]テキストデータを抽出できます=>テスト結果を確認するのが簡単です。

[+]原則として、最速。ほとんどCPUリソースを消費しません。

[-]クロスプラットフォームツールを作成することは困難です。絶対にすべてのオープンソースライブラリが1つまたは2つのアクセシビリティテクノロジをサポートします。 Windows / Linux / MacOSは、TestComplete、UFT、またはSquishなどの有料のもの以外では完全にサポートされていません。

[-]このような技術は、原則として常に利用できるとは限りません。たとえば、VirtualBox内でブート画面をテストします-ここでは、画像認識なしでは実行できません。ただし、多くの古典的なケースでは、アクセシビリティアプローチが適用されます。彼はさらに議論されます。

ツール：C＃のTestStack.White 、C＃のWinium.Desktop （Selenium互換）、C＃のMS WinAppDriver （Appium互換）、 pywinauto 、 pyatom （ LDTPと互換）、 Python-UIAutomation-for-Windows 、RubyのRAutomation 、 LDTP （ Linux Desktop Testing Project）およびそのWindowsバージョンのCobra 。

LDTPは、アクセシビリティ技術に基づいた、おそらく唯一のクロスプラットフォームのオープンソースツール（より正確には、ライブラリのファミリー）です。ただし、あまり人気はありません。私は自分で使用しませんでしたが、レビューによると、そのインターフェースは最も便利ではありません。肯定的なレビューがある場合は、コメントで共有してください。

バックドアのテスト（別名インナーバイク）

クロスプラットフォームアプリケーションの場合、開発者自身が内部メカニズムを作成してテスト容易性を提供することがよくあります。たとえば、アプリケーションでサービスTCPサーバーを作成し、テストTCPに接続し、テキストコマンドを送信します。クリックするもの、データを取得する場所など。信頼できますが、普遍的ではありません。

主要なデスクトップアクセシビリティテクノロジー

古き良きWin32 API

WPFのリリース前に作成されたWindowsアプリケーションのほとんどは、Win32 APIを使用して構築されます。つまり、MFC、WTL、C ++ Builder、Delphi、VB6-これらすべてのツールはWin32 APIを使用します。 Windows Formsでさえ、主にWin32 API互換です。

ツール： AutoIt （VBに類似）およびPythonラッパーpyautoit 、 AutoHotkey （ネイティブ言語、IDispatch COMインターフェイスがあります）、 pywinauto （Python）、 RAutomation （Ruby）、 win32-autogui （Ruby）。

Microsoft UIオートメーション

主な利点：MS UIオートメーションテクノロジは、ほとんどのWindows GUIアプリケーションをほとんど例外なくサポートします。問題：Win32 APIよりも簡単に学ぶことはできません。そうでなければ、誰もそれをラップしなかったでしょう。

実際、これはカスタムCOMインターフェイス（主にUIAutomationCore.dll ）のセットであり、 namespace System.Windows.Automation

形式の.NETシェルも持っています。ところで、いくつかのUI要素がスキップされる可能性があるため、バグが導入されています。したがって、UIAutomationCore.dllを直接使用することをお勧めします（C＃でUiaComWrapperについて聞いた場合、これがこれです）。

COMインターフェイスの種類：

（1）基礎となるIUknownは「すべての悪の根源」です。最低レベル、決してユーザーフレンドリーではありません。

（2）Pythonでwin32com.clientパッケージ（pyWin32に付属）を使用して使用できるIDispatchおよび派生物（ Excel.Application

など）。最も便利で美しいオプション。

（3）サードパーティのPython comtypesパッケージで使用できるカスタムインターフェイス。

ツール：C＃のTestStack.White、 pywinauto 0.6.0 + 、C＃のWinium.Desktop 、 Python-UIAutomation-for-Windows （UIAutomationCore.dllのラッパーラッパーのソースコードを開かない）、RubyのRAutomation 。

AT-SPI

Linuxファミリーのほぼすべての軸がX Window Systemで構築されているという事実にもかかわらず（Fedora 25では「X」はWaylandに変更されました）、「X」ではトップレベルウィンドウとマウス/キーボードのみで操作できます。ボタン、シートボックスなどの詳細な分析には、AT-SPIテクノロジがあります。最も一般的なウィンドウマネージャには、AT-SPIレジストリデーモンと呼ばれるものがあり、アプリケーション用の自動GUIを提供します（少なくともQtとGTKがサポートされています）。

ツール： pyatspi2

私の意見では、pyatspi2にはPyGObjectのような依存関係が多すぎます。テクノロジー自体は、通常の動的ライブラリlibatspi.so

形式で利用できます。リファレンスマニュアルがあります。 pywinautoライブラリの場合、次のようにAT-SPIサポートを実装する予定です。libatspi.soダウンロードおよびctypesモジュールを介して。 GTK +とQtアプリケーションではわずかに異なるため、適切なバージョンを使用する場合にのみ小さな問題があります。 Linuxを完全にサポートするpywinauto 0.7.0のリリースは、2018年前半に予定されています。

Apple Accessibility API

MacOSには独自のAppleScriptオートメーション言語があります。もちろん、Pythonで同様のものを実装するには、ObjectiveCの関数を使用する必要があります。 MacOS 10.6以降、pyobjcパッケージはプリインストールされたpythonに含まれています。これにより、pywinautoで将来サポートするための依存関係リストも容易になります。

ツール：Apple Script言語に加えて、 ATOMac （別名pyatom）にも注意する必要があります。 LDTPと互換性のあるインターフェイスですが、スタンドアロンライブラリでもあります。私の学生が書いたmacOでのiTunesオートメーションの例があります。既知の問題があります：柔軟なタイミングが機能しません（ waitFor*

メソッド）。しかし、一般的には良いことです。

pywinautoを開始する方法

最初のステップは、GUIオブジェクトのインスペクター（いわゆるスパイツール）を装備することです。内部からアプリケーションを調査するのに役立ちます。要素の階層の配置方法、使用可能なプロパティ。最も有名なオブジェクト検査官：

Spy ++ -ExpressまたはCommunity Editionを含むVisual Studioに含まれています。 Win32 APIを使用します。 AutoIt Window Infoもそのクローンで知られています。
Inspect.exe -Windows SDKに含まれています。インストール済みの場合、64ビットWindowsでは、フォルダーC:\Program Files (x86)\Windows Kits\<winver>\bin\x64

ます。インスペクタ自体で、MS AA（アクティブアクセシビリティ、UIオートメーションの祖先）ではなくUIオートメーションモードを選択する必要があります。

アプリケーションを徹底的に啓発し、使用するバックエンドを選択します。 Applicationオブジェクトの作成時にバックエンドの名前を指定するだけで十分です。

backend = "win32" -デフォルトで使用されますが、MFC、WTL、VB6、およびその他のレガシーアプリケーションでうまく機能します。
backend = "uia" -MS UIオートメーションの新しいバックエンド：WPFおよびWinFormsと完全に連携します。 DelphiおよびWindowsストアアプリにも適しています。 Qt5および一部のJavaアプリケーションで動作します。一般に、Inspect.exeが要素とそのプロパティを見る場合、このバックエンドが適しています。原則として、ほとんどのブラウザーはUIオートメーションもサポートしています（Mozillaがデフォルトであり、Chromeは起動時にコマンドライン--force-renderer-accessibility

をフィードしてInspect.exeのページのアイテムを表示する必要があります）。もちろん、この分野でのセレンとの競争はほとんど不可能です。ブラウザーを操作するもう1つの方法（製品間のシナリオでは便利かもしれません）。

自動化のエントリポイント

アプリケーションはよく理解されています。 Applicationオブジェクトを作成して起動するか、すでに実行中のオブジェクトに参加します。これは、標準のsubprocess.Popen

クラスの単なるクローンではなく、すべてのアクションをプロセスの境界に制限する導入オブジェクトです。これは、アプリケーションの複数のインスタンスが実行されているが、残りのインスタンスには手を加えたくない場合に非常に便利です。

 from pywinauto.application import Application app = Application(backend="uia").start('notepad.exe') #  ,      Notepad.exe dlg_spec = app.UntitledNotepad #      actionable_dlg = dlg_spec.wait('visible')

一度に複数のアプリケーションを管理する場合は、 Desktop

クラスが役立ちます。たとえば、Win10の計算機では、要素の階層が（ calc.exe

だけでなく）複数のプロセスに広がっていcalc.exe

。そのため、 Desktop

オブジェクトがなければできません。

 from subprocess import Popen from pywinauto import Desktop Popen('calc.exe', shell=True) dlg = Desktop(backend="uia").Calculator dlg.wait('visible')

ルートオブジェクト（ Application

またはDesktop

）は、バックエンドを指定する必要がある唯一の場所です。それ以外のすべては、「仕様->ラッパー」の概念で透過的に規定されています。これについてはさらに説明します。

ウィンドウ/アイテムの仕様

これは、pywinautoインターフェースが構築される基本概念です。ウィンドウ/要素は、存在しない場合や既に閉じている場合でも、おおよそまたはより詳細に説明できます。ウィンドウ仕様（ WindowSpecificationオブジェクト）は、実際のウィンドウまたは要素を検索する基準を保存します。

詳細なウィンドウ仕様の例：

 >>> dlg_spec = app.window(title='Untitled - Notepad') >>> dlg_spec <pywinauto.application.WindowSpecification object at 0x0568B790> >>> dlg_spec.wrapper_object() <pywinauto.controls.win32_controls.DialogWrapper object at 0x05639B70>

ウィンドウ自体は、 .wrapper_object()

メソッドを呼び出すことで検索されます。実際のウィンドウ/要素に対して一種の「ラッパー」を返すか、 ElementNotFoundError

スローします（複数の要素が見つかった場合、つまり、検索条件を絞り込む必要がある場合はElementAmbiguousError

スローします）。この「ラッパー」は、要素に対して何らかのアクションを実行する方法、または要素からデータを取得する方法をすでに知っています。

Pythonは.wrapper_object()

呼び出しを非表示にして、最終コードを短くすることができます。デバッグのみに使用することをお勧めします。次の2行はまったく同じことを行います。

 dlg_spec.wrapper_object().minimize() # debugging dlg_spec.minimize() # production

ウィンドウを指定するための多くの検索条件があります。以下に例を示します。

 #     app.window(title_re='.* - Notepad$').window(class_name='Edit') #    ( AND)       dlg = Desktop(backend="uia").Calculator dlg.window(auto_id='num8Button', control_type='Button')

可能なすべての基準のリストは、 pywinauto.findwindows.find_elements（...）関数のドックにあります。

属性およびキーアクセスマジック

Pythonを使用すると、ウィンドウの仕様を簡単に作成でき、オブジェクトの属性を動的に認識できます（ __getattribute__

メソッドは内部で再定義されます）。もちろん、属性の名前には、変数の名前と同じ制限が適用されます（スペース、コンマ、またはその他の特殊文字は挿入できません）。幸いなことに、pywinautoは、いわゆる「ベストマッチ」検索アルゴリズムを使用します。これは、タイプミスや小さな変動に対して堅牢です。

 app.UntitledNotepad #   ,  app.window(best_match='UntitledNotepad')

Unicode文字列（ロシア語など）、スペースなどが引き続き必要な場合は、キーアクセスを実行できます（通常の辞書のように）。

 app['Untitled - Notepad'] #   ,  app.window(best_match='Untitled - Notepad')

マジックネームの5つのルール

参照マジック名を見つける方法は？検索前にアイテムに割り当てられたもの。標準に非常に類似した名前を指定すると、要素が見つかります。

タイトル別（テキスト、名前）： app.Properties.OK.click()
テキストおよび要素タイプ別： app.Properties.OKButton.click()
タイプと番号別： app.Properties.Button3.click()

（名前Button0

とButton1

最初に見つかった要素に結び付けられ、 Button2

は2番目にButton2

られ、順番に-これは歴史的に）
静的テキスト（左または上）およびタイプ別： app.OpenDialog.FileNameEdit.set_text("")

（動的テキストを持つ要素に有用）
タイプ別およびテキスト内： app.Properties.TabControlSharing.select("General")

通常、2つまたは3つのルールが同時に適用されますが、まれに適用されます。各要素で使用可能な特定の名前を確認するには、 print_control_identifiers（）メソッドを使用できます。画面とファイルの両方に要素のツリーを印刷できます。各要素について、その参照マジック名が出力されます。そこから、子要素のより詳細な仕様を貼り付けることもできます。スクリプトの結果は次のようになります。

 app.Properties.child_window(title="Contains:", auto_id="13087", control_type="Edit")

要素のツリー自体は通常、かなり大きなフットクロスです。

 >>> app.Properties.print_control_identifiers() Control Identifiers: Dialog - 'Windows NT Properties' (L688, T518, R1065, B1006) [u'Windows NT PropertiesDialog', u'Dialog', u'Windows NT Properties'] child_window(title="Windows NT Properties", control_type="Window") | | Image - '' (L717, T589, R749, B622) | [u'', u'0', u'Image1', u'Image0', 'Image', u'1'] | child_window(auto_id="13057", control_type="Image") | | Image - '' (L717, T630, R1035, B632) | ['Image2', u'2'] | child_window(auto_id="13095", control_type="Image") | | Edit - 'Folder name:' (L790, T596, R1036, B619) | [u'3', 'Edit', u'Edit1', u'Edit0'] | child_window(title="Folder name:", auto_id="13156", control_type="Edit") | | Static - 'Type:' (L717, T643, R780, B658) | [u'Type:Static', u'Static', u'Static1', u'Static0', u'Type:'] | child_window(title="Type:", auto_id="13080", control_type="Text") | | Edit - 'Type:' (L790, T643, R1036, B666) | [u'4', 'Edit2', u'Type:Edit'] | child_window(title="Type:", auto_id="13059", control_type="Edit") | | Static - 'Location:' (L717, T669, R780, B684) | [u'Location:Static', u'Location:', u'Static2'] | child_window(title="Location:", auto_id="13089", control_type="Text") | | Edit - 'Location:' (L790, T669, R1036, B692) | ['Edit3', u'Location:Edit', u'5'] | child_window(title="Location:", auto_id="13065", control_type="Edit") | | Static - 'Size:' (L717, T695, R780, B710) | [u'Size:Static', u'Size:', u'Static3'] | child_window(title="Size:", auto_id="13081", control_type="Text") | | Edit - 'Size:' (L790, T695, R1036, B718) | ['Edit4', u'6', u'Size:Edit'] | child_window(title="Size:", auto_id="13064", control_type="Edit") | | Static - 'Size on disk:' (L717, T721, R780, B736) | [u'Size on disk:', u'Size on disk:Static', u'Static4'] | child_window(title="Size on disk:", auto_id="13107", control_type="Text") | | Edit - 'Size on disk:' (L790, T721, R1036, B744) | ['Edit5', u'7', u'Size on disk:Edit'] | child_window(title="Size on disk:", auto_id="13106", control_type="Edit") | | Static - 'Contains:' (L717, T747, R780, B762) | [u'Contains:1', u'Contains:0', u'Contains:Static', u'Static5', u'Contains:'] | child_window(title="Contains:", auto_id="13088", control_type="Text") | | Edit - 'Contains:' (L790, T747, R1036, B770) | [u'8', 'Edit6', u'Contains:Edit'] | child_window(title="Contains:", auto_id="13087", control_type="Edit") | | Image - 'Contains:' (L717, T773, R1035, B775) | [u'Contains:Image', 'Image3', u'Contains:2'] | child_window(title="Contains:", auto_id="13096", control_type="Image") | | Static - 'Created:' (L717, T786, R780, B801) | [u'Created:', u'Created:Static', u'Static6', u'Created:1', u'Created:0'] | child_window(title="Created:", auto_id="13092", control_type="Text") | | Edit - 'Created:' (L790, T786, R1036, B809) | [u'Created:Edit', 'Edit7', u'9'] | child_window(title="Created:", auto_id="13072", control_type="Edit") | | Image - 'Created:' (L717, T812, R1035, B814) | [u'Created:Image', 'Image4', u'Created:2'] | child_window(title="Created:", auto_id="13097", control_type="Image") | | Static - 'Attributes:' (L717, T825, R780, B840) | [u'Attributes:Static', u'Static7', u'Attributes:'] | child_window(title="Attributes:", auto_id="13091", control_type="Text") | | CheckBox - 'Read-only (Only applies to files in folder)' (L790, T825, R1035, B841) | [u'CheckBox0', u'CheckBox1', 'CheckBox', u'Read-only (Only applies to files in folder)CheckBox', u'Read-only (Only applies to files in folder)'] | child_window(title="Read-only (Only applies to files in folder)", auto_id="13075", control_type="CheckBox") | | CheckBox - 'Hidden' (L790, T848, R865, B864) | ['CheckBox2', u'HiddenCheckBox', u'Hidden'] | child_window(title="Hidden", auto_id="13076", control_type="CheckBox") | | Button - 'Advanced...' (L930, T845, R1035, B868) | [u'Advanced...', u'Advanced...Button', 'Button', u'Button1', u'Button0'] | child_window(title="Advanced...", auto_id="13154", control_type="Button") | | Button - 'OK' (L814, T968, R889, B991) | ['Button2', u'OK', u'OKButton'] | child_window(title="OK", auto_id="1", control_type="Button") | | Button - 'Cancel' (L895, T968, R970, B991) | ['Button3', u'CancelButton', u'Cancel'] | child_window(title="Cancel", auto_id="2", control_type="Button") | | Button - 'Apply' (L976, T968, R1051, B991) | ['Button4', u'ApplyButton', u'Apply'] | child_window(title="Apply", auto_id="12321", control_type="Button") | | TabControl - '' (L702, T556, R1051, B962) | [u'10', u'TabControlSharing', u'TabControlPrevious Versions', u'TabControlSecurity', u'TabControl', u'TabControlCustomize'] | child_window(auto_id="12320", control_type="Tab") | | | | TabItem - 'General' (L704, T558, R753, B576) | | [u'GeneralTabItem', 'TabItem', u'General', u'TabItem0', u'TabItem1'] | | child_window(title="General", control_type="TabItem") | | | | TabItem - 'Sharing' (L753, T558, R801, B576) | | [u'Sharing', u'SharingTabItem', 'TabItem2'] | | child_window(title="Sharing", control_type="TabItem") | | | | TabItem - 'Security' (L801, T558, R851, B576) | | [u'Security', 'TabItem3', u'SecurityTabItem'] | | child_window(title="Security", control_type="TabItem") | | | | TabItem - 'Previous Versions' (L851, T558, R947, B576) | | [u'Previous VersionsTabItem', u'Previous Versions', 'TabItem4'] | | child_window(title="Previous Versions", control_type="TabItem") | | | | TabItem - 'Customize' (L947, T558, R1007, B576) | | [u'CustomizeTabItem', 'TabItem5', u'Customize'] | | child_window(title="Customize", control_type="TabItem") | | TitleBar - 'None' (L712, T521, R1057, B549) | ['TitleBar', u'11'] | | | | Menu - 'System' (L696, T526, R718, B548) | | [u'System0', u'System', u'System1', u'Menu', u'SystemMenu'] | | child_window(title="System", auto_id="MenuBar", control_type="MenuBar") | | | | | | MenuItem - 'System' (L696, T526, R718, B548) | | | [u'System2', u'MenuItem', u'SystemMenuItem'] | | | child_window(title="System", control_type="MenuItem") | | | | Button - 'Close' (L1024, T519, R1058, B549) | | [u'CloseButton', u'Close', 'Button5'] | | child_window(title="Close", control_type="Button")

場合によっては、ツリー全体の印刷が遅くなる場合があります（たとえば、iTunesでは1つのタブに既に3000個の要素があります！）、しかしdepth

パラメーターを使用できます： depth=1

要素自体、 depth=2

直接の子のみなど。 child_window

作成するときに仕様で指定することもできます。

例

リポジトリ内のサンプルのリストを常に更新しています。最近のもののうち、WireSharkネットワークアナライザーの自動化に注目する価値があります（これはQt5アプリケーションの良い例です。ただし、scapyがあるため、このタスクはGUIなしで解決できます。Pythonパッケージscapyのスニファーです）。リボンツールバーを使用したMSペイントオートメーションの例もあります。

私の学生によって書かれた別の優れた例：ファイルをexplorer.exeからGoogleドライブのChromeページにドラッグアンドドロップします（少し後でメインリポジトリに転送されます）。

そして、もちろん、キーボードイベント（ホットキー）とマウスをサブスクライブする例：

hook_and_listen.py

謝辞

プロジェクトの開発を絶えず支援してくれている人々に感謝します。私とバレンタインにとって、これは常に趣味です。 UNNからの私の学生のうちの2人は最近、この主題に関して学士号を擁護しました。 AlexanderはMS UIオートメーションのサポートに多大な貢献をし、最近ではテキストプロパティ（これが最も難しい機能です）に基づく「記録再生」原理に基づいた自動コードジェネレーターの作成を開始しました。 Linux AT-SPI ( mouse

keyboard

python-xlib — 0.6.x).

Python, - , . - . . (QuantifiedCode, Codacy Landscape) ( AppVeyor) 95%.

, , !

追加のリソース

StackOverflow ( SO ) . Gitter' .

open-source GUI . Autohotkey ( ) PyAutoGUI ( Al Sweigart: "Automate the Boring Stuff with Python" ).

Python + pywinautoでデスクトップGUIを自動化する：MS UIオートメーションで友達を作る方法

座標法