Sikuliを使用してドキュメントスナップショットのクリーニングを自動化する

少し前に、長年の解説を本格的なトピックに拡張するように頼まれました。 それだけでは十分に面白いとは思いませんが、便利な機能と快適な機能を組み合わせて、1つの好奇心tool盛なツールと知り合いになるのはいかがですか。そのニュースは最近ITリソース全体に広がっています。

問題

このトピックのフレームワークで解決する主なタスクは、印刷、コンパクトストレージ、djvuでのパッケージ化などのために、書面（書籍、講義など）のスキャンと写真の準備です。

PhotoshopおよびFineReaderは考慮されません。 それらは多くの便利なツールを提供しますが、一般的に言えばお金がかかります。

スキャナーを使用すると、通常はすべてシンプルです。十分な品質の画像が得られるため、最小限の処理を実行できます。

写真でもっと面白い：照明の問題と幾何学的な歪みが追加されます。 残念ながら、少なくとも自動化するための幾何学的歪みの補正は困難です。 しかし、照明と背景があれば、戦うことはかなり可能です。 何をしますか。

ツール

Paint.NETは、レイヤーとフィルターをサポートするWindows用のラスターグラフィックエディターです。

Sikuliは基本的に、グラフィカルインターフェイスとの対話を自動化するためのツールです。 さらに、アプリケーションをテストするための追加機能がありますが、この記事ではそれらに触れません。 Paint.NETでマクロが完全にサポートされていないことを補うために、Sikuliを使用します。

Sikuliの主なキラー機能は、作成されたスクリプトの可視性と単純さである必要があります 。 これは、「見えるものはその仕組み」です。 確かに、プロジェクトの全体的な湿気は印象をいくらか台無しにします。 バージョン0.09で作業しました。 最近リリースされたバージョン0.10では、メインのレーキは削除されましたが、エディターの[元に戻す]機能など、多くの通常の機能はまだありません。

ところで、私は最近QAliberプロジェクトに出会いました。 どうやら、テストされたインターフェイスとの相互作用および全体的な洗練の点で多くの利点があります。 しかし、可視性...一般的には、違いを見て感じることができます:)おそらく、私は時々QAliberを使用しようとします。

Sikuliアーキテクチャには、さまざまな言語で記述されたいくつかのレイヤーが含まれます。

• 最上位はJython APIです。 本質的に、SikuliスクリプトはPythonプログラムであり、Jython APIによって提供される機能にアクセスします。 （各プロジェクトは％scriptname％.sikuliフォルダーに格納されています。フォルダー内には％scriptname％.pyファイルとPNG画像があります。）著者は、JVMの上で実行される他の言語でトップレベルを実装する可能性に言及します。 Sikuli Java APIをプログラムから直接操作できます。
• 中間層はJava APIです。 キーボードとマウスで動作し、OpenCVライブラリと対話して、画面上の特定のグラフィックパターンを検索します。
• したがって、プラットフォーム依存の下位レベルは、C / C ++で実装されたOpenCVライブラリです。

筆者とはあまり似ていないアーキテクチャを説明しましたが、主なことは、システムのアイデアを得ることができることです。

理論

実際、タスクはノイズから有用な信号を分離することなので、適切なアナロジーを使用してアイデアを説明できます。バンドパスフィルターとアクティブノイズリダクションシステムです。



単純なしきい値フィルターはバンドパスフィルターのように機能し、特定の境界線より下の明るさのピクセルを「カット」します（明るさを0に設定し、他のすべての明るさを255に設定します）。 より高度なレベルでは、値がスムーズに変化する2つの境界が設定されます。

画像内の明るさが広範囲にわたって変化する場合、バンドパスフィルターのみを使用しても、有用な信号を失うことなくノイズが「カットオフ」されることはありません。 より巧妙な方法が必要です。



簡単に言えば、アクティブノイズリダクションシステムの動作原理は、「（信号+ノイズ）-（ノイズ）=（信号）」と表現できます。

（信号+ノイズ）は私たちの写真です。 （ノイズ）は背景で、テキストを除くすべてのものです。 （信号）は、したがって、テキストです。

最初は（信号+ノイズ）しかありませんが、この場合、有用な信号（テキスト）の特定のプロパティを使用すると、ノイズ（ノイズ）を簡単に取得できます。細い線で構成されます。

画像が空白のシートのように見えるように、テキストを穏やかに「ぼかす」フィルターを選択する必要があります。 このようなフィルターとしては、 Median Blur （何らかの理由でPaint.Net でノイズを処理する手段として[ ノイズ ]メニューにあります）が適しています。これを逆の目的で使用し、有用な信号を削除します。

確かに、イラストでは物事はそれほどスムーズではない場合があり、それらは個別に処理する必要があります...



アクションのアルゴリズムは次のとおりです。

1. テキストなしできれいな背景を得るために、元の画像に中央値ぼかしフィルターを適用します。
2. 元の画像と段落1で取得した画像の差を計算します。
3. 段落2で取得した画像を反転します（白い背景に暗いテキストが必要です）。
4. レベルフィルターを適用してコントラストを均一にし、アイテム1-2の後に残ったわずかなノイズを取り除きます。

美しいスキームやイラストがあったかもしれませんが、それでも私は自分の完璧主義をデザイン能力と調和させることはできませんでした（むしろ、彼らの不在）。 意味が非常に透明で、写真がないことを願っています。

自動化

したがって、自動化のタスクは、Sikuliを使用して、記述されたアルゴリズムを使用してPaint.NETで一連の画像を順番に開いて処理することです。

事前に画像フォルダを開いて、Sikuliにアイコンを表示させ、コンテキストメニューからPaint.NETを起動するよりも良い方法は思いつきませんでした...



Sikuli IDEを開き、必要な変数を宣言して新しいスクリプトを開始します。

patterns = [ , , ]

openwith_img =

paintnet_img =

waitfor_img =

edited_text = "_edited"

base_timeout = 30000

negation_mode =

difference_mode =

• パターン -処理するファイル形式の画像を含む配列。
• openwith_img 、 paintnet_img-クリックするコンテキストメニュー項目。
• waitfor_img-Paint.NETを開く操作には時間がかかり、このフラグメントが画面に表示されると完了したと見なされます。
• edited_text-処理されたファイルの名前に追加される接尾辞。
• base_timeout-必要に応じてスクリプト全体でタイムアウトを変更しないように、リソースを集中的に使用するすべての操作のタイムアウトの基本値（ミリ秒単位）。
• negation_mode 、 difference_mode-スクリプトを書いている間、これらの2つのレイヤーブレンドモードを試していました。 したがって、変数として宣言するのが便利でした。

ここでは、Sikuliアプローチの基本的な問題、つまりスクリプトの移植性の制限に注意する必要があります。

ほぼ確実に異なるグラフィック形式のアイコンがあります。 スクリプトに自分で追加する必要があります。 残りの画像は、OSと使用されるレイアウト（VisualStyle）の影響を受ける場合があります。 私の場合、これらはb0seのWindows XPおよびOpus OSです。



すべての必要な機能が続きます。

def OpenWith (x, y, w):

rightClick(x)

click(openwith_img)

click(y)

wait(w, timeout = base_timeout *3 )

コンテキストメニューからファイルを開きます。 関数は、ファイルアイコン、必要なアプリケーション（Paint.NETなど）に対応するメニュー項目、および画面の表示がダウンロードの完了に対応するフラグメントの3つのパターンを受け取る必要があります。

変数名の役に立たないユーザーを許してください。

def SaveFile (suffix):

type( "f" , KEY_ALT)

click( )

type(Key . END + suffix)

sleep( 1 )

type(Key . ENTER)

sleep( 1 )

type(Key . ENTER)

sleep( 7 )

Paint.NETでファイルを保存します。 Alt + Fを押して、[ファイル]メニューを表示します。 （スクリプトでは、可能な限りすべてのキーボードショートカットを使用してメニューを操作するわけではありませんが、これによりスクリプトがわずかに減少し、グラフィックフラグメントの数が減少します。 ）

[名前を付けて保存...]メニュー項目をクリックすると、入力フォーカスがファイル名入力フィールドに置かれます。 接尾辞を追加します。 保存の完了の信頼できる兆候を思いつかなかったので、関数の最後に十分な時間（7秒）の無操作を挿入しました。

def DoBlackWhite ():

type( "a" , KEY_ALT)

click( )

wait( , timeout = base_timeout)

B / Wフィルターは、最初に必要なフィルターです。 Alt + Aで、 調整メニューを開き、目的の項目を選択します。 フィルタはパラメータなしで機能します。 対応するマークが履歴パネルに表示されるまで待機します。 （非常に便利なパネルであることが判明しました。）

def DoDuplicateLayer ():

type( "l" , KEY_ALT)

click( )

wait( , timeout = base_timeout)

レイヤーの複製。 プロセスは似ています。 この場合、レイヤーを切り替える必要はありません。 これは良いことです。そうでなければ、 レイヤーパネルをいじる必要があります。

def DoInvertColors ():

type( "a" , KEY_ALT)

click( )

wait( , timeout = base_timeout)

フィルターネガ。 前のものと同様。

def DoOilPaint (a, b):

type( "c" , KEY_ALT)

click( )

click( )

sleep( 0.1 )

type(a + Key . TAB + Key . TAB + Key . TAB + b + Key . ENTER)

wait( , timeout = base_timeout *2 )

油絵フィルター。 私はもともとそれを使用しましたが、最終的にはMedian Blurを支持して辞退しました。 物語のためにまだ保存:)

（この場合、デッドコードを心配することは意味がありません。突然誰かが便利になります...実際、Sikuliが対応する機能をサポートしていれば、Paint.NETを操作するためのすべての機能を別のファイルに取り出す必要があります。）

これは、設定ダイアログを持つ最初のフィルターです。 必要なパラメーターのペアが関数に渡され、対応するフォームフィールドに入力されます。

def DoMedian (a, b):

type( "c" , KEY_ALT)

click( )

click( )

sleep( 0.1 )

type(a + Key . TAB + Key . TAB + Key . TAB + b + Key . ENTER)

wait( , timeout = base_timeout *2 )

[ 中央値ぼかし]フィルターは、 [効果 ] > [ノイズ ]メニューにあります。 前のものと同様に構成されており、非常に便利です。

def DoLayerBlend (mode):

type(Key . F4)

click( )

click(mode)

type(Key . ENTER)

wait( , timeout = base_timeout)

type( "m" , KEY_CTRL)

wait( , timeout = base_timeout)

レイヤーのブレンド F4で、 レイヤープロパティダイアログを開き、目的のブレンドモードを選択します（パラメーターとして渡されます）。 次に、Ctrl + Mでレイヤーを接着します。

def DoLevels (iwp, ibp, ogamma):

k_del = Key . DELETE + Key . DELETE + Key . DELETE + Key . DELETE

type( "a" , KEY_ALT)

click( )

type(k_del)

type(iwp)

type(Key . TAB + Key . TAB)

type(k_del)

type(ogamma)

type(Key . TAB)

type(k_del)

type(ibp)

sleep( 0.1 )

type(Key . ENTER)

wait( , timeout = base_timeout)

フィルターレベル 。 このダイアログでは、入力白色点、入力黒色点、出力白色点、出力黒色点、出力ガンマの5つのパラメーターを構成できます。 フィルターの出力では、最大のコントラストを取得する必要があるため、OWPとOBPには触れません。 残りをパラメーターとして渡します。

このダイアログの入力フィールドの動作は、他のダイアログとは異なります。 削除をクリックすることをシミュレートして、それらを明確にクリーニングする必要があります。

def DoFilter ():

DoBlackWhite()

DoDuplicateLayer()

DoMedian( "35" , "50" )

DoLayerBlend(difference_mode)

DoInvertColors()

DoLevels( "235" , "200" , "1" )

すべての空白を1つの全体に収集し始めます。 実際、この関数の動作を保証するために、スクリプトの残りの部分が存在します。 ここでは、必要なパラメーターを持つ一連のフィルターが呼び出されます。

（画像の各セットのDoLevels（）パラメーターを微調整することをお勧めしますが、記事の最後に、指定したパラメーターを使用して1回のパスで作成した例を示します...）

def RunTaskOverImage (x):

OpenWith(x, paintnet_img, waitfor_img)

sleep( 2 )

DoFilter()

sleep( 1 )

SaveFile(edited_text)

sleep( 1 )

closeApp( "paint.NET" )

sleep( 1 )

単一のファイルを開き、処理し、保存し、閉じます。 処理されるファイルアイコン（またはパターン ）を含む見つかった領域は、パラメーターとして渡されます。

def main ():

for pat in patterns:

setThrowException( False )

find_regs = findAll(Pattern(pat) . similar( 0.95 ))

setThrowException( True )

if find_regs:

for region in find_regs:

RunTaskOverImage(region)

画面上のすべてのファイルを検索し、見つかった処理。

setThrowException（） -この関数を使用すると、 findAll（）がパターンに一致する単一の領域を検出しない場合のSikuliの動作を変更できます。 この場合、画面にパターンが見つからなくても心配はありません。

パターン（pat）.similar（0.95） -パターン検索は、ある程度の許容偏差で実行されます。 これは、可能であれば、異なるマシンのインターフェース設定の違いを補う必要があります。 デフォルトの0.7の比率は柔らかすぎます。 その結果、すべてのアイコンが同じものと見なされ、スクリプトは（配列内のパターンの数に応じて）円で3回実行しようとしました。 ただし、1.0も設定する価値はありません。この場合、OpenCVは必要なアイコンさえもスキップできます。

sleep( 1 )

main()

popup( "done" )

最後のコード： main（）関数を呼び出して、スクリプトの完了を報告します。

メイン（）関数は、デバッグを容易にするために強調表示されています。 代わりに、説明されている関数のいずれかを呼び出しに置き換えて、個別にデバッグできます。



ソースコードを含むアーカイブをダウンロードする

完全なソースコードを見る

テスト中

テストに使用したもの：このトピックの作成に基づいたコメントの写真。 アーカイブからの任意の写真。 インターネットからのランダムなショット。

に	後	に	後

速度の測定は、Pentium M 2 GHzと2 GBのRAMを搭載したラップトップで実行されました。 4つのテストイメージでのスクリプト実行時間：

• 実行1：6:32
• 実行2：6:57
• 実行3：6:47
• 実行4：6:38

平均時間：6分43秒。 1つの画像の平均処理時間：1分41秒。

ほとんどの場合、彼らはフィルターを食べます。 しかし、スクリプトの最適化により、画像ごとに数十秒を節約できると思います...

結論

1. 人が受信データストリームから有用な情報を抽出できる場合（テキストの読み取り、キャプチャの解析など）、コンピューターのアルゴリズムを作成してこの情報を抽出できます。 このアルゴリズムの複雑さと汎用性は別の問題です。 アルゴリズムが必要なほど、詳細を考慮する必要があります。 説明したアルゴリズムを使用すると、単純なしきい値フィルターよりも深刻な場合にテキストスナップショットをクリアできますが、制限もあります。
2. 今日、Sikuli IDEを深刻なツールと考えることは困難です。 「写真を使ったプログラミング」は愚かな仕事だからではありません。 インターフェイスを操作するときにコンピュータービジョンを使用するだけでは信頼性が低く、使用可能なツールは同時にあまり便利ではなく、単純なタスクを解決する場合でも問題が発生することがあります。 同様の問題が発生する別の機会に、QAliberを試します 。
3. 多くのタスクについて、Sikuli Java APIは、独自のテストツールなどで使用するためのOpenCVの便利なラッパーとして便利になると思います。

資源

公式サイトPaint.NET

公式サイトSikuli。 ダウンロード、ドキュメントなどのリンク

お知らせとサンプルスクリプトを含むブログ

Sikuliドキュメントバージョン0.10

LaunchPadのSikuliページ



PS：サポートしてくれたfree0uに感謝します。 私を待たせてくれて、この記事がセッションの後よりもセッションの前に役立つ人に謝罪します。



UPD：「アルゴリズム」に移動しました。 より良いオプションがある場合-書き込みます。