OK Google：どのようにしてキャプチャを取得しますか？

こんにちは。 私の名前はイバドフ・イルキンです。私はウラル連邦大学の学生です。



この記事では、Googleのキャプチャの自動化ソリューションである「reCAPTCHA」の使用経験についてお話したいと思います。 執筆時点で、プロトタイプはタイトルから見えるほど効率的に機能しないことを読者に事前に警告したいと思いますが、結果は、実装されているアプローチが問題を解決できることを示しています。



おそらく、彼の人生のすべての人がキャプチャに遭遇しました：写真からテキストを入力し、簡単な表現または複雑な方程式を解き、車、消火栓、横断歩道を選択​​してください... 、自動登録および投稿、解析、アカウントのスパムおよびパスワード選択を防ぎます。





「Habré」の登録フォームには、このようなキャプチャを使用できます。



機械学習技術の開発により、キャプチャのパフォーマンスが危険にさらされる可能性があります。 この記事では、Google reCAPTCHAで画像を手動で選択する問題を解決できるプログラムのキーポイントについて説明します（残念ながら、これまでのところ常にそうとは限りません）。



キャプチャを取得するには、必要なキャプチャクラスの決定、オブジェクトの検出と分類、キャプチャセルの検出、キャプチャの解決における人間の活動のシミュレーション（カーソルの動き、クリック）などの問題を解決する必要があります。



画像内のオブジェクトを検索するために、コンピューターにダウンロードして画像またはビデオ内のオブジェクトを認識することができる訓練されたニューラルネットワークが使用されます。 ただし、キャプチャを解決するには、オブジェクトを検出するだけでは十分ではありません。セルの位置を決定し、選択するセルを見つける（またはセルをまったく選択しない）必要があります。 これには、コンピュータービジョンツールが使用されます。この作業では、これが有名なOpenCVライブラリです。



画像内のオブジェクトを見つけるには、まず画像自体が必要です。 オブジェクトを検出するのに十分な大きさのPyAutoGUIモジュールを使用して、画面の一部のスクリーンショットを取得します。 画面の残りの部分では、プログラムプロセスをデバッグおよび監視するためのウィンドウを表示します。

物体検出

オブジェクトの検出と分類は、ニューラルネットワークの機能です。 ニューラルネットワークを操作できるライブラリは、 Tensorflow （Googleが開発）と呼ばれます。 現在、 さまざまなデータに対して選択できるトレーニング済みのモデルが多数あります。つまり、すべてのモデルが異なる検出結果を返すことができます。つまり、オブジェクトの検出に優れたモデルと、悪いモデルがあります。



この記事では、ssd_mobilenet_v1_cocoモデルを使用しています。 選択したモデルは、 COCOデータセットでトレーニングされました。このデータセットでは、90の異なるクラス（人と車から歯ブラシと櫛まで）が強調されています。 現在、同じデータでトレーニングされているが、パラメーターが異なる他のモデルがあります。 さらに、このモデルには最適なパフォーマンスと精度のパラメーターがあり、これはデスクトップコンピューターにとって重要です。 ソースによると、300 x 300ピクセルの1フレームの処理時間は30ミリ秒です。 「Nvidia GeForce GTX TITAN X」について。



ニューラルネットワークの結果は、一連の配列です。

• 検出されたオブジェクトのクラスのリスト（それらの識別子）;
• 検出されたオブジェクトの評価のリスト（パーセント）;
• 検出されたオブジェクトの座標のリスト（「ボックス」）。

これらの配列の要素のインデックスは互いに対応しています。つまり、フィーチャクラスの配列の3番目の要素は、検出されたオブジェクトの「ボックス」の配列の3番目の要素とオブジェクト評価の配列の3番目の要素に対応します。





選択したモデルを使用すると、90のクラスのオブジェクトをリアルタイムで検出できます。

細胞検出

「OpenCV」は、「 circuits 」と呼ばれるエンティティを操作する機能を提供します。これらは、「OpenCV」ライブラリの「findContours（）」関数によってのみ検出できます。 このような関数の入力にバイナリイメージを送信する必要があります。これは、しきい値変換関数によって取得できます。

_retval, binImage = cv2.threshold(image,254,255,cv2.THRESH_BINARY) contours = cv2.findContours(binImage, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

しきい値変換関数のパラメーターの極値を設定すると、さまざまな種類のノイズも除去されます。 また、不必要な小さな要素とノイズの量を最小限に抑えるために、侵食（圧縮）およびビルドアップ（拡張）関数の形態変換を適用できます。 これらの関数もOpenCVの一部です。 変換後、頂点の数が4である輪郭が選択されます（以前に輪郭に対して近似関数を実行した）。





最初のウィンドウでは、しきい値変換の結果。 2番目は、形態学的変換の例です。 3番目のウィンドウでは、セルとキャプチャキャップがすでに選択されています。プログラムで色で強調表示されます。



すべての変換後、セルではない等高線は、セルを含む最終的な配列になります。 不要なノイズを除去するために、長さ（周囲）と輪郭の面積の値に従って選択します。



対象の回路の値が360〜900ユニットの範囲にあることが実験的に明らかになりました。 この値は、画面上で15.6インチの対角線と1366 x 768ピクセルの解像度で選択されます。 さらに、表示された輪郭の値は、ユーザーの画面のサイズに応じて計算できますが、作成されるプロトタイプにはそのようなリンクはありません。



セルを検出するために選択したアプローチの主な利点は、グリッドがどのように表示されるか、キャプチャページに表示されるセルの数（8、9、または16）を気にしないことです。





この画像は、さまざまなキャプチャグリッドを示しています。 セル間の距離が異なることに注意してください。 セルを互いに分離すると、形態学的圧縮が可能になります。



輪郭を検出するもう1つの利点は、OpenCVで中心を検出できることです（移動とマウスクリックの座標を決定するために中心が必要です）。

選択するセルを選択する

不要なノイズ回路のないCAPTCHAセルのきれいな輪郭を持つ配列を使用して、各CAPTCHAセル（用語「OpenCV」の「回路」）を循環させ、ニューラルネットワークから受信したオブジェクトの検出された「ボックス」と交差する事実を確認できます。



この事実を確立するために、セルに類似した回路で検出された「ボックス」の翻訳を使用しました。 しかし、オブジェクトがセル内にある場合は交差点と見なされないため、このアプローチは間違っていることが判明しました。 当然、そのような細胞はキャプチャで目立ちませんでした。



この問題は、黒いセルに各セル（白い塗りつぶし）の輪郭を再描画することで解決しました。 同様に、オブジェクトを含むフレームのバイナリ画像が取得されました。 問題が発生します-セルとオブジェクトの影付きフレームの交差の事実をどのように確立するのですか？ セルを含む配列の各反復では、2つのバイナリイメージに対して論理和演算（論理OR）が実行されます。 その結果、交差した領域が強調表示される新しいバイナリイメージが得られます。 つまり、そのような領域がある場合、セルとオブジェクトのフレームが交差します。 プログラムでは、このようなチェックは「 .any（） 」メソッドを使用して実行できます。配列に1つ以上の要素が1つでもある場合は「True」、ユニットがない場合は「False」を返します。





この場合の「論理OR」イメージの「any（）」関数はtrueを返すため、検出されたオブジェクトのフレーム領域とセルの交差の事実を確立します。

運営管理

「Python」のカーソルコントロールは、「win32api」モジュールのおかげで利用可能になりました（ただし、プロジェクトに既にインポートされている「PyAutoGUI」もその方法を知っていることが判明しました）。 マウスの左ボタンを押して離すこと、およびカーソルを目的の座標に移動することは、win32apiモジュールの対応する機能によって実行されます。 しかし、プロトタイプでは、カーソルの動きを視覚的に観察できるように、ユーザー定義関数でラップされていました。 これはパフォーマンスに悪影響を及ぼし、デモンストレーションのみのために実装されました。



開発プロセス中に、ランダムな順序でセルを選択するというアイデアが生まれました。 これは実用的な意味をなさない可能性があります（明らかな理由により、Googleはキャプチャ操作のメカニズムのコメントと説明を提供しません）が、セルを無秩序にカーソルを移動することはより楽しく見えます。





アニメーションでは、結果は「random.shuffle（boxesForSelect）」です。

テキスト認識

使用可能なすべての開発を1つの全体に結合するには、もう1つのリンクが必要です。キャプチャから要求されるクラスの認識単位です。 画像内のさまざまなオブジェクトを認識して区別する方法は既に知っています。任意のキャプチャセルをクリックできますが、クリックするセルはわかりません。 この問題を解決する方法の1つは、キャプチャの見出しからテキストを認識することです。 まず、光学式文字認識ツール「 Tesseract-OCR 」を使用してテキスト認識を実装しようとしました。



最新バージョンでは、インストーラーウィンドウに言語パックを直接インストールすることができます（以前はこれは手動で行われていました）。 Tesseract-OCRをインストールしてプロジェクトにインポートした後、キャプチャヘッダーのテキストを認識しようとしました。



残念なことに、その結​​果はまったく印象的ではありませんでした。 ヘッダー内のテキストを太字で強調表示して結合することを決めたので、画像にさまざまな変換を適用しようとしました：二値化、縮小、拡大、ぼかし、歪み、サイズ変更操作。 残念ながら、これは良い結果を与えませんでした：最良の場合、クラスの文字の一部のみが決定され、結果が満足のいくものであった場合、同じ変換を適用しましたが、他の大文字（テキストが異なる）に適用すると、結果は再び悪くなりました。





Tesseract-OCRキャップの認識は、通常、不満足な結果をもたらしました。



「Tesseract-OCR」はテキストを適切に認識しないと明確に言うことは不可能ですが、そうではありません。ツールは他の画像（キャプチャキャップではない）をはるかによく処理します。



APIを無料で使用するためのAPIを提供するサードパーティサービスを使用することにしました（電子メールアドレスへのキーの登録と受信が必要です）。 このサービスには1日あたり500回の認識という制限がありますが、開発期間全体を通して、制限に関する問題は発生していません。 それどころか：ヘッダーの元の画像をサービスに（絶対に変換を適用せずに）提出しましたが、その結果は嬉しく思いました。



サービスからの単語は、ほとんどエラーなしで返されました（通常、小さな活字で書かれたものでも）。 さらに、それらは非常に便利な形式で返されました-改行文字で行ごとに分割されています。 すべての画像で、2行目だけに興味があったので、直接アクセスしました。 このような形式により、行を準備する必要がなくなったため、これは喜ばしいものでした。テキスト全体の先頭または末尾をカットし、「トリム」、置換、正規表現の操作、1行の強調表示を目的とした他の操作を実行する必要はありませんでした（時には2つ！）-素敵なボーナス！

 text = serviceResponse['ParsedResults'][0]['ParsedText'] #   JSON lines = text.splitlines() #   print("Recognized " + lines[1]) #  !
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テキストを認識するサービスは、クラス名をほとんど間違えませんでしたが、エラーの可能性のためにクラス名の一部を残すことにしました。 これはオプションですが、「Tesseract-OCR」が単語の終わりを途中から間違って認識している場合がありました。 さらに、このアプローチは、長いクラス名または2語の名前の場合のアプリケーションエラーを排除します（この場合、サービスは3行ではなく4行を返し、2行目に完全なクラス名エントリが見つかりません）。





サードパーティのサービスは、画像を変換することなくクラス名を認識します。

合併

ヘッダーからテキストを取得するだけでは不十分です。 使用可能なモデルクラスの識別子と比較する必要があります。クラスの配列では、ニューラルネットワークが、名前ではなくクラス識別子を正確に返すためです。 モデルをトレーニングする場合、原則として、クラス名とその識別子が比較されるファイルが作成されます（別名「ラベルマップ」）。 captchaはまだロシア語のクラスを必要とするため（これは変更できます）、私はそれを簡単にし、クラス識別子を手動で指定することにしました：

 if "" in query: #       classNum = 3 #   "label map"  elif "" in query: classNum = 10 elif "" in query: classNum = 11 ...
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

上記のすべてがプログラムのメインサイクルで再現されます。オブジェクトのフレームワーク、セル、それらの交差が決定され、カーソルが移動してクリックされます。 帽子が検出されると、テキスト認識が実行されます。 ニューラルネットワークが必要なクラスを検出できない場合、画像の任意のシフトが最大5回実行され（つまり、ニューラルネットワークへの入力が変更されます）、検出がまだ行われない場合は、「スキップ/確認」ボタンがクリックされます（その位置が同様に検出されます）セルとキャップの検出）。



キャプチャを頻繁に解決する場合、選択したセルが消え、その場所に新しいセルがゆっくりと表示されるときに画像を観察できます。 プロトタイプはすべてのセルを選択するとすぐに次のページに移動するようにプログラムされているため、ゆっくりと表示されるセルでオブジェクトを検出せずに「次へ」ボタンのクリックを除外するために3秒休止することにしました。



最も重要なこと、つまりキャプチャを正常に完了するためのチェックマークの説明が含まれていない場合、この記事は完全ではありません。 単純なテンプレート比較でこれができると判断しました。 パターンマッチングがオブジェクトを検出する最良の方法とはほど遠いことは注目に値します。 たとえば、検出感度を「0.01」に設定して、関数ですべてのティックの表示を停止する必要がありましたが、実際にティックがある場合はそれを表示しました。 同様に、ユーザーに対応し、キャプチャを開始する空のチェックボックスを使用して行動しました（感度に問題はありませんでした）。

結果

説明したすべてのアクションの結果は、「 トースター 」でパフォーマンスをテストしたアプリケーションです。





モデルにないクラス（横断歩道、階段、店の窓など）を選択する必要にしばしば直面したため、ビデオは最初の試みで撮影されなかったことを認識する価値があります。



「Google reCAPTCHA」は特定の値をサイトに返し、「ロボットである」ことを示し、サイト管理者はこの値を渡すためのしきい値を設定できます。 トースターで比較的低いキャプチャしきい値が設定された可能性があります。 これは、2回間違えたという事実にもかかわらず、プログラムによるキャプチャの簡単な通過を説明します。キャプチャの最初のページの信号と4番目のページの消火栓は見えません。



トースターに加えて、公式のreCAPTCHAデモページで実験が行われました。 その結果、複数の誤った検出（および非発見）の後、人にとってもキャプチャをキャプチャすることは非常に難しくなります：トラクターやヤシの木などの新しいクラスが必要であり、オブジェクトのないセルがサンプルに表示され（ほぼ単調な色）、ページ数が劇的に増加し、通過する。



これは、オブジェクトが検出されない場合（モデルに存在しないため）ランダムなセルをクリックすることを決定したときに特に顕著でした。 したがって、ランダムなクリックが問題の解決につながらないことは確かです。 審査官によるこのような「ブロック」を取り除くために、インターネット接続を再接続し、ブラウザデータをクリアしました。そのようなテストに合格することが不可能になったためです。





あなたの人間性を疑うなら、そのような結果は可能です。

開発

記事とアプリケーションが読者の興味をそそるならば、私は喜んでその実装、テスト、およびより詳細な形式でのさらなる説明を続けます。



現在のネットワークの一部ではないクラスを見つけることです。これにより、アプリケーションの効率が大幅に向上します。 現時点では、少なくとも横断歩道、ショーウィンドウ、煙突などのクラスを認識する必要があります。モデルを再訓練する方法を説明します。 開発中に、最も一般的なクラスの短いリストを作成しました。

• 横断歩道;
• 消火栓;
• 店の窓
• 煙突;
• 車;
• バス
• 信号機;
• 自転車
• 輸送手段;
• 階段
• サイン。

オブジェクト検出の品質を向上させるには、同時に複数のモデルを使用します。これにより、パフォーマンスは低下しますが、精度は向上します。



オブジェクトを検出する品質を向上させる別の方法は、ニューラルネットワークへの画像入力を変更することです：ビデオでは、オブジェクトが検出されないときに、任意の画像シフトを数回（水平および垂直10ピクセル以内）実行し、多くの場合、この操作により、以前にあったオブジェクトを見ることができます検出されませんでした。



画像を小さな正方形から大きな正方形（最大300 x 300ピクセル）に増やすと、検出されないオブジェクトが検出されます。





左側にオブジェクトは見つかりませんでした。元の正方形は100ピクセルです。 右側では、バスが検出されています。最大300 x 300ピクセルの拡大された正方形です。



もう1つの興味深い変換は、OpenCVツールを使用した画像上の白いグリッドの削除です。この理由で消火栓がビデオで検出されなかった可能性があります（このクラスはニューラルネットワークに存在します）。





左側は元の画像、右側はグラフィックエディタで変更された画像です。グリッドが削除され、セルが相互に移動します。

まとめ

この記事では、captchaはおそらくボットに対する最善の保護ではないことを伝えたいと思いました。近い将来、自動システムに対する新しい保護手段が必要になる可能性が非常に高いです。



開発されたプロトタイプは、不完全な状態であっても、ニューラルネットワークモデルの必要なクラスと画像に変換を適用することで、自動化すべきでないプロセスの自動化を実現できることを示しています。



また、この記事で説明したキャプチャを回避する方法に加えて、オーディオサンプルを転写する別の方法もあるという事実にGoogleの注意を喚起したいと思います。 私の意見では、ロボットに対するソフトウェア製品とアルゴリズムの品質向上に関連する対策を講じる必要があります。



素材の内容と本質から、「Google」、特に「reCAPTCHA」が好きではないように思えるかもしれませんが、これは事実とはほど遠いもので、次の実装がある場合は、その理由をお話します。



教育を改善し、情報セキュリティを確保するための方法を改善するために開発および実証されました。



ご清聴ありがとうございました。