ファイル共有キャプチャのハッキング

はじめに

この記事では、 ifolder.ruを使用してキャプチャをハッキングするプロセスについて簡単に説明します。 プロセスでのPython言語とサードパーティライブラリの使用。 Open Computer Vision ©Intelライブラリの一部としてハフ変換アルゴリズムを使用すると、画像ノイズを取り除くことができ、使いやすく高速なFANNライブラリ（Fast Artificial Neural Network）により、画像認識問題に人工ニューラルネットワークを使用できるようになります。



私の動機は、まずPython言語を試すことでした。 ご存じのように、言語を学ぶ最良の方法は、その言語に適用された問題を解決することです。 したがって、画像処理プロセスの説明と並行して、使用するライブラリと用途について説明します。

問題の概要

次の種類のキャプチャがあります。



ifolder.ruは、ファイルのホスティングサービスであり、ダウンロードおよびアップロード時に、あなたがロボットではないことを確認したいものです。 以下に説明するハフ変換アルゴリズムをこの問題に適用したいとずっと思っていたため、リソースが使用されました。



このキャプチャを認識することの難しさは何ですか？ それらのいくつかがあります、私たちは問題を解決する複雑さへの影響の順にそれらを説明します：



1. キャラクターの交差の存在。 そのような場合の良い例：



そのようなケースの割合は比較的小さいため、「認識の対象ではない」とマークされた結婚で記録します。



2. 線の存在。 各画像には、異なる長さの4本の線（さらに、長さは認識可能なオブジェクトの線形要素に相当する場合があります）、太さ、傾斜角があります。 私たちは、それらを取り除く必要があるノイズの主な要素と考えています。



3. 画像内の文字の配置の大きなバリエーション。 シンボルは、異なるレベルで、異なる距離に配置されます。



4. 文字を回転させます。 シンボルは1つの軸に沿って傾斜がありますが、最大30度までです（値は経験的に取得されます）。



5. 文字の浮動サイズと太さ。



より詳細な調査がそれほど単純ではない、非常に単純なキャプチャに見えます。 :)しかし、すべてがそれほど悪くはありません。 始めましょう。

ステージ1.トレーニングサンプルの作成と前処理

まず、サイトから数百のキャプチャサンプル（500など）をダウンロードします。これでアルゴリズムを計算し、ニューラルネットワークの主要なトレーニングサンプルを作成できます。

urllibライブラリと簡単なスクリプトを使用して、n番目の数の必要なサンプルをサイトからダウンロードします。 次に、それらをgifから8ビットのビットマップに変換します。引き続きこの形式で作業します。 重要なポイントは、画像の反転です。 つまり 黒い背景に白いオブジェクト。 後で、これがなぜなのかが明らかになるでしょう。



上記のすべてを実行するスクリプト：

urllib2 から urlopenを インポート

urllib import urlretrieve から

PIL インポート Image、ImageOps、ImageEnhanceから

輸入 OS

インポートシステム

再 インポート

輸入 時間



def main （ url、n ） ：

＃URLセッションURLを取得

data = urlopen （ url ） 。 読む （ ）

match = re 。 検索 （ r "/ random / images / \？ session = [a-z0-9] + \＆ quot ;, data ）

一致する場合 ：

imgurl = " ifolder.ru" +マッチ。 グループ （ ）

その他 ：

リターン -1



＃gen imgs

範囲内の i （ n ） ：

urlretrieve （ imgurl、 '/ test /' + str （ i ） + '.gif' ）

時間 。 寝る （ 1 ）

print str （ i ） + 'of' + str （ n ） + 'downloaded'



＃それらを変換する

範囲内の i （ n ） ：

img =イメージ。 open （ '/ test /' + str （ i ） + '.gif' ） 。 変換 （ 'L' ）

img = ImageOps。 反転 （ img ）

img = ImageEnhance。 コントラスト （ img ） 。 強化 （ 1.9 ）

img。 保存 （ '/ test /' + str （ i ） + '.bmp' ）

＃os.unlink（ '/ test /' + str（i）+ '.gif'）





__name__ == "__main__"の場合 ：

url = sys argv [ -1 ]

URLでない 場合 。 下 （ ） 。 startswith （ "http" ） ：

「usage：python dumpimages.py http://ifolder.com/?num」を 印刷します

sys 終了 （ -1 ）

メイン（ url、 500 ）

ステージ2。オブジェクトのノイズ除去、ローカライズおよび分離。

最も興味深く、時間のかかるステージ。 レビューで示したcaptchaの例は、この記事のサンプルとして取り上げ、さらにそれらと連携していきます。 したがって、最初の段階の後、次のものがあります。





画像を操作するために、 PILライブラリを使用しました。 チョッパーとして使いやすいが、非常に機能的で非常に便利なライブラリ。



羊に戻りましょう。 この場合、ノイズとは線を意味します。

問題の解決策として、いくつかのオプションがあります。

1.遺伝的アルゴリズム。

2.ハフ変換。 これは一種の自動ベクトル化と考えることができます。



Yandex captchaをハッキングする同様のタスクを解決するプロセスを含め、GAはHabréで数回取り上げられました。 直線を検出するための遺伝的アルゴリズムの修正を書くことは難しくありません。



ただし、2番目のアルゴリズムを選択しました。 GAと比較して、ハフ変換は、数学的に厳密で決定論的なアルゴリズムであり、ランダムな要因の影響はありません。 この場合、リソースをあまり消費せず、同時に理解して使用するのに十分簡単です。

簡単に言うと、アルゴリズムの意味は、平面上の任意の線を2つの変数-傾斜角と原点からの距離（θ、r）で定義できるということです。 これらの変数は記号と見なすことができ、独自の2次元空間を形成します。 直線は点の集合であり、それぞれに独自の記号のペア（シータ、r）があるため、これらの記号の空間には、元の平面（画像）上の線の点に対応する記号の有限近傍内に点のクラスター（交差点の最大値またはピーク）があります。 しかし、すべては見かけよりも簡単です。 :)

ウィキペディアで詳細を読んで、 ここでアルゴリズムの視覚化を見ることができます 。 すぐに、私が意味することが明らかになります。



実装を自分で書くのは当然怠け者です。 さらに、 OpenCVライブラリにあり、C / C ++でよく作業します。 Pythonには、簡単に組み立ててインストールできるバインダーがあります。



一般に、OpenCVはかなり低レベルのライブラリであり、Pythonでの作業はあまり便利ではないため、著者はPILオブジェクト形式に変換するためのアダプターを提供しています。 これは非常に簡単に行われます：

src = cvLoadImage （ 'image.bmp' 、 1 ） ＃OpenCV オブジェクト

pil_image =アダプタ。 Ipl2PIL （ src ） ＃PIL オブジェクト

行を削除する手順は次のとおりです。

def RemoveLines （ img ） ：

dst = cvCreateImage （ cvGetSize （ img ） 、IPL_DEPTH_8U、 1 ）

cvCopy （ img、dst ）

storage = cvCreateMemStorage （ 0 ）

lines = cvHoughLines2 （ img、storage、CV_HOUGH_PROBABILISTIC、 1 、CV_PI / 180、35、35、3 ）

ラインインラインの場合：

cvLine （ dst、ライン[ 0 ] 、ライン[ 1 ] 、bgcolor、 2、0 ）

戻り値

画像はモノクロ、つまり白いピクセルにする必要があります。 そのため、最初の段階で画像を反転し、認識中に画像を反転します。

重要な点は、 cvHoughLines2関数を呼び出すことです 。 CV_HOUGH_PROBABILISTICパラメーターに注意を払う必要があります。これは、アルゴリズムのより「スマートな」変更の使用を意味します。 最後の3つのパラメーターも非常に重要です。それらは次を反映しています。特徴空間セル内のポイントの数。 最小行長; 最大ギャップ（ギャップ）、つまり 行ごとの欠落ピクセルの数。 詳細については、ライブラリのドキュメントをご覧ください。

これらのパラメータを正しく選択することは非常に重要です。そうしないと、画像から文字の一部である線を削除したり、その逆にノイズを多く残したりします。 選択したパラメータは最適であると考えていますが、理想からはほど遠いです。 たとえば、最大ギャップを2倍にしましょう。 これはこの効果につながります：





行とともに、多くの有用な情報を削除しました。 同時に、正しく選択されたパラメーターにより、許容可能な結果を​​得ることができます。







線がシンボルと交差することが多いため、有用な情報も必然的に削除することにすでに気付いています。 これは致命的ではありません。部分的には後で復元できるため、最終的にはすべてがニューラルネットワークのトレーニングの程度に依存します。



次のタスクは、キャラクターのローカライズと分離です。 ここで、レビューのパラグラフ1および3で説明されている問題が発生します。 シンボルの浮動位置と回転により、一般的な座標と位置に依存することはできません。 多くの場合、シンボルは「タッチ」され、輪郭検出シリーズのアルゴリズムを使用できなくなります。

垂直に分割する必要があることは明らかです。 考え直すことなく、画像の各列の白いピクセルの数を計算し、ウィンドウに表示します。







グラフを作成するために、 matplotlibライブラリーを使用しました。 このライブラリは、その柔軟性と組み込みの機能に際立っており、他の言語では見られません。 PyQt4は 、フロントエンドGUIとして使用されました。



グラフィックを画像と相関させると、3つの極小値の存在を確認できます。 彼らによると、画像を「切り取る」ことになります。 この場合、最小値を見つけるための最適なアルゴリズムは、もしあれば、見つけるのが困難です。 したがって、ローカルミニマムを検索するための簡単なアルゴリズムを実装しました。パラメータは経験的に取得されたもので、最適とはほど遠いものです。 これは重要なポイントであり、より思慮深いアルゴリズムは認識の品質を大幅に改善できます。

ソース（FindDividingColsとDivideDigits）で画像を文字に分割する手順を見つけることができます。



次に、文字をトリミングします 背景領域がたくさん残っています。 失われた有用な情報を回復しようとした後。 侵食と膨張（侵食と膨張）や閉鎖（閉鎖）などの形態学的アルゴリズムを使用することをお勧めします。 これらはOpenCVライブラリにあります。Pythonでの使用例は、ライブラリリポジトリ-OpenCV \ samples \ python \ morphology.pyにあります。 個々のキャラクターの受信画像はすべて、18x24の単一サイズに縮小されます。



文字分離結果：

ステージ3.認識

次の段階は、ニューラルネットワークの作成とそのトレーニングです。 500個の画像（それぞれ4文字）のうち、トレーニングに使用される許容可能な品質とコンテンツのサンプルが1000個未満でした。 0.5の確率で1文字の認識レベルにネットワークをトレーニングすると、全体の効率は0.5 ^ 4 = 0.0625または6％になります。 目標は達成可能な以上のものです。 結果のサンプルは彼女にとって十分でした。 あなたが数日間「中国人」として働きたいという願望を持っているなら、それはより良い結果を達成する可能性があります、主なことは私が持っていない忍耐です。 :)

ニューラルネットワークを作成して使用するには、 FANNライブラリを使用すると便利です。 ファイルなしでpythonのWrapperを組み立てたくなかったので、SWIGが受け取ったコードを編集する必要がありました。 コンパイルされたライブラリ、Python 2.6のインストーラー、およびいくつかの使用例をレイアウトすることにしました。 こちらからダウンロードできます。 小さなインストール手順を書きました。INSTALLを参照してください。



入力では、18 * 24 = 432ピクセルの配列を与えます（より正確には、ピクセルが有意であれば1を、背景であれば0を渡します）、出力では10個の数字の配列を取得します。 したがって、ニューラルネットワークの入力層は432個のニューロンで構成され、出力は10です。ニューロンの数== 432/3の別の隠れ層が作成されます。



ネットワークを作成およびトレーニングするためのコード：

pyfann import libfann から



num_input = 432

num_output = 10

num_layers = 3

num_neurons_hidden = 144

desired_error = 0.00006

max_epochs = 50000

epochs_between_reports = 1000



ann = libfann。 neuro_net （ ）



アン。 create_standard （ num_layers、num_input、num_neurons_hidden、num_output ）

アン。 set_activation_function_hidden （ libfann。SIGMOID_SYMMETRIC_STEPWISE ）

アン。 set_activation_function_output （ libfann。SIGMOID_SYMMETRIC_STEPWISE ）



アン。 train_on_file （ 'samples.txt' 、max_epochs、epochs_between_reports、desired_error ）



アン。 保存 （ 'fann.data' ）

アン。 破壊 （ ）

使用法：

def MagicRegognition （ img、ann ） ：

ann = libfann。 neuro_net （ ）

アン。 create_from_file （ 'fann.data' ）



サンプル= [ ]

imgのi サイズ [ 1 ] ：

imgのj サイズ [ 0 ] ：

colordist （ img。getpixel （ （ j、i ） ） 、bgcolor ） < 10の場合 ：

サンプル[ j + i * img。 サイズ [ 0 ] ] = 0

その他 ：

サンプル[ j + i * img。 サイズ [ 0 ] ] = 1



res =アン。 実行 （サンプル）



返品 インデックス （ max （ res ） ）

おわりに

Pythonは素晴らしい言語であり、非常に簡潔で美しいです。多くのサードパーティライブラリが私のすべての日々のニーズをカバーしています。 主に堅固なコミュニティとドキュメントの量による、低いエントリーしきい値。 投手、今私はあなたと一緒です;）



使用された追加のライブラリ：

ナンピー

シピー



ソース （ ミラー1 、 ミラー2 ）



構文を強調するために、 highlight.hohli.comリソースが使用されました。



UPD： 1.ソースを3つのリソースにリロードしました。 2.要求で、dumpimages.pyは、ifolderページのcaptchaにリンクするために、正規表現の最後の3文字をファイルから削除しました。 そして、「子供」がふける:)