いく぀かの珟代のCAPTCHAの認識

それはバルト海の科孊技術コンペティションで私が発衚した䜜品の名前であり、ロヌマの統䞀感のある魅力的な玙ず、新しいラップトップをもたらしたした。



䜜業は、SMSを送信するずいう圢で倧芏暡なモバむルオペレヌタが䜿甚するCAPTCHAを認識し、そのアプロヌチの有効性が䞍十分であるこずを実蚌するこずにありたした。 誰かのプラむドを傷぀けないために、これらのオペレヌタヌをall意的に赀、黄、緑、青ず呌びたす。







このプロゞェクトは正匏にCaptchureず非公匏のBreaking Defective Security Measuresず名付けられたした 。 䞀臎するものはすべおランダムです。



奇劙なこずに、これらのCAPTCHAのすべおたあ、ほずんどすべおはかなり匱かったです。 最小の結果-20-は黄色の挔算子に属し、最倧-86-は青色の挔算子に属したす。 したがっお、「非効率性を実蚌する」ずいう課題はうたく解決されたず思いたす。



携垯電話事業者を遞ぶ理由は簡単です。 著名な科孊審査員に、私は自転車に「携垯電話䌚瀟はあらゆるスキルのプログラマヌを雇うのに十分なお金を持っおいるが、同時にスパムの量を最小限に抑える必芁がある」ず語った。 したがっお、圌らのCAPTCHAは非垞に匷力であるはずであり、私の研究が瀺すように、それはたったくそのようなものではありたせん。」 実際、すべおがはるかに簡単でした。 単玔なCAPTCHA を認識するためにハッキングしお経隓を埗たいず思い、CAPTCHAの犠牲者ずしお赀い挔算子を遞択したした。 そしおその埌、前述の物語がさかのがっお生たれたした。



だから、䜓に近い。 4皮類すべおのCAPTCHAを認識するための高床なアルゎリズムはありたせん。 代わりに、CAPTCHAの皮類ごずに別々に4぀の異なるアルゎリズムを䜜成したした。 ただし、アルゎリズムは詳现が異なるずいう事実にもかかわらず、䞀般的に非垞に類䌌しおいるこずが刀明したした。



私の前の倚くの著者ず同様に、CAPTCHA認識タスクを3぀のサブタスク前凊理前凊理、セグメンテヌション、および認識 に分割したした。 前凊理段階では、元の画像からさたざたなノむズ、歪みなどが陀去され、セグメンテヌションでは、元の画像から個々の文字が抜出され、埌凊理逆回転などから生成されたす。 認識䞭、文字は事前に蚓緎されたニュヌラルネットワヌクによっお1぀ず぀凊理されたす。



前凊理のみが倧きく異なっおいたした。 これは、異なるCAPTCHAがそれぞれ異なる画像歪み方法を䜿甚し、これらの歪みを陀去するアルゎリズムが非垞に異なるずいう事実によるものです。 セグメンテヌションは、わずかなねじれのある接続コンポヌネントを芋぀けるずいう重芁なアむデアを掻甚したしたそれらは黄色の瞞暡様でのみ重芁でした。 認識は4぀の挔算子のうち3぀でたったく同じでした-繰り返したすが、黄色の挔算子だけが異なっおいたした。



コヌドは、 OpenCVおよびFANNラむブラリを䜿甚しおPythonで蚘述されおいたす。OpenCVおよびFANNラむブラリは 、適切なファむルサむズず远加のタンバリンなしではむンストヌルできたせん。 したがっお、少なくずも䞊蚘のラむブラリの䜜成者がPythonの通垞のバむンディングを䜜成するたで、私の結果を再珟するのは簡単ではありたせん。



èµ€



私が蚀ったように、私が最初に遞んだりサギはこのCAPTCHAでした。 いく぀かの䟋が状況を明らかにするず思いたす。



画像画像画像



それだけで、最初は非垞にシンプルであるように思えたした...しかし、この印象はれロからではありたせんでした。 だから



これはすべお、このCAPTCHAの矎埳を無効にしおいるように芋えたした。



圓然のこずながら、これらの「利点」は、自動認識の耇雑さずいう点でのみです。 前述の3段階のスキヌムに埓っお、画像の予備凊理、぀たり2倍の増加から始めたす。



画像画像画像



既に述べたように、歪みは䞀定であり、線圢ではありたせんが、取り陀くこずは難しくありたせん。 パラメヌタは経隓的に遞択されたした。



画像



画像画像画像



次に、t = 200でしきい倀倉換䞀般的にはThresholdを適甚し、画像を反転したす。



画像画像画像



最埌に、小さな10ピクセル未満黒の接続領域が癜で塗り぀ぶされたす。



画像画像画像



これに続いおセグメンテヌションが行われたす。 先ほど蚀ったように、接続コンポヌネントの怜玢はここに適甚されたす。



画像画像画像



時々たれですが、実際に文字がいく぀かの郚分に分割されるこずがありたす。 この厄介な誀解を修正するために、いく぀かの接続されたコンポヌネントが同じシンボルに属しおいるこずを評䟡する比范的単玔なヒュヌリスティックを䜿甚したす。 この掚定倀は、各シンボルの境界ボックスの氎平䜍眮ずサむズのみに䟝存したす。



画像画像画像



倚くのシンボルが1぀の接続されたコンポヌネントに結合されおいるこずがわかりやすいため、それらを分離する必芁がありたす。 ここでは、画像が垞に正確に5文字であるずいう事実が助けになりたす。 これにより、芋぀かった各コンポヌネントに含たれる文字数を正確に蚈算できたす。



そのようなアルゎリズムの動䜜原理を説明するには、ハヌドりェアをもう少し詳しく調べる必芁がありたす。 nで芋぀かったセグメントの数ず、すべおのセグメントの幅の配列 正確にはい を幅[n]で瀺したす。 䞊蚘のステップn> 5の埌、画像が認識できなかったず仮定したす。 敎数の正の項ぞの数倀5の可胜なすべおの分解を考慮したす。 それらの倚くはありたせん-たったの16です。そのような分解はそれぞれ、芋぀かった接続されたコンポヌネント䞊の文字のいく぀かの可胜な配眮に察応したす。 結果のセグメントが広くなるほど、含たれる文字が倚くなるず想定するのは論理的です。 5぀の分解すべおのうち、項の数がnであるもののみを遞択したす。 各芁玠を幅から幅[0]に分割したす-それらを正芏化するかのように。 残りのすべおの分解に぀いおも同じこずを行いたす。それらの各数倀を最初の項で陀算したす。 そしお今泚意、クラむマックス、結果の順序付けられたn-kiはn次元空間の点ず考えるこずができるこずに泚意しおください。 これを念頭に眮いお、5぀の正芏化された幅の最も近いナヌクリッド分解を芋぀けたす。 これは望たしい結果です。



ちなみに、このアルゎリズムに関連しお、数字から項ぞのすべおの分解を探す別の興味深い方法が思い浮かびたしたが、Pythonデヌタ構造を掘り䞋げお実装したせんでした。 芁するに、特定の長さの拡匵の数がパスカルの䞉角圢の察応するレベルず䞀臎するこずに気づいた堎合、それは非垞に明らかに忍び寄る。 しかし、私はこのアルゎリズムが長い間知られおいるず確信しおいたす。



したがっお、各コンポヌネントの文字数を決定するず、次のヒュヌリスティックが発生したす。文字間の区切り文字は文字自䜓よりも薄いず考えられたす。 この最も内偎の知識を䜿甚するために、セグメントにn-1個のセパレヌタヌを配眮したすnはセグメント内の文字数です。その埌、各セパレヌタヌの小さな近傍で画像を䞋方に蚈算したす。 この投圱の結果、シンボルに属する各列のピクセル数に関する情報を取埗したす。 最埌に、各プロゞェクションで最小倀を芋぀けおそこにセパレヌタを移動し、その埌、これらのセパレヌタで画像を现断したす。



画像画像画像



画像



最埌に、認識。 私が蚀ったように、圌のために私はニュヌラルネットワヌクを䜿甚しおいたす。 圌女を蚓緎するために、最初に䞀般的な芋出しtrainsetの䞋で200枚の画像を実行しお、既に䜜成およびデバッグされた最初の2段階を実行したす。 次に、手でガベヌゞをクリヌンアップし䞍適切なセグメンテヌションの結果など、その埌、結果を同じサむズにしおFANNに枡したす。 出力では、認識に䜿甚される蚓緎されたニュヌラルネットワヌクを取埗したす。 この回路は1回だけ故障したしたが、埌でさらに故障したした。



画像



その結果、テストセットで100æžšäž­45枚の画像が正しく認識されたしたトレヌニングには䜿甚されず、コヌド名はtestsetです 。それほど高い結果ではありたせん。これを台無しにするのは面倒でした。



さらに、アルゎリズムのパフォヌマンスを評䟡するための別の基準、平均誀差を䜿甚したした。 次のように蚈算されたした。 各画像に぀いお、この画像に関するアルゎリズムの意芋ず正解の間でレヌベンシュタむン距離が芋぀かりたした。その埌、すべおの画像の算術平均が取られたした。 このタむプのCAPTCHAでは、平均゚ラヌは0.75文字/むメヌゞでした。 これは単なる認識の割合よりも正確な基準であるように思えたす。



ちなみに、ほがすべおの堎所黄色の挔算子を陀くで、このようなスキヌムを䜿甚したした-トレむンセットで200枚、テストセットで100枚。



緑色



緑を遞んだ次の目暙は、ディストヌションマトリックスを遞択するこずよりももっず深刻なこずをしたかったこずです。



画像画像



利点



短所



これらの短所は取るに足らないように思えたすが、それらの操䜜によりすべおの利点を非垞に効果的に凊理できるこずが刀明したした。



繰り返したすが、前凊理から始めたしょう。 最初に、シンボルが眮かれおいる長方圢の回転角床を掚定したす。 これを行うには、元の画像にErode挔算子ロヌカルミニマムの怜玢を適甚し、次にしきい倀を䜿甚しお長方圢の残りの郚分、最埌に反転を遞択したす。 黒い背景に玠敵な癜い斑点を付けたす。



その埌、深い思考を開始したす。 最初のもの。 長方圢党䜓の回転角床を掚定するには、䞊偎の回転角床を掚定するだけで十分です。 二番目。 この蟺に平行な盎線を怜玢するこずにより、䞊偎の回転角床を掚定できたす。 䞉番目。 厳密に垂盎を陀く任意の盎線を蚘述するには、座暙の䞭心からの垂盎倉䜍ず傟斜角の2぀のパラメヌタヌで十分です。2番目のパラメヌタヌのみに関心がありたす。 4番目。 盎線を芋぀ける䜜業は、あたり培底的な怜玢では解決できたせん。回転角が倧きすぎず、超高粟床は必芁ありたせん。 5番目。 必芁な行を怜玢するには、各行を目的の行にどれだけ近いかの掚定倀ず比范し、最倧倀を遞択したす。 6番目。 最も重芁なこず。 盎線の特定の傟斜角を掚定するために、この傟斜角の盎線が画像に䞊から觊れおいるず想像しおみたしょう。 画像のサむズず傟斜角から、盎線の垂盎方向の倉䜍を明確に蚈算できるため、䞀意に蚭定できたす。 次に、この行を埐々に䞋に移動したす。 ある時点で、癜い点に觊れたす。 この瞬間ず、線ずスポットの亀点の面積を芚えおおいおください。 盎線には平面䞊で8連結衚珟があるため、盎線には1぀の次元があり、面積は2次元の抂念であるずいう怒りの声はここでは䞍適切です。 次に、この盎線をもう少し䞋に移動し、各ステップで亀差領域を芚えおから、結果をたずめたす。 この量は、この回転角の掚定倀になりたす。



画像画像



䞊蚘を芁玄するず、画像を䞋に移動するず、この線䞊にあるピクセルの茝床が最も急激に増加するような線を探したす。



したがっお、回転角床が芋぀かりたした。 しかし、埗られた知識をすぐに適甚するために急いではいけたせん。 事実、これにより画像の䞀貫性が損なわれたすが、それでも必芁です。



次のステップは、文字を背景から分離するこずです。 ここで、キャラクタヌが背景よりもはるかに暗いずいう事実は、私たちを倧いに助けたす。 それは開発者偎の論理的なステップです-そうでなければ、絵を読むのは非垞に難しいでしょう。 信じられない人は、自分でむメヌゞを二倀化しお、自分で芋るこずができたす。



ただし、ここでは、「額」アプロヌチしきい倀倉換によっお文字を切り捚おる詊みは機胜したせん。 達成できた最高の結果t = 140は非垞に嘆かわしいものです。 ゎミが倚すぎたす。 したがっお、回避策を適甚する必芁がありたした。 ここでの考え方は次のずおりです。 通垞、シンボルは接続されおいたす。 さらに、それらはしばしば画像の最も暗い点に属したす。 しかし、これらの最も暗いポむントから塗り぀ぶしを適甚しお、非垞に小さな浞氎領域を捚おようずするずどうなりたすか



率盎に蚀っお、その結果は驚くべきものです。 ほずんどの画像では、背景を完党に取り陀くこずができたす。 ただし、シンボルが耇数の郚分に分割されるこずがありたす-この堎合、1぀の束葉杖はセグメンテヌションに圹立ちたすが、それに぀いおは埌で詳しく説明したす。



画像画像



次に、前に芋぀けた角床に向きを倉えたす。



画像画像



最埌に、膚匵挔算子ず収瞮挔算子の組み合わせにより、文字に残っおいる小さな穎がなくなり、認識が簡単になりたす。



画像画像



ここでのセグメンテヌションは、前凊理よりもはるかに簡単です。 たず、接続されたコンポヌネントを探しおいたす。



画像画像



次に、氎平方向に近いコンポヌネントを結合したす手順は以前ずたったく同じです。



画像画像



画像



実際には、それだけです。 認識は続きたすが、䞊蚘ず違いはありたせん。



このアルゎリズムにより、認識された画像の69で結果を達成し、0.3文字/画像の平均誀差を埗るこずができたした。



青



そのため、青のオペレヌタヌは3番目に「敗北」状態になりたした。 いわば、本圓に倧きな魚の前での䌑息でした...



画像画像画像



䟡倀あるものを曞き留めるのは難しいですが、私はただやっおいたす



これずは察照的に



だから、前凊理。 背景をクリップするこずから始めたしょう。 画像は3色なので、チャンネルに切り取り、すべおのチャンネルで116より明るいすべおのポむントを砎棄したす。 このようなかわいいマスクを取埗したす。



画像画像画像



次に、画像をHSV色空間 Wikipedia に倉換したす。 これにより、文字の色に関する情報が保存されるず同時に、゚ッゞからグラデヌションが削陀されたす。



画像画像画像



前に取埗したマスクを結果に適甚したす。



画像画像画像



この前凊理は終了したす。 セグメンテヌションも非垞に簡単です。 い぀ものように、接続コンポヌネントから始めたしょう。



画像画像画像



画像



これで停止するこずは可胜ですが、私にはたったく合わない73だけです。明らかに耇雑なCAPTCHAの結果よりも4だけ優れおいたす。 したがっお、次のステップはキャラクタヌの逆回転です。 ここで、ロヌカル文字が長方圢にうたく適合するこずをすでに述べたずいう事実は、私たちにずっお有甚です。 アむデアは、各文字の説明的な長方圢を芋぀け、その傟きを䜿甚しお文字自䜓の傟きを蚈算するこずです。 ここで、長方圢の蚘述ずは、第1に、指定されたシンボルのすべおのピクセルを含み、第2に、可胜な限り最小の領域を持぀こずを意味するず理解されたす。 OpenCV MinAreaRect2 からのこのような長方圢に察しお、既成の怜玢アルゎリズムの実装を䜿甚したす。



画像



さらに、い぀ものように、認識が続きたす。



このアルゎリズムは、画像の86を0.16文字/画像の平均誀差で正垞に認識したす。これは、このCAPTCHAが実際に最も単玔であるずいう仮定を裏付けおいたす。 しかし、挔算子は最倧ではありたせん...



黄色



最も興味深い郚分が来おいたす。 いわば、私の創造的掻動の神栌化:)このCAPTCHAは、コンピュヌタにずっお、そしお残念なこずに、人にずっおは本圓に難しいものです。



画像画像画像



利点



短所



私は長い間、最初のステップに぀いお考えたした。 最初に思い぀いたのは、浅いノむズを陀去するためにロヌカルの高音拡匵をいじるこずでした。 しかし、このアプロヌチは、文字のほずんどが残されおいないずいう事実に぀ながりたした-砎れた茪郭のみ。 この問題は、キャラクタヌ自䜓のテクスチャヌが䞍均䞀であるずいう事実によっお悪化したした-これは高倍率ではっきりず芋えたす。 それを取り陀くために、私は最も愚かな方法を遞択するこずにしたした-私はペむントを開き、画像にあるすべおの色のコヌドを曞き留めたした。 これらすべおの画像には4぀の異なるテクスチャがあり、そのうちの3぀は4぀の異なる色を持ち、最埌の3぀は-3です。 さらに、これらの色のすべおのコンポヌネントは51の倍数であるこずが刀明したした。次に、カラヌテヌブルをコンパむルしたした。これにより、テクスチャを取り陀くこずができたした。 ただし、この「リマップ」の前に、通垞は文字の端にある明るすぎるピクセルをすべお䞊曞きしたす。そうでない堎合は、倚くの情報はありたせんが、ノむズずしおマヌクしおから察凊する必芁がありたす。



したがっお、この倉換埌、画像には6色以䞋が含たれたす-4文字の色グレヌ、ブルヌ、ラむトグリヌン、ダヌクグリヌンず任意に呌ばれたす、癜背景色、および「䞍明」は、ピクセルの色がその堎所は有名な花のどれずも特定できたせんでした。 条件付きず呌ばれたす-この瞬間たでに3぀のチャネルを取り陀き、䜿い慣れた䟿利なモノクロ画像に移行するからです。



画像画像画像



次のステップは、線から画像を消去するこずでした。 ここでは、これらの線が非垞に现いずいう事実1ピクセルのみによっお状況が保存されたす。シンプルなフィルタヌは、画像党䜓を調べお、各ピクセルの色をその隣のピクセルの色ず比范したすペアで-垂盎および氎平。隣人が同じ色であるが、ピクセル自䜓の色ず䞀臎しない堎合、隣人ず同じ色にしたす。同じフィルタヌのもう少し掗緎されたバヌゞョンを䜿甚したす。これは2段階で機胜したす。最初は、距離2、2番目、距離1で近隣を掚定したす。これにより、この効果を埗るこずができ



画像画像画像



たす。次に、ほずんどのスポットず「䞍明な」色を取り陀きたす。これを行うには、たず、接続されおいるすべおの小さな゚リア正確には15未満の゚リアを探し、それらを癜黒のマスクに配眮しおから、その結果を「䞍明な」色が占める゚リアず組み合わせたす。



画像画像画像



これらのマスクを䜿甚しお、画像にアルゎリズムを蚭定したすInpaintたたは、OpenCVでの実装。これにより、むメヌゞからほずんどのゎミを非垞に効率的にクリヌニングできたす。



画像画像画像



ただし、OpenCVでのこのアルゎリズムの実装は、ノむズの倚いテキストを䜿甚しお人為的に䜜成された画像の認識ではなく、写真やビデオで動䜜するように䜜成されたした。適甚埌、グラデヌションが衚瀺されたす。これは、セグメンテヌションを簡玠化するために回避したいものです。したがっお、远加の凊理、぀たりシャヌプニングを実行する必芁がありたす。各ピクセルの色に぀いおは、䞊の衚から最も近いピクセルを蚈算したす5぀の色がありたす-各キャラクタヌテクスチャず癜に1぀ありたす。



画像画像画像



最埌に、前凊理の最埌のステップは、残っおいる小さな接続領域をすべお削陀するこずです。 Inpaintを適甚するず衚瀺されるため、ここでは繰り返しはありたせん。



画像画像画像



セグメンテヌションに進みたす。文字が互いに非垞に近いずいう事実により、非垞に耇雑になりたす。このような状況では、䞀方のシンボルの埌ろに他方の半分が芋えないこずがありたす。これらのシンボルが同じ色の堎合、非垞に悪くなりたす。さらに、残骞も圹割を果たしたす-元の画像では、線が1か所で倚数亀差しおいるこずがありたす。この堎合、前に説明したアルゎリズムではそれらを取り陀くこずはできたせん。



1週間前のケヌスず同じ方法でセグメンテヌションを䜜成する無駄な詊みに費やした埌、私はこの問題を採点し、戊術を倉曎したした。私の新しい戊略は、セグメンテヌションプロセス党䜓を2぀の郚分に分割するこずでした。最初に、シンボルの回転角床が掚定され、逆回転が実行されたす。既に展開されおいる画像の2番目では、文字が再び匷調衚瀺されたす。それでは始めたしょう。い぀ものように、接続されたコンポヌネントの怜玢から始めたす。



画像画像画像



次に、各キャラクタヌの回転角床を評䟡する必芁がありたす。 Greenpeaceのオペレヌタヌファンず䞀緒に仕事をしおいるずきでさえ、このためのアルゎリズムを思い぀きたしたが、ここでのみそれを曞いお適甚したした。圌の䜜品を説明するために、類掚をしたす。シンボルの癜黒画像䞊で䞊䞋に動くピストンを想像しおください。抌すピストンのハンドルは垂盎に配眮され、抌す䜜業プラットフォヌムは氎平で、画像の底郚に平行で、ハンドルに垂盎です。ハンドルはプラットフォヌムの䞭倮に取り付けられ、可動ゞョむントが取り付け点に配眮されおいるため、プラットフォヌムを回転させるこずができたす。専門甚語を蚱しおください。



物理孊の法則に埓っお、ペンを䞊に動かしお、ペンの前の地面を抌したす。シンボルの癜い画像のみがマテリアルであり、ピストンが黒い背景を簡単に通過するず仮定したす。その埌、ピストンは癜に到達し、それず盞互䜜甚し始めたす。぀たり、ハンドルに力がただ加えられおいる堎合、回転したす。圌は次の2぀の堎合に停止できたす。力の䜜甚点の䞡偎にあるシンボルの䞊に眮いた堎合、たたは力の䜜甚点の近くにシンボルの䞊に眮いた堎合。他のすべおの堎合、圌は動き続けるこずができたす。泚意、クラむマックスシンボルの回転角床は、ピストンが停止した瞬間のピストンの傟斜角床であるず想定しおいたす。



画像



このアルゎリズムはかなり正確ですが、結果が明らかに倧きすぎる27床以䞊ので考慮しおいたせん。残りのもののうち、算術平均を芋぀けたす。その埌、画像党䜓がマむナスこの角床だけ回転したす。次に、接続コンポヌネントを再床怜玢したす。



画像画像画像



さらに、それはたすたす興味深いものになりたす。前の䟋では、受信したセグメントでさたざたな詐欺を開始し、その埌、それらをニュヌラルネットワヌクに転送したした。ここではすべおが異なりたす。たず、画像を接続されたコンポヌネントに分割した埌に倱われた情報を少なくずも郚分的に埩元するために、各セグメントにダヌクグレヌ96で「グレヌ」を描画したす。 、その埌、ラむンの前凊理ず同じ手順を䜿甚しお文字のアりトラむンを滑らかにしたす隣人たでの距離は1に等しい。



画像



正匏にはプログラムモゞュヌルの芳点から、セグメンテヌションはここで終了したす。泚意深い読者は、粘着性のあるキャラクタヌの分離がどこにも蚀及されおいないこずに気付いたに違いありたせん。はい、これはそうです-認識のために、私はこのフォヌムでそれらを枡し、その堎で仕䞊げたす。



その理由は、先に説明した最小の投圱でスタックされた文字を分離する方法がここでは機胜しないためです-フォントは䜜成者によっお非垞に適切に遞択されたした。したがっお、別のより耇雑なアプロヌチを適甚する必芁がありたす。このアプロヌチは、セグメンテヌションにニュヌラルネットワヌクを䜿甚できるずいう考えに基づいおいたす。



最初に、このセグメントの幅がわかっおいるセグメント内の文字数ず文字の総数を芋぀けるこずができるアルゎリズムに぀いお説明したした。ここでも同じアルゎリズムが䜿甚されたす。各セグメントに぀いお、その䞭の文字数が蚈算されたす。圌が䞀人でいる堎合は、䜕もする必芁はありたせん。このセグメントはすぐにニュヌラルネットワヌクに到達したす>> =。耇数のシンボルがある堎合、朜圚的な区切り線はセグメントに沿っお等距離に配眮されたす。その埌、各セパレヌタヌはそれぞれの小さな近傍を移動し、途䞭でこのセパレヌタヌの近くのキャラクタヌに察するニュヌラルネットワヌクの反応が蚈算されたす。その埌、最倧倀を遞択するためだけに残りたす実際、これはかなりばかげたアルゎリズムを䜜成したすが、原則ずしおすべおが本圓にそのようになりたす。



圓然、セグメンテヌションたたは必芁に応じお事前セグメンテヌションのプロセスにニュヌラルネットワヌクが参加するこずで、既に説明したニュヌラルネットワヌクのトレヌニングスキヌムを䜿甚する可胜性が陀倖されたす。より正確には、最初のニュヌラルネットワヌクを取埗するこずはできたせん-他の人に教えるために䜿甚できたす。したがっお、私は非垞に簡単に行動したす-セグメンテヌション投圱の通垞の方法を䜿甚しおニュヌラルネットワヌクをトレヌニングしたすが、それを䜿甚するず䞊蚘のアルゎリズムが動䜜したす。



このアルゎリズムでのニュヌラルネットワヌクの䜿甚には、別の埮劙な点がありたす。前の䟋では、ニュヌラルネットワヌクは前凊理ずセグメンテヌションのほが生の結果でトレヌニングされおいたした。ここでは、12を超える成功した認識を埗るこずができたした。これは私には䞍向きでした。したがっお、次のニュヌラルネットワヌクトレヌニングの時代を始める前に、元の画像にさたざたな歪みを導入し、実際の画像を倧たかにモデリングしたした癜/グレヌ/黒のドット、灰色の線/円/長方圢の远加、回転。たた、トレむンセットを200個の画像から300個に増やし、いわゆる有効セットを远加したした100枚の画像のトレヌニング䞭にトレヌニングの品質を確認する。これにより、生産性が玄5向䞊し、ニュヌラルネットワヌクのセグメンテヌションず盞たっお、蚘事の冒頭で述べた結果が埗られたした。



統蚈を提䟛するこずは、2぀のニュヌラルネットワヌクで終わったずいう事実によっお耇雑になりたす。1぀は認識率が高く、もう1぀は誀差が小さいこずです。ここで最初に結果を瀺したす。



合蚈で、耇数回蚀ったように、テストセットには10​​0枚の画像がありたした。これらのうち、20が正垞に認識され、80が倱敗し、゚ラヌは画像あたり1.91文字でした。他のすべおの挔算子よりも著しく悪いが、察応するCAPTCHA。



結論の代わりに



この䜜業に関連するすべおのものは 、特に゜ヌスコヌド 、 ニュヌラルネットワヌクのファむル 、 画像など、 自分のサむトの特別なフォヌラムスレッドに投皿したした 。



私は来幎䜕かに参加したいず思いたす-少なくずも同じバルト海の倧䌚 そしおその埌、できればIntel ISEFで に参加したいのですが、創造的な危機が感じられたす-プロゞェクトの健党なトピックを思い付くこずができたせんが、続けたすキャプチャを台無しにしたいずいう欲求はありたせん。 倚分habrasocietyは私を助けるこずができる...



私が持っおいたアむデアは、機胜するOSず分散および/たたは匿名ネットワヌクではありたせんでしたが、どれも奜きではありたせんでした。 残念ながら、1぀目はおそらく私にずっお耇雑すぎたすそしお、これらの機胜 軞が必芁なのは誰ですか 、そしお2぀目はすでに十分に実行されおいたす I2P 、 Netsukuku 。 同時に、私は、第䞀に、1幎以内に少なくずも䞀緒にできるこず、そしお第二に、同じISEFで高い地䜍にあるず真剣に䞻匵するこずを望んでいたす。 たぶん、あなたは私がどの方向に動くべきかを知るこずができたすか



UPD 2015-04-09 Githubのリポゞトリ 。



All Articles