アーケード用のボット。 部品番号2：OpenCVを接続します

はじめに

私たちはゲームのボットを開発するために世界を支配し続けています。 以前の会話では、接触が確立されたという事実に焦点を当てていました。マウスが実行され、画像が取得されます。 オブジェクトを強調表示するときです。これには、多くの異なる画像処理機能を使用する必要があります。 もちろん、自転車を発明してこれらの機能を自分で作成することもできますが、既成のアイデアを使用することをお勧めします。



画像処理には、広く普及しているOpenCVライブラリを使用してください 。 .netでは管理されていないため、ラッパーOpenCvSharpを介して接続します。



画像にさまざまな変換を適用し、背景と影をオブジェクトから分離し、オブジェクトを相互に分離する変換を選択するには、OpenCVが必要です。 今日はこの目標に向かって進みます。

---

カバーされているトピック ： 画像処理用のライブラリの選択、OpenCVを使用するためのラッパーの選択、基本的なOpenCV関数、移動オブジェクトの強調表示、HSVカラーモデル。

---

なぜopencvですか？

他の画像処理用の優れたライブラリがあります。あるOpenCVでは、光が収束しませんでした。



.netでプログラミングする場合、 Accord.Netライブラリ（およびその以前のバージョンのAForge.Net ）にも注意を払う価値があります。 これらの2つのライブラリも無料ですが、OpenCVとは異なり、.netプラットフォームのネイティブ（管理対象）です。



「楽しみのため」ではなく、販売用の製品を開発するときは、マネージライブラリに集中したいと思います。 適切なマネージライブラリを選択してもパフォーマンスは低下しませんが、展開、移植性、およびその後のメンテナンスが大幅に簡素化されます。 しかし、スタートアップや「楽しみのため」の開発では、将来のメンテナンスの簡素化よりも大きなコミュニティの方が重要です。 そして、それがOpenCVライブラリに戻ってきました。これは、はるかに広く知られています。

大きなコミュニティ

ライブラリを独立して選択できるため、大規模で活発なコミュニティを持つライブラリに焦点を当てることは理にかなっています。 多数のフォロワーが、高いテストライブラリ、ごくわずかな不便さ、さまざまなドキュメントを提供し、作業中に発生する質問をGoogleで簡単に検索できるようにします。



OpenCVはこの論文を完全にサポートしています。 本があります： OpenCVを学ぶ （ 正直、まだ読んでいませんが、近いうちに修正します ） stackoverflowで 。



このすべての採用により、「Pli！ 準備をしなさい！ 目的は「クラシック」ではなく、「ライブラリを学習しながら学習する」ことです。 目指せ！ Pli！」（最初にライブラリデバイスの予備知識にかなりの時間を費やしたとき）。

Googleの質問

ほとんどのタスクは、クイックgoogleを使用して解決されました。キーワードは質問の件名でGoogleに入力され、回答は最初のリンクにすぐに表示されます。 自分で回答を検索する場合は、目的のトピックを説明するために使用されるキーワードに注意してください。 Googleは質問の美しさと文法的な正確さを気にしません;それは、キーワードの存在だけが重要であり、それによって答えを選択するからです。



解決すべき問題の例：

-画像からRコンポーネントを選択します-Googleリクエスト： google：opencv get single channel 、最初のリンクは、これがSplit関数を使用して行われたことを示しています

-画像間の違いを見つける： google：opencv difference images 、最初の答えの例では、absdiff関数がこれを行うと述べています。 検索時に差ではなく単語比較を使用すると、Googleは完全に異なるページを表示し始めます。これにより、ヒストグラム比較などの使用を推奨する一般的な回答が得られます。 これは、質問への回答を検索するときにキーワードを選択することの重要性を示しています。

OpenCV用の.net-wrapperの選択

ライブラリが選択されましたが、C＃と友達になります。 この問題はすでに解決されており、使用可能なオプションを選択するだけで済みます。 一般的なラッパーには、Emmu CvとOpenCvSharpの 2つがあります。 Emgu Cvはより古く、よりフォーマルで、OpenCvSharpはよりモダンです。 選択はOpenCvSharpに限定され、IDisposableがサポートされているという著者の言葉を埋めました。 これは、作成者が構造と関数をC / C ++からC＃1 in 1に転送するだけでなく、それらをファイルに追加して、C＃スタイルのコード記述で使用する方が便利になることを意味します。

OpenCvSharpをプロジェクトに接続する

OpenCvSharpのプロジェクトへの接続は、特別な手間をかけずに標準的な方法で行われます。 著者からの小さなチュートリアルがあります。また、 nugetを介してOpenCvSharpに接続する機能もあります。

基本的な基本機能

OpenCVには、画像を操作するための多くの機能があります。 画像からオブジェクトを抽出する問題を解決するために使用される基本的な基本機能についてのみ説明しましょう。 OpenCVには、CスタイルとC ++スタイルの2つの用途があります。 コードを簡素化するために、C ++スタイル（または、OpenCvSharpを介したそのアナログ）を使用します。



主に2つのクラスがあります：MatとCv2。 どちらもOpenCvSharp.CPlusPlusのネームスペースにあります。 マットは画像そのものであり、Cv2は画像に対する一連のアクションです。

機能：

//  var mat = new Mat("test.bmp"); //  mat.ImWrite("out.bmp"); //  bitmap var bmp = mat.ToBitmap(); //  bitmap (  OpenCvSharp.Extensions) var mat2 = new Mat(bmp.ToIplImage(), true); //  using (new Window("", mat)) { Cv2.WaitKey(); } //   (,     ) Cv2.CvtColor(mat, dstMat, ColorConversion.RgbToGray); //      Cv2.Split(mat, out mat_channels) //      Cv2.Merge(mat_channels, mat) //    Cv2.Absdiff(mat1, mat2, dstMat); // ,  /  (50)  (0)   (255) Cv2.Threshold(mat, dstMat, 50, 255, OpenCvSharp.ThresholdType.Binary); //  mat.Circle(x, y, radius, new Scalar(b, g, r)); mat.Line(x1, y1, x2, y2, new CvScalar(b, g, r)); mat.Rectangle(new Rect(x, y, width, height), new Scalar(b, g, r)); mat.Rectangle(new Rect(x, y, width, height), new Scalar(b, g, r), -1); //  mat.PutText("test", new OpenCvSharp.CPlusPlus.Point(x, y), FontFace.HersheySimplex, 2, new Scalar(b, g, r))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

OpenCVには、オブジェクトを選択するための特別な機能（ 構造分析と形状記述子 、 モーション分析とオブジェクト追跡 、 特徴検出 、 オブジェクト検出 ）もありますが、それらを絞り出すことに成功しませんでした（ とにかく本を読む必要があります ）後で使えるようにしておきます。

オブジェクトを選択

オブジェクトを選択する簡単な方法は、オブジェクトから背景を切り離し、オブジェクトを互いに切り離すフィルターを発明することです。 残念ながら、ズマフィールドの画像は非常にカラフルで、単純な輝度カットオフは機能しません。 以下は、元の画像、白黒バージョン、およびさまざまなカットオフのはしごです。 最後の画像は、すべての場合に、背景がボールとマージするか、両方が存在するか、同時に存在しないことを示しています。





オブジェクトを選択すると、「ストライピング」が大幅に複雑になります。 たとえば、ここでは、Canny関数がどのように反応するかを示し、オブジェクトの輪郭を強調しています。





個々の色成分を使用しても、生活は良くなりません。

移動するオブジェクトを強調表示する

移動するオブジェクトを強調表示するための基礎は簡単です。2つのファイルが比較され、変更されたポイントが目的のオブジェクトです。 実際には、すべてがより複雑であり、悪魔はいつものように詳細にあります...

画像シリーズの形成

一連の画像を作成するには、ボットに小さなコードを追加します。 ボットは最後のフレームの履歴を保持し、スペースキーを押してディスクにリセットします。

  var history = new List<Bitmap>(); for (var tick = 0; ;tick++) { var bmp = GetScreenImage(gameScreenRect); history.Insert(0, bmp); const int maxHistoryLength = 10; if (history.Count > maxHistoryLength) history.RemoveRange(maxHistoryLength, history.Count - maxHistoryLength); if (Console.KeyAvailable) { var keyInfo = Console.ReadKey(); if (keyInfo.Key == ConsoleKey.Spacebar) { for (var i = 0; i < history.Count; ++i) history[i].Save(string.Format("{0}.png", i)); } [..] } [..] }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

起動、クリック、そして出来上がり-2つのフレームが手元にあります。

近隣の比較

ある画像から別の画像を引きます...そして、いわゆる「山に混じった馬、人々」。 ボールは「奇妙な」ものに変わりました（これはフルサイズの断片ではっきりと見えます）、大丈夫です。主なことは、ボールを背景から分離することができたということです。

特別に準備された背景との比較

隣接するフレームの比較は、「自立した」移動オブジェクトに適しています。 動きの激しいオブジェクトを区別する必要がある場合は、特別に準備された静的な背景との比較が適切に機能します。

次の背景を準備します。



比較する：





はるかに良いですが、影はすべてを台無しにします。 私は色々な方法で影を取り除こうとしましたが、影は実際には明るさの変化であるという考えによって最高の効果が得られました。これはすでにHSVカラーモデルについて考えるようになりました。

Hsv

RGBのようなHSVカラーモデルは、3つのチャネルで構成されます。 しかし、彼（同じCMYK）とは異なり、これは単なる色の混合ではありません。

-最初のチャネル、H（色相）-色調。 最初の近似では、これは虹の色番号です。

-2番目のチャネル、S（彩度）-彩度。 このチャンネルの値が低いほど、色がグレーに近くなり、色がはっきりします。 彩度の高い色は、口語では「酸性」と呼ばれています。

-3番目のチャネル、V（値）-明るさ。 これは最も理解しやすいチャネルであり、照度が大きいほど、このチャネルの値は高くなります。

右側の図は、チャンネルと色の関係を示しています。 円の中には虹があります-これはチャンネルHです。特定の色の三角形（現在は赤）は、チャンネルSの変化-彩度（右上の方向）とチャンネルVの変化-明るさ（左上）を示しています。 古典的に、チャンネルHの値は0-360、S-0-100、V-0-100の範囲にあります。 OpenCVでは、1バイトの次元を最大限に活用するために、すべてのチャネルの値が0〜255の範囲に削減されます。



RGBカラーモデルは、人間の目に近い配置になっています。 HSVカラーモデルは、脳がどのように色を知覚するかに近いです。 以下では、各チャンネルがプラス/マイナス50オウムに変更された場合に何が起こるかについての一連の画像を具体的に引用しました。 チャンネルSとVを100単位（およびこれは半分の範囲）だけ変更した後でも、画像はほぼ同じように知覚されますが、チャンネルHを少し変更しても知覚が大きく変化し、画像が「中毒性」になります。 これは、長年にわたる進化の過程で脳がより安定したデータを安定性の低いデータから分離することを学んだという事実によるものです。



安定とはどういう意味ですか？ これは、一部の外部条件からほとんど変化しない情報の一部です。 実際のアイテム、たとえば硬いボールを取ります。 独自の色がありますが、この色の知覚は、照明、空気透過性、隣接するオブジェクトの反射などの外部条件に応じて変化します。 したがって、タスクが外部条件に関係なくボールを外界から隔離することである場合、外部条件からほとんど変化しない情報のその部分にもっと焦点を合わせ、最も変化する部分を無視する必要があります。 最も安定性が低いのは明るさ（チャンネルV）です。それらは影に移動し、周囲の世界の明るさが変化し、空が曇りました-明るさが再び変化しました。 彩度（チャンネルS）も1日を通して変化します。より正確には色の変化の知覚-照明が少ないほど、より多くの錐体 （白黒の視覚）が寄与し、 ロッドからの情報が少なくなります（色の視覚）。 色調（チャンネルH）は、オブジェクトの色を最も弱く、最も安定して反映します。

hsv空間の背景との比較

静的な背景からの減算を繰り返しますが、hsv空間への変換後、ああ！ 奇跡！ チャンネルHとSでは、ボールがシャドウから明確に分離されており、すべてのシャドウはほぼ完全にチャンネルVに入りました。Hチャンネルでは、ボールの「くぼみ」も消えますが、残念ながら、黄色のボールは背景と融合し始めます。 粗さはSチャンネルに残りますが、すべてのボールがはっきりと見え、2色画像への変換（「ゴミ」が25未満にカットされている）により、明確な円が得られ、不要なものがすべて削除されます。

まとめ

今日の目標は達成され（ボールは背景と影から分離されています）、穏やかな魂で眠りにつくことができます。

PS

表示されるすべての画像は、OpenCV（カットの下のコード）を使用して生成されます。

---

DirectXアーケード用のボット。 部品番号1：連絡する

アーケード用のボット。 部品番号2：OpenCVを接続します

---