📔 🤘🏻 👨🏼‍🔧 自分の肌にヴィオラ・ジョーンズ、パート2-感情？ -OMG、はい!!! 🛅 👩‍👩‍👦 👌🏽

みなさん、こんにちは！物語の連鎖を中断させないように、私はすぐに2つの記事をほぼ同時にリリースすることにしました。この記事の冒頭は非常に重要です！

そのため、多くの人が私のプログラムの例と、コードの作成という観点からのその作業の説明を待っていました。誰もが自分のコンピューターでそれを繰り返すことができるように、それを順番に伝えます。コード内の豊富なコメントにもっと注意を払ってください、彼らは力を持っています！そして、超小型のスクロールを恐れないでください。なぜなら、多くの情報。良いインターネットのある場所に移動すると、この記事には多くのスキームと写真があります！

プロジェクト開発

その結果、前のパートでは、必要なヘッダーが接続され、OpenCVライブラリが添付されたプロジェクトテンプレートが開発されました。残っている作業の種類とその方法を見てみましょう。

また、熱い追求では、おおよその作業スキームをスケッチできることが判明しました

標準

写真を操作するための修正されたViola-Jonesメソッド。

分類子の予備トレーニング

分類器は感情を認識するためのモジュールで使用されるため、一連のアクションが教育とトレーニングのために開発されました。

したがって、 分類器をトレーニングするには 、次のものが必要です。

•開発ツールの準備、OpenCVライブラリの接続。

•データの準備。使用に適しています：

-「ポジティブ」および「ネガティブ」画像のセットをテストします（ポジティブおよびネガティブ画像）。「ポジティブ」な画像には、関心のあるオブジェクト（顔、口、鼻など）が含まれています。

「ネガ」画像には背景のみが含まれます。

-簡単に補足できる.vecファイル。同じサイズの画像セットが含まれ、サイズは縮小されています。

-既製の画像のデータベース、それらの多くがあります。たとえば、OpenCV開発者が使用するFERET 。

•目的の部分にポジ画像を切り取り、連続して接着します。

•「背景の関心対象」という形での自然なテスト画像の準備。

•関心領域（関心領域、 ROI ）の特定の一連の自然なテスト画像を強調表示し、実際には、関心オブジェクトが配置されている場所の座標を設定します。

•新しいデータセットへの保存。

•サンプルの作成（トレーニングサンプル）。

•トレーニング。この段階で：

-ハール分類器トレーニング;

-XMLファイルの作成。

収集された画像セットはデータフォルダーに収集され、XML形式のHaar分類子の形式のカスケードがhaarcascadesフォルダーに追加されます。

下位属性を持つエンティティとして表される各分類子に対して、個別のXMLストレージを作成する必要があります。 DOM （ドキュメントオブジェクトモデル）、またはロシア語では、一般的な形式のこのような分類子のドキュメントオブジェクトモデルを以下に示します。ルート要素はリポジトリで、ツリー自体の長さは7です。

カスケードには多くのレベルがあります-これは分類器の最初のレベルの例で見ることができます：

この例は、使用されるXMLに保存される情報を示しています。これは、分類子（haarcascade）とそのサイズ（サイズ）、使用レベル（ステージ）、先行レベル、またはこのレベルの親（親）、次のレベル、またはフォロワー（次）、構築されるツリー（ツリー）およびそのルートノード（ルートノード）パラメーター（しきい値、左、右）。次に、このツリーのノード内のフィーチャ自体に情報が構築されます。これは、特定の傾斜角（傾斜）を持つパラメーター（四角形）を持つ四角形で定義されます。より具体的な例では、一般的な意味でレベルとツリーで分割する必要があるため、そのようなツリーの長さは9です。

分類子ファイル構造

プログラムアルゴリズムの作業の結果、出力は以下のリストに示す構造を持つxmlファイルになります。すべてのxmlファイルは、構造とDOMモデルが同一になります。

<storage> <classifier1> <size></size> <stages> <_><!-- #of stage --> <trees> <_><!-- #of tree --> <_><!-- root node --> <feature> <rects><_></_><_></_></rects> <tilted></tilted> </feature> <threshold></threshold> <left_val></left_val> <right_val></right_val> </_></_></trees> <stage_threshold></stage_threshold> <parent></parent> <next></next> … </_></stages> <_></classifier1> </storage>

新しいデータセットの準備

分類器をトレーニングするには、「ポジティブ」画像の大規模なセットと、大まかに言って、目的のオブジェクトとその背景の「ネガティブ」画像の大規模なセットが必要です。接着が行われ、オブジェクトが配置されている場所、つまり分類子が記憶し、それによって学習する座標が示されるため、セットが同じサイズであることが重要です。接着すると、新しい画像のセットが取得されます。私のデータベースからのそのような「接着された」画像の例：

このようなサンプルはcreatesamples.cppファイルを使用して作成され、このファイルはcvhaartrainig.hをロードして作業します。標準のOpenCVライブラリからそれらを取得し、必要に応じて「完成」させました。このようなサンプルを作成する際には、多くの指定されたパラメーターがあります;以下のリストに示されているものは私が使用していますが、これらはすべてのパラメーターとはほど遠いです：

 void reateTrainingSamples( const char* filename,//   ,    ,       const char* imgfilename,//    int bgcolor, //   int bgthreshold,//  ,   8-  const char* bgfilename, //   int count, int invert = 20,//      int maxintensitydev = 40,//        double maxxangle = 1.1,//      X double maxyangle = 1.1, //      Y double maxzangle = 0.5, //      Z int showsamples = 0,//  ,       int winwidth = 24,//        int winheight = 24//        );

その結果、.datファイルがすぐに作成され、そこでそのような情報を見ることができます：さらなる処理のために、結果の画像にはマークされたフィーチャの座標に応じた名前が付けられます。この例の数字は、見つかったオブジェクトの数が5であり、オブジェクトのインスタンスが座標{30、49}、幅と高さ469および250の長方形で見つかったことを意味します。

../../ kalian2.png/0005_0030_0049_0469_0250.jpg 5 30 49 469 250

また、OpenCVで使用され、イメージを表すために使用され、ファイル名を含み、追加のコードを使用して展開できる.vecファイルを介して作成することもできます。これを行うには、addVecを介してvecファイルに情報を追加します。

 addVec (oldvecname, newvecname, samplwidth, samplheight);//     ,  newvecname      ,   ,   oldvecname,         .

分類器トレーニングのパラメーターと段階

サンプルを作成した後の次のステージは分類子のトレーニングステージで、設定したパラメーターは次のとおりです。

 void reateCascadeClassifier( const char* dirname,// ,       const char* vecfilename,// vec-       const char* bgfilename, //  ,   int npos,//   int nneg, //   int nstages,//     int numprecalculated,// ,     int numsplits,//  ,     : 1 – , 2   -  float minhitrate = 0.995F,//         float maxfalsealarm = 0.5F,//        float weightfraction = 0.95F,//   ,         90 int mode = 3,// ,     ,    . 0,  BASIC –  ,     -,    ,     2,  ALL    ,   45 ,   3            int symmetric = 1,// ,         ,    0,     int equalweights = 1,//    0,          int winwidth = 24,//  int winheight = 24,//  int boosttype = 3,//   ,  0 – Discrete AdaBoost, 1 – Real AdaBoost, 2 – LogitBoost, 3 – Gentle AdaBoost int stumperror = 0 );//  ,    Discrete AdaBoost

このステップの結果は、すぐに使用できる訓練された分類器です。私が開発しているモジュールでは、（特定の感情に特有の顔の特徴ごとに）多くの分類子が適用されます。分類子は長い間訓練されています。別のコンピューターでトレーニングしました。 各分類子は、コンピューターの計算能力が弱くなくても約3日間かかります。 締め切りがある場合は、すぐに仕事に取りかかることをお勧めします。

 • face_identify_classifier.xml –   , • eyes_identify_classifier.xml –   , • eyebrows_identify_classifier.xml –   , • mouth_identify_classifier.xml –   , • nose_identify_classifier.xml –   , ... • happysmile_kalian_classifier.xml –    , • happyeyes_kalian_classifier.xml –   ,  , • happyeyebrows_kalian_classifier.xml –     , • surprisingeyes_kalian_classifier.xml –     ,    , • openingmouth_kalian_classifier.xml –      , • surprisingeyebrows_kalian_classifier.xml –   «»  (         )

自動感情認識装置

元の画像が利用可能になるとすぐに、モジュールはその上にある目的のオブジェクトを自動的に認識します。アクションのシーケンス自体は非常に単純に見えますが、これにより、これらの手順を実装する複雑さが隠されます。

イメージがロードされ、リソースが初期化され、データベースに接続され、さらに処理するためにイメージが準備されるinit（）関数を分析してみましょう。

最初に、特別な関数cvLoad（）を使用して、検出と認識のために作成された分類子が読み込まれ、プロジェクトのhaarcascadesフォルダーに配置されます（... \ haarcascades \）。以下は、メモリstorage = cvCreateMemStorage(0);

作成ですstorage = cvCreateMemStorage(0);

：

 //  ,  ,   ,   void init(){//  ,       //     haarcascades cascade = (CvHaarClassifierCascade*)cvLoad( "haarcascades/mouth_disugst_classifier.xml" );//  //cascade1 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/ eyes_identify_classifier.xml" );//  cascade1 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/face_identify_classifier.xml" );//  cascade7 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/haarcascade_frontalface_alt_tree.xml" );//  cascade2 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/haarcascade_eye.xml" );//    //cascade3 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/haarcascade_mcs_nose.xml" );//  cascade3 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/haarcascade_kalian_nose.xml" );//  cascade4 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/haarcascade_profileface.xml" );// //  cascade5 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/smiled_01.xml" );//1 cascade8 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/smiled_02.xml" );//2 cascade9 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/smiled_03.xml" );//3 cascade10 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/smiled_04.xml" );//4 cascade6 = (CvHaarClassifierCascade*)cvLoad( "haarcascades/haarcascade_mcs_eyepair_big.xml" );// ... //   storage = cvCreateMemStorage(0);

cvNamedWindow();

関数を使用しますcvNamedWindow();

ウィンドウが表示され、そこに画像と画像上の操作の結果が表示されます。

カメラを使用する場合、カメラからキャプチャするコードが必要です。

  //     CvCapture* capture = cvCreateCameraCapture(CV_CAP_ANY); //cvCaptureFromCAM( 0 ); assert( capture ); //cvSetCaptureProperty(capture, CV_CAP_PROP_FRAME_WIDTH, 640);//1280); //cvSetCaptureProperty(capture, CV_CAP_PROP_FRAME_HEIGHT, 480);//960); //      double width = cvGetCaptureProperty(capture, CV_CAP_PROP_FRAME_WIDTH); double height = cvGetCaptureProperty(capture, CV_CAP_PROP_FRAME_HEIGHT); printf("[i] %.0f x %.0f\n", width, height ); IplImage* frame=0; cvNamedWindow("capture", CV_WINDOW_AUTOSIZE); printf("[i] press Enter for capture image and Esc for quit!\n\n"); int counter=0; char filename[512]; while(true){ //   frame = cvQueryFrame( capture ); //  cvShowImage("capture", frame); char c = cvWaitKey(33); if (c == 27) { //  ESC break; } else if(c == 13) { // Enter //     sprintf(filename, "Image%d.jpg", counter); printf("[i] capture... %s\n", filename); cvSaveImage(filename, frame); counter++; }

このプログラムには、画像または画像の配列がメモリに順次ロードされるサイクルが含まれます。

  image = cvLoadImage( array_1[j], 1 ); printf("\n[i] Image loaded\n", image); assert( image!= 0 );

データがデータベースに保存されている場合、この段階で必要なmysql.hヘッダーがデータベースに接続され、必要に応じてデータベースからメモリへのデータの予備接続とロードが行われます。

  #include <mysql.h> … //     void comlinePrint(char *); … //   MYSQL conn; //    MYSQL_RES *res; //     MYSQL_ROW row; //    if(!mysql_init(&conn)) comlinePrint("Error:   MySql - \n"); //      if(!mysql_real_connect(&conn,"localhost","kalian","","user",0,NULL,0)) comlinePrint("Error:    SQL \n"); //   ,   //    if(mysql_query(&conn, "SET NAMES 'cp1251'") != 0) { //     -  //    comlinePrint ("Error:   \n"); exit(1); } //    if(mysql_query(&conn,"INSERT INTO `user` VALUES(NULL, '', '','', 22, '', '','') ") != 0) { //      -  //    comlinePrint ("Error:      \n"); exit(1); } void comlinePrint(char * str) { printf(stderr, str); exit(1); } //       mysql_close(&conn);}

次に、画像のサイズを変更します。画像の幅と高さがチェックされ、条件に応じて、画像がn回増加または減少します。

  if(image->width>700 && image->height>700){ resPic = cvCreateImage( cvSize(image->width/1.5, image->height/1.5), image->depth, image->nChannels ); cvResize(image, resPic, 1); cvShowImage("resizing", resPic); printf ("\n[i] Image has been resized", image); comlinePrint(); else if(image->width<200 && image->height<200){ resPicMal = cvCreateImage( cvSize(image->width*2, image->height*2), image->depth, image->nChannels ); cvResize(image, resPicMal, 1); cvShowImage("resizing", resPicMal);

その後、画像はモジュールのメインサイクルに分類されます。私が開発した認識方法の主な仕事は、次の順序で機能に分けられます。

imageGray（）; //ソース画像をグレースケールに変換
SobelPreparation（resPic、dst2）; // Sobelオペレーターによる初期処理
OtsuThresholdPreparation（resPic、ots1、ots2）; // Otsu二値化
ImageCannyPreparation（resPic、dst）; // Canny検出器による境界線の選択（結果はcvSubのスクリーンショットに表示されます）
dilate（）; //見つかった境界の太り*-使用できません。ほとんどの場合、この関数を使用したプログラムテストの結果によれば、結果は改善されず、場合によってはそれなしでさらに悪化します
cvSub（gray、img1、img1）; //オリジナルからバイナリを引きます
detect_and_draw（resPic）; //画像内の顔とその特徴の識別
RecognitionResult（resPic）; //感情の計算
cvShowImage（＆resPic）; //認識結果
（cvWaitKey（1000））; //キーストロークを待つ
cvReleaseImage（＆resPic）//メモリリソースを解放する

顔とその機能を検出するための構成可能なパラメーター

画像準備機能自分で問題なく書くことができると確信しています。 OpenCVの実装関数は、使用されるアルゴリズムの名前と同じ名前を持っているため、各段階でのプログラムのスクリーンショットのみが提供されます。おそらく最後にコードを添付しますが。
モジュール内の目的のオブジェクトの検索は、 detect_and_draw（resPic）関数を使用して実行されます。この関数の本体では、配列が最初に設定され、四角形の色が含まれます。次に、 cvHaarDetectObjects（）関数を使用して、 人物の顔や顔の特徴に対応する画像内のすべてのセクションがオブジェクトシーケンスに返されます。コードでは、次のようになります。
```
 CvSeq* objects1 = cvHaarDetectObjects( img, cascade1, storage, 1.1, 4, 0|CV_HAAR_DO_CANNY_PRUNING, cvSize( 10, 20 ));// /*   CvSeq: CvSeq* cvHaarDetectObjects( const CvArr* image,// ,     CvHaarClassifierCascade* cascade,//  CvMemStorage* storage,//   double scale_factor = 1.1,//   int min_neighbors = 4,//   int flags = 0|CV_HAAR_DO_CANNY_PRUNING,//   CvSize min_size = cvSize(0,0)//   ); */
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
```
関数の動作、およびモジュール全体の結果は、パラメーターcvHaarDetectObjects（）に依存します。

最小隣接しきい値は、顔の各部分の強度です。しきい値がないと、検出器は同じ認識の多くを1か所で生成するため、手動で構成する必要があります。 通常、孤立した検出は偽であるため、 それらを破棄することは理にかなっています 。また、各顔領域の複数の検出を単一のエンティティに結合することも理にかなっています。

OpenCVは、検出されたオブジェクトのリストを返す前に、これらの条件の両方を実行します。

マージ手順は、最初に多数の重複を含む長方形をグループ化し、次にグループの平均長方形を見つけます。

次に、グループ内のすべての長方形が、計算された中央の長方形に置き換えられます。

孤立した長方形と大きなグループの間には、顔と誤検出の両方になり得る小さなグループがあります。

最小隣接しきい値は、グループ内の未処理の検出数に応じて、長方形のグループを破棄または保存するためのクリッピングレベルを設定します。デフォルトでは、このパラメーターは3です。これは、3つ以上の長方形のグループをマージし、長方形が少ないグループを破棄することを意味します。 多数の顔と顔の特徴の認識が著しく不足している場合、 しきい値をより小さな数に減らす必要があります 。ゼロに設定されている場合、関数はHaar分類子の未加工検出の完全なリストを返します。

最小スケールをデフォルト値より大きくするために、このパラメーターに新しい値を設定できます。標準以外の値を使用する場合は、標準の比率（幅と高さの比率）が維持されるようにする必要があります。この場合、アスペクト比は1：1になります。

関数の4番目のパラメーターは、OpenCVが画像を通過するたびに顔検出のためにズームインする速度を決定します。それをより高い値に設定すると、検出器の動作が速くなります（スキャンウィンドウのパスが少なくなるため）。ただし、最小スケールが高すぎる場合、スケールと欠落した面の間の遷移が速すぎる可能性があります。デフォルトでは、OpenCVでは、このパラメーターの値は1.1です。つまり、スケールはパスごとに1.1倍（10％）増加します。

cvHaarDetectObject（）関数のフラグ変数は、いくつかの値を取ることができます。

- 0; - CV_HAAR_DO_CANNY_PRUNING; - CV_HAAR_FIND_BIGGEST_OBJECT; - CV_HAAR_DO_ROUGH_SEARCH; - CV_HAAR_DO_CANNY_PRUNING; - CV_HAAR_SCALE_IMAGE.

「実用的なクロップ」フラグが選択されている場合（0 | CV_HAAR_DO_CANNY_PRUNING）、検出器は、顔が内側にある可能性が低い画像の領域をスキップします。これにより、計算時間が短縮され、誤検出が排除されます。スキップされた領域は、顔検出器を起動する前に画像全体でそのような「不要な」エッジを検出する検出器によって識別されます。繰り返しになりますが、このタイプのフラグを設定することは、速度を選択するか、より多くの顔を見つけるかの妥協点です。フラグを設定すると処理速度は向上しますが、一部の個人がスキップされる可能性があります。

顔の縮尺は決定されないため、検索を実行する最小サイズはできるだけ小さく設定する必要があります。デフォルトでは、（0、0）です。これは、分類子xml-fileに記述されているスケールを使用することを意味します。

誤って選択された検索パラメーターを使用した、不十分な訓練を受けた分類器の段階での顔認識の不良の例：

よく訓練された分類器の段階での良好な顔認識の例：
関数認識結果（resPic）; detect_and_draw（resPic）関数で機能した分類子のタイプに関する情報が渡されます。つまり、どのオブジェクトが見つかったか。そして、見つかった分類子が感情などの条件を満たす場合、感情が定義されているという情報が表示されます。

たとえば、次の分類子が機能した場合：
```
 • happysmile_kalian_classifier.xml, • happyeyes_kalian_classifier.xml, • happyeyebrows_kalian_classifier.xml
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
```
-これは喜びの感情です。

-感情？ -はい!!!

モジュールおよびアルゴリズムのテスト

アルゴリズムの効率と速度をテストするために、いっぱいになったEmotionDBデータベース（15イメージ-テスト用ではない）とローカルディレクトリ内のイメージの単純な配列（10イメージ）を使用してテストテストを実行しました。データベースと配列内の画像データはサイズが異なり、色があり、白黒の写真があり、その上に人の数が異なっています。

テストでは、組み込みのOpenCV performance.cppファイルが使用されました。すべてのデータが計算され、 ROC曲線が作成されます。分類器のステージまたはステージのカウントの例：

  int* numclassifiers = new int[cascade->count]; numclassifiers[0] = cascade->stage_classifier[0].count; for( i = 1; i < cascade->count; i++ ) { numclassifiers[i] = numclassifiers[i-1] + cascade->stage_classifier[i].count; }

テストされた一連の画像には傾斜した顔があるという事実にもかかわらず、アルゴリズムはそのような顔をスキップして識別しませんが、顔が傾斜していない単純な場合よりも低速で検出が機能します。照明が不十分で、目的のオブジェクトの背景と大きく結合し、ノイズや画像のノイズと干渉する状況では、モジュールは標準のViola-Jonesアルゴリズムとともに通常の画像よりもゆっくりと動作します。

オブジェクトの視認性が低い（背景と混合する）状況では、モジュールは、提案された画像前処理メカニズムの使用により、認識にうまく対応します。

この表は、アルゴリズムのテスト結果と、Viola-Jonesアルゴリズムの精度をOpenCVライブラリの基本セットおよび顔認識用の訓練されたセットを含む変更されたViola-Jonesと

比較しています。アルゴリズム比較結果

アルゴリズム/データ	Viola-Jones OpenCV	EmoRec（準備+ Viola-Jones + OpenCV）
画像の配列（10個）	89％、約7秒（7475ミリ秒）	93％、約7秒（7412ミリ秒）
DB EmotionDB（15個）	92％、約12秒（12167ミリ秒）	94％、約12秒（11870ミリ秒）
*-検出の割合、ステージ数（ステップ）、顔の検出に費やされた合計時間

結論

人の顔を検出するときの開発されたアルゴリズムの速度はそれほど大きくありませんが、基本的なアルゴリズムの速度を超えますが、テスト結果が異なると結果も異なります。表は平均値を示しています。残念ながら、工業規模ではなく、かなり古いコンピューターやラップトップでは、完全なテストを再現することはできません。これは望ましくないことです。

このプログラムによると、写真の前処理には多くの時間がかかります（約250〜300ミリ秒）が、コードをリファクタリングする必要があります。文字検出には平均で約400ミリ秒かかります。感情の定義にかかる時間はほとんどかかりません。関数が機能する分類子のタイプを決定し、非常に速い結果をもたらすためです。

最後まで読んだ人への質問

Viola Jonesアルゴリズムとそのアプリケーションを完全にカバーしていることが判明しましたか？
手を切るか、普通に読みますか？
もっと書く？
書籍やサイトの選択があります。記事が書かれているとき、私はそこを調べて、正しい記事を見つけるか、何も見つけませんでした。しかし、私はまだページへのポインタとフォーラムやサイトへのリンクを持っています。それらを別のトピックにして、Habrに配置しますか？

みんなありがとう！もっと読む！明けましておめでとうございます！SkyNoName

PSでした。この件に関するあなたの批判と質問を待っています！まあ、またはあなたの「ありがとう」、少なくとも何らかの形で資料があなたを助けたなら...

自分の肌にヴィオラ・ジョーンズ、パート2-感情？ -OMG、はい!!!