現在、キネクトを使用する広告プロジェクトの一部を行っています。 タスクの1つは、群衆の中の1人を「フィルタリング」することです。 これについてお話します。
私は仕事でOpenNI、OpenCV、Visual Studio 2010を使用しています。
開始する
以前は、画像と密接に連携したことはなかったため、どちらの側に取り組むべきか分かりませんでした。 いくつかの審議の後、次のスキームが登場しました。
1-通常のカメラから写真を取得します。
2-userPixels（ユーザーに属するピクセル）を取得します。
3-写真のコピーを作成し、フィルターを適用します。
4-「カスタム」としてマークされたピクセルは、フィルターを使用して画像から元の画像に再描画されます。
おおよその計画は明確です、行きましょう！
必要な変数を宣言します。
xn::Context context; xn::ImageGenerator imageGenerator; // xn::ImageMetaData imageMD; xn::DepthGenerator depthGenerator; // xn::DepthMetaData depthMD; xn::UserGenerator userGenerator; // , xn::SceneMetaData userPixels; XnUserID users[15]; XnUInt16 nUsers = 15; const XnLabel *pLabels; // , !=0 const XnRGB24Pixel *pImageRow; // XnStatus rc; unsigned int pTexMapX;// = 0; unsigned int pTexMapY;// = 0; XnMapOutputMode outputMode; // XnPixelFormat pixelFormat; bool mirrored; // , bool blurOn; int currentUserId; struct MyPixel { int posX; int posY; unsigned char *vBlue; unsigned char *vGreen; unsigned char *vRed; int uLabel; bool border; }; MyPixel pixels[640][480]; // , IplImages IplImage *frame; IplImage *frameBlured;
実際、すべてを開始する準備ができました。 ジェネレーターを作成します。
int main(){ outputMode.nFPS = 10; outputMode.nXRes = 640; outputMode.nYRes = 480; XnStatus rc; pTexMap = NULL; pTexMapX = 0; pTexMapY = 0; rc = context.Init(); checkStatus(rc, " create context"); // rc == XN_STATUS_OK , rc = depthGenerator.Create(context); checkStatus(rc, " depth create"); rc = imageGenerator.Create(context); checkStatus(rc, " image create"); rc = userGenerator.Create(context); checkStatus(rc," user create"); return 0; }
次に、重要なことをする必要があります。 カメラは互いに隣接して配置されていますが、1か所に配置されていないため、画像が異なります。 1つのビューを表示するために、特別なSetViewPointメソッドがあります。 コマンドStartGeneratingAll（）を指定した後に使用できます。 そして、両方のカメラのOutputModeが同じであることが重要です。同じでないとエラーが発生します。
int main (){ ..... imageGenerator.SetMapOutputMode(outputMode); depthGenerator.SetMapOutputMode(outputMode); imageGenerator.SetPixelFormat(XN_PIXEL_FORMAT_RGB24); // RGB context.StartGeneratingAll(); rc = depthGenerator.GetAlternativeViewPointCap().SetViewPoint(imageGenerator); checkStatus(rc, " user and image view"); // XnCallbackHandle h1; userGenerator.RegisterUserCallbacks(gotUser,lostUser,NULL, h1); // . currentUserId = -1; // id mirrored = false; blurOn = false; frame = cvCreateImage(cvSize(640,480),8,3); frameBlured = cvCreateImage(cvSize(640,480),8,3); // cvNamedWindow ("Filter demo", CV_WINDOW_AUTOSIZE); // . showVideo(); return 0; }
フレーム処理
メインループでshowVideo（）の記述を開始する前に、カメラからの画像を変換する必要があります。このため、XnRGB24PixelからIplImageを描画する関数を記述し、ユーザーに属するピクセルを決定します。
void fromXnRGBToIplImage(const XnRGB24Pixel* pImageMap, IplImage** iplRGBImage) { userGenerator.GetUsers(aUsers,nUsers); userGenerator.GetUserPixels(aUsers[0],userPixels); pLabels = userPixels.Data(); for(int l_y=0;l_y<XN_VGA_Y_RES;++l_y) //XN_VGA_Y_RES = 480 { for(int l_x=0;l_x<XN_VGA_X_RES;++l_x, ++pLabels) //XN_VGA_X_RES= 640 { pixels[l_x][l_y].uLabel = 0; if(pixels[l_x][l_y].border != true) pixels[l_x][l_y].border = false; if(*pLabels !=0) // { currentUserId = (currentUserId == -1)?(*pLabels):currentUserId; // , pixels[l_x][l_y].uLabel = *pLabels; // ( ) if((l_x >0) && pixels[l_x-1][l_y].uLabel == 0 || (l_x < XN_VGA_X_RES-1) && pixels[l_x+1][l_y].uLabel == 0 || (l_y >0 ) && pixels[l_x][l_y-1].uLabel == 0 || (l_y < XN_VGA_Y_RES-1) && pixels[l_x][l_y+1].uLabel == 0 ) { pixels[l_x][l_y].border = true; } } // IplImage - OpenNI Group ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+0] = pImageMap[l_y*XN_VGA_X_RES+l_x].nBlue; ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+1] = pImageMap[l_y*XN_VGA_X_RES+l_x].nGreen; ((unsigned char*)(*iplRGBImage)->imageData)[(l_y*XN_VGA_X_RES +l_x)*3+2] = pImageMap[l_y*XN_VGA_X_RES+l_x].nRed; } } // , if(blurOn){ cvSmooth(*iplRGBImage,frameBlured,CV_BLUR,14,14,0,0); for(int j = 0 ; j < 480; ++j) { for(int i = 0 ; i < 640; ++i) { if( pixels[i][j].border == true && pixels[i][j].uLabel == currentUserId || pixels[i][j].uLabel == currentUserId ){ ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+0] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+0]; ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+1] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+1]; ((unsigned char*)(*iplRGBImage)->imageData)[(j*XN_VGA_X_RES +i)*3+2] = frameBlured->imageData[(j*XN_VGA_X_RES +i)*3+2]; } pixels[i][j].border = false; pixels[i][j].uLabel = 0; } } } }
コールバックとshowVideoメソッドを書くことは残っています：
void XN_CALLBACK_TYPE gotUser(xn::UserGenerator& generator, XnUserID nId, void* pCookie) { // - } void XN_CALLBACK_TYPE lostUser(xn::UserGenerator& generator, XnUserID nId, void* pCookie) { if((int)nId == currentUserId) { currentUserId = -1; // } } void showVideo() { while(1) { rc = context.WaitOneUpdateAll(imageGenerator); imageGenerator.GetMetaData(imageMD); pImageRow = imageGenerator.GetRGB24ImageMap(); char c = cvWaitKey(33); if(c == 27) // esc break; if(c == 109) { mirrored = (mirrored == true)?false:true; } if(c == 98) // b { blurOn = (blurOn == true)?false:true; } fromXnRGBToIplImage(pImageRow,&frame); // , Context SetGlobalMirror(bool), cvFlip if(mirrored) cvFlip(frame, NULL, 1); cvShowImage("Filter demo", frame); } cvReleaseImage( &frame ); cvDestroyWindow("Filter demo" ); }
まとめ
その結果、次のようになります。
以下のスクリーンショットは、境界線を増やして、目標にわずかに調整した結果を示しています。
ありがとう、成功！