MS Visual StudioでGStreamerのプラグインを作成する

私は常にリアルタイムのビデオ処理アプリケーションに興味がありました。 Habréでは、マルチメディアフレームワークGStreamerに関する一連の記事を読みました。

• GStreamerの紹介：はじめに
• GStreamerの紹介：データソース
• GStreamerの紹介：出力デバイス
• GStreamer：Linux風のコーデック

私は本当にその使用で何かをしたかったです。 しかし、通常起こるように、現在のタスクは空き時間リソースを完全に使い果たしました。



そして、プロジェクトに取り組む過程で、施設でビデオ監視システムを編成し、それを会計システムに統合する必要がありました。 このタスクは、当社の専門家によって成功裏に解決され、一般大衆の注目に値するものではありません。 アカウンティングシステムはMicrosoft .NET上で実行され、すべてのカメラがH264 RTSPストリームを発行します。 ビデオをキャプチャするために、Streamcodersの商用MediaSuiteライブラリが使用されます。



ボーナスとして、ビデオをキャプチャして処理するためにGStreamerで一連の実験を行うことを許可しました。

まず、車両の重量を測定するためのはかりを対象としたカメラの1つからストリームをキャプチャし、フレームをナンバープレート認識サブシステムに転送して、認識結果をビデオに適用することにしました。 上記の例では、LPR関数を呼び出さず、フレームをインターセプトし、その上に長方形を描画します。



だから、与えられた：

• RTSP H264ソース
• Windows 7 32ビットシステム
• MS Visual Studio 2010
• C ++言語
• Gstreamer 1.0

あなたが取得する必要があります：

• 処理結果を含​​むビデオストリーム

解決方法：

• GStreamer 1.0のプラグイン開発

GStreamerは、開発者にクラス階層を提供します 。 この目的のために、 GstElementクラスからプラグインを継承できます。 GstElementは、GStreamerスレッドの処理に使用できる要素を開発するために必要な基本抽象クラスです。

GStreamerをインストールする

GStreamer gstreamer-1.0-xxx-1.2.4.msiをダウンロードしてインストールします。 ここで取ることができます 。

開発には、gstreamer-1.0-devel-xxx.msiディストリビューション（gstreamer-1.0-devel-x86-1.2.4.msiなど）も必要ですインストール中に、必要なオプションを選択します。







今後は、 Windowsデバイスドライバーキット7.1.0をインストールすることをお勧めします。 デフォルトでは、C：\ WinDDK \ 7600.16385.1に設定されており、プロジェクトをビルドするときにVisual Studioが検索する場所です。 すでに別の方法でDDKをインストールしている場合は、プロジェクト設定で直接修正できます。



GStreamerプロジェクトのWebサイトには、他のドキュメントの中でも、プラグイン開発者向けのガイドがあります 。 マニュアルを読んですべてのコードを自分で作成できますが、 リポジトリからプラグインプロジェクトテンプレートをダウンロードできます 。



このテンプレートには、C ++ソースファイルとプラグインコードを生成するためのスクリプトが含まれています。 マニュアルにあるように、リポジトリからテンプレートをデプロイした後、gst-template / gst-plugin / srcディレクトリに移動し、.. / tools / make_elementユーティリティを実行する必要があります。 make_elementユーティリティには、プラグインの名前（ダミー）、使用するソースファイルの名前（デフォルトではgstplugin）の2つのパラメーターがあります。



実行の結果、gstdummy.cとgstdummy.hの2つのファイルを取得します。 内部にはダミーのプラグインのスケルトンがありますが、これはまだ愚かで何もしませんが、プラグインフレームワークのシステムに既に組み込むことができます。



小さなコメント：上記のすべてはLinux、Unixマシンに当てはまりますが、Windowsの哀れな所有者はどうですか？ Cmd.exeはmake_elementを実行しません。 make_elementの内部を見ると、彼が複雑なことをしていないことが明らかになり、ストリームエディターの助けを借りて、sedは与えられたパラメーターに基づいてターゲットソースを生成します。 あなたは自分でそれを行うことができます。 念のため、テストプロジェクトを開発中に配置するリポジトリgithub.com/nostrum-service/gstを作成しました 。



準備作業を行った後、MS Visual Studio 2010でプロジェクトを直接作成するときが来ました。幸いなことに、GStreamer開発者はVisual Studioユーザーの面倒を見て、プロジェクトの作成に必要なすべてを配布キットに入れました。 Visual Studioのディレクトリにファイルを正しく配置する必要があります。

必要なものはすべてgstreamer \ 1.0 \ x86 \ share \ vs \ 2010ディレクトリにあります。

私たちは実施します：

xcopy c:\gstreamer\1.0\x86\share\vs\2010\gst-template\*.* "C:\Program Files\Microsoft Visual Studio 10.0\VC\VCWizards\gst-template\*.*" /s /e /c xcopy C:\gstreamer\1.0\x86\share\vs\2010\wizard\*.* "C:\Program Files\Microsoft Visual Studio 10.0\VC\vcprojects\"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Visual Studioを起動（または再起動して新しい設定を確認）して、新しいプロジェクトを作成し、インストールされているテンプレートからVisual C ++ \ gst-dk-templateを選択します。







すべてがうまくいった場合、必要な設定を持つ空のプロジェクトが作成されます。 プラグインを作成したいので、プロジェクト設定に移動し、プロジェクトの詳細構成タイプをアプリケーション（.exe）からダイナミックライブラリ（.dll）に変更します。







[プロパティマネージャー]ウィンドウで、次の図を確認します（[プロパティマネージャー]ビュー-> [その他のウィンドウ]-> [プロパティマネージャー]を有効にできます）。







作成された空のプロジェクトには、make_elementユーティリティを使用して以前に作成されたファイルを含める必要があります。







コンパイルして、すべてが正しい場合、GStreamerプラグインディレクトリにコピーする必要がある既製のDLLを取得します（C：\ gstreamer \ 1.0 \ x86 \ lib \ gstreamer-1.0 \があります）。

念のため、gst-inspect-1.0 dummyを確認してください。 ここで、GStreamerがプラグインについて学んだことを確認します。

最小限のプラグイン機能

プラグインをチェーンに埋め込むには、次のライフサイクルを実装する必要があります。

• フレームワークに自分自身を伝える（クラスを初期化する）
• プラグインインスタンスを初期化する
• プロセススレッド接続プロセス
• 入力で何かをして出力に渡す
• 最後に、占有されているリソースをクリアします

メタデータ

プラグインに関するメタデータを提供するために、機能があります

static void gst_dummy_class_init（GstdummyClass * klass）



この例では、ダミー要素にはブール型のSilentプロパティがあり、ストリームを処理するときにテキストを表示します。

  gobject_class->set_property = gst_dummy_set_property; gobject_class->get_property = gst_dummy_get_property; g_object_class_install_property (gobject_class, PROP_SILENT, g_param_spec_boolean ("silent", "Silent", "Produce verbose output ?", FALSE, (GParamFlags)G_PARAM_READWRITE));
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このコードを使用して、プラグインにSilentプロパティがあり、ブール型であり、デリゲートgst_dummy_set_propertyがそのインストールを担当し、読み取りがgst_dummy_get_propertyであり、読み取りと書き込みが可能であり、デフォルト値がFALSEであることをGStreamer環境に通知します。 次に、接続ポイントをプラグインに登録します-パッド。

  gst_element_class_add_pad_template (gstelement_class, gst_static_pad_template_get (&src_factory)); gst_element_class_add_pad_template (gstelement_class, gst_static_pad_template_get (&sink_factory));
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

入力パッドシンクを定義します。これは常に使用可能です-GST_PAD_ALWAYSで、GST_STATIC_CAPS（ "ANY"）の形式を受け入れます。

 static GstStaticPadTemplate sink_factory = GST_STATIC_PAD_TEMPLATE ("sink", GST_PAD_SINK, GST_PAD_ALWAYS, GST_STATIC_CAPS ("ANY") );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

出力パッドsrcを決定します。これは常に使用可能です-GST_PAD_ALWAYSで、GST_STATIC_CAPS（ "ANY"）の形式を生成します。

 static GstStaticPadTemplate src_factory = GST_STATIC_PAD_TEMPLATE ("src", GST_PAD_SRC, GST_PAD_ALWAYS, GST_STATIC_CAPS ("ANY") );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

インスタンスの初期化

パイプライン構築プロセス中に、GStreamer環境はプラグインインスタンスの初期化関数を呼び出します。

 static void gst_dummy_init (Gstdummy * filter)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

入り口に、満たされる構造物が供給されます。

 struct _Gstdummy { GstElement element; GstPad *sinkpad, *srcpad; gboolean silent; };
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プラグインの入力で発生するイベントを処理するには、適切なデリゲートを指定する必要があります。

 gst_pad_set_event_function (filter->sinkpad, GST_DEBUG_FUNCPTR(gst_dummy_sink_event));
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ストリーム接続

プラグイン入力でイベントが発生すると、この場合、関数が呼び出されます：

 static gboolean gst_dummy_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

まだ何もしていません。

試運転

実行してみてください-gst-launch-1.0 videotestsrc！ ダミー！ autovideosink –v。 このコマンドは、videotestsrcによって生成されたテストビデオストリームをプラグインに転送し、プラグインはautovideosinkビデオプレーヤーを変更せずにさらに転送します。 キーvを使用すると、チェーン全体がどのように処理されるかを確認できます。







テスト画像が表示された場合、プラグインが入力から出力にデータを正常に転送したことを意味します。

この場合、処理の出力には以下が含まれます。

 /GstPipeline:pipeline0/GstVideoTestSrc:videotestsrc0.GstPad:src: caps = video/x-raw, format=(string)I420, width=(int)320, height=(int)240, framerate=(fraction)30/1, pixel-aspect-ratio=(fraction)1/1, interlace-mode=(string)progressive
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

続いて、videotestsrc0という名前のGstVideoTestSrcクラスのインスタンスがpad srcを提供し、フレームサイズが320 x 240などのI420形式のビデオ/ x-rawストリームを発行します。

プラグインは任意の形式を受け入れることができるため、その入力はvideotestsrc0の出力に関連付けられていました。

 /GstPipeline:pipeline0/Gstdummy:dummy0.GstPad:sink: caps = video/x-raw, format=(string)I420, width=(int)320, height=(int)240, framerate=(fraction)30/1, pixel-aspect-ratio=(fraction)1/1, interlace-mode=(string)progressive
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さらに飛び込む

メカニズムが機能していることがわかったので、目標に向けていくつかの手順を実行してみます。 ソリューションの進化を説明するために、別のペインタプラグインをプロジェクトに追加しました。このプラグインは、画像上に長方形を描画します。

ライブラリを使用せずに長方形を描画できますが、OpenCVを使用して実験を続けたいと思いました。



新しいプラグインを追加するとき、その登録の問題があります。 レジストラはプロジェクトごとに1つ必要です。 この点で、両方のプラグインの登録コードを含むGstTestLib.cppファイルが導入されました。

 struct _elements_entry { const gchar *name; GType (*type) (void); }; static const struct _elements_entry _elements[] = { {"dummy", gst_dummy_get_type}, {"painter", gst_painter_get_type}, {NULL, 0}, }; static gboolean plugin_init (GstPlugin * plugin) { gint i = 0; while (_elements[i].name) { if (!gst_element_register (plugin, _elements[i].name, GST_RANK_NONE, (_elements[i].type) ())) return FALSE; i++; } return TRUE; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ペインターの場合、入力ストリーム形式に対してより厳しい制限を作成しました。 これは次のようになります。

 static GstStaticPadTemplate sink_factory = GST_STATIC_PAD_TEMPLATE ("sink", GST_PAD_SINK, GST_PAD_ALWAYS, GST_STATIC_CAPS ( GST_VIDEO_CAPS_MAKE ("{ BGRx }") ) );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

つまり、任意の解像度とフレームレートのBGRx形式のストリーミングビデオを入力できます。 OpenCVはデフォルトでBGRスキームを使用します。 ここで配色と変換について読むことができます 。

興味のあるカメラがRTSP H264ストリームを提供するため、それをデコードし、ビデオ変換コンバーターの入力に供給する必要があります。 テストケースは次のようになります。

 gst-launch-1.0 -v rtspsrc location=rtsp://10.10.0.15 ! rtph264depay ! avdec_h264 ! videoconvert ! painter ! videoconvert ! autovideosink
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

（10.10.0.15-私の内部アドレスは例として取られます）。

これで、入力バッファはBGRx形式になります。 パイプラインの構築方法がわからない場合は、ユニバーサルdecodebinコンテナーを使用できます。 彼は適切なプラグインを選択して接続しようとします：

 gst-launch-1.0 -v rtspsrc location=rtsp://10.10.0.15 ! decodebin ! autovideosink
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

診断出力には–vスイッチが必要です。そこで、パイプラインがどのように形成されるかがわかります。



プラグインに戻ります。 すべての処理は、入力画像に基づいて新しい画像を形成し、その上に長方形を描画することで構成されます。 作業関数の形式は次のとおりです。

 static GstBuffer * gst_painter_process_data (Gstpainter * filter, GstBuffer * buf) { //          GstMapInfo srcmapinfo; gst_buffer_map (buf, &srcmapinfo, GST_MAP_READ); //    GstBuffer * outbuf = gst_buffer_new (); //      IplImage * dst = cvCreateImageHeader (cvSize (filter->width, filter->height), IPL_DEPTH_8U, 4); //      GstMemory * memory = gst_allocator_alloc (NULL, dst->imageSize, NULL); GstMapInfo dstmapinfo; if (gst_memory_map(memory, &dstmapinfo, GST_MAP_WRITE)) { //        memcpy (dstmapinfo.data, srcmapinfo.data, srcmapinfo.size); dst->imageData = (char*)dstmapinfo.data; //   cvRectangle (dst, cvPoint(10,10), cvPoint(100, 100), CV_RGB(0, 255, 0), 1, 0); //         gst_buffer_insert_memory (outbuf, -1, memory); gst_memory_unmap(memory, &dstmapinfo); } cvReleaseImageHeader(&dst); gst_buffer_unmap(buf, &srcmapinfo); return outbuf; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

シンクパッドイベントハンドラーでは、入力ストリーム情報を確認できます。

 static gboolean gst_painter_sink_event (GstPad * pad, GstObject * parent, GstEvent * event) { gboolean ret; Gstpainter *filter; filter = GST_PAINTER (parent); switch (GST_EVENT_TYPE (event)) { case GST_EVENT_CAPS: { GstCaps * caps; gst_event_parse_caps (event, &caps); //  GstStructure *structure = gst_caps_get_structure (caps, 0); //  gst_structure_get_int (structure, "width", &filter->width); gst_structure_get_int (structure, "height", &filter->height); filter->format = gst_structure_get_string (structure, "format"); ret = gst_pad_event_default (pad, parent, event); break; } default: ret = gst_pad_event_default (pad, parent, event); break; } return ret; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

問題は額で解決されます。 実験は成功しました。 GStreamerが開発されると、新しい機会が開かれます。この機会に進み、トピックに興味を持っている場合は、さらに詳しく説明します。

ソース

Gstreamer

GStreamerオブジェクト階層

GStreamerプラグイン開発ガイド

Opencv

プラグインテンプレートリポジトリ

私の情報源