CaptureManager SDK

この記事では、私の「趣味」プロジェクトであるWindowsデスクトッププラットフォーム用のCaptureManagerを紹介します。 このプロジェクトは、開発中のアプリケーションで幅広いビデオおよびオーディオソースのサポートを含めるためのシンプルな機能セット（SDK）です。



CaptureManagerは 、旧式のDirectShowに代わる新世代のメディアテクノロジーであるMicrosoft Media Foundationの上に構築されています。 Microsoft Media Foundationは、Windows Vistaに最初に含まれ、Windows 7以降のビデオおよびオーディオソースのサポートを受けました。MicrosoftMedia Foundationの利点は、マルチプロセッサシステムに最適なメディア処理パイプラインの新しいモデル、およびその継続的な開発とMicrosoftからのサポートです。



CaptureManagerプロジェクトでは、Microsoft Media Foundationを使用してアプリケーションを作成しているときに発生したいくつかの問題を解決したかったのです。

1. COM機能の実装。 奇妙に聞こえるかもしれませんが、Microsoft Media Foundationテクノロジにより、Microsoftは同じアプリケーションモデルであるCOMから後退しています。 もちろん、Microsoft Media FoundationのすべてのクラスインターフェイスもすべてIUnknownから派生しており、GUIDに関連付けられています。 ただし、クラス自体は、静的にリンクされたシステムライブラリからの直接的な「C」関数呼び出しによって作成されます。 これは、 CoCreateInstanceを呼び出してCOM抽象化を介してアクセスする必要があるDirectShow実装とは異なります。 私の意見では、Microsoftによるこの決定は欠点です-まず、Microsoft Media FoundationをC / C ++で書かれていないプロジェクト、たとえばC＃プロジェクトなどに統合することは困難ですTLBから必要なインターフェイス定義を生成します。 第二に、ある関数が静的にリンクされたライブラリから別のライブラリに移行されると、次のバージョンのWindowsとのアプリケーション互換性が失われるリスクが高くなります-Microsoft Media Foundationでは、これが一度発生しました： Windows 7でのライブラリの変更 -特定のMedia Foundation関数は以前のバージョンとは異なるDLLファイルからエクスポートされました。 "。
2. 私の意見では、Microsoft Media Foundationには機能とインターフェイスがたくさんあります。それらのほとんどを追加の抽象化レベルの背後に隠して、ビデオとオーディオデータのキャプチャと記録のタスクを最適化するとよいでしょう。
3. 私の意見では、重大な欠点は、Microsoft Media Foundationでのビデオとオーディオの記録のサポートの制限です。 Microsoft Media Foundationは、グラフトポロジとSourceReader-SinkWriterを介して、メディアを操作するための2つのメカニズムを提供します。 最初の方法では、コンバーターノードから必要な構成を組み立て、必要な構成を柔軟に構成できます。 2番目の方法では、 SourceReaderからメディアの一部を受信し、開発中のアプリケーションのコンテキストでSinkWriterに送信します。 私の意見では、グラフトポロジは非常に便利であり、ユーザーの要求に応じて必要なレコード構成を簡単に生成できます。 ただし、Microsoftのこのソリューションでは、記録タスクを解決できません-事実、 MFCreateMediaSession関数のIMFMediaSessionインターフェイスを使用したトポロジに基づいて記録作業セッションを作成するオブジェクトは、メディアデータの再生用に最適化されており、たとえば、最後に必要な操作を実行しませんファイルへの書き込み、あなたがしたいメトリックの計算-流れの平均速度を計算し、プレイ時間を計算する-しかしMFCreateMediaSessionのIMFMediaSessionこのんではない機能-操作ベスメトリックを計算する問題を再現します yslenna。 タイミングにも問題があります-MFCreateMediaSession関数のIMFMediaSessionは、ゼロ時間からの再生の開始を考慮します-これは、メディアファイルを再生するときに論理的です。 ただし、Webカメラやマイクなどのビデオおよびオーディオソースは現在のシステム時間を使用します。MicrosoftMedia Foundationのドキュメントによると、これらはゼロ時間に初期化する必要がありますが、この要件を満たしていません。

私は、上記の問題が重要であり、それらを解決することが望ましいと多くの人が同意するだろうと思う。 これがCaptureManagerプロジェクトの開始の理由でした（2つのWebカメラからビデオをキャプチャし、このビデオを1つのメディアファイルに記録するタスクも同様です）。



要するに、 CaptureManagerとは何ですか ：

1. 本格的なCOMインプロセスサーバー-またはActiveXと呼ばれることもあります 。 TLBが含まれており、DirectShowとともにC ++、C＃、Pythonのプロジェクトに統合できます。
2. CaptureManagerはMicrosoft Media Foundationライブラリに関連付けられていますが、「遅延リンク」を使用します-Microsoft Media FoundationライブラリはCaptureManagerコードにロードされ、実行時に対応する機能にリンクされます。 ライブラリで関数を見つけることができない場合、エラーコード-E_NOTIMPLを返すコルク関数に置き換えられます。 したがって、 CaptureManagerは、あるMicrosoft Media Foundationライブラリから別のライブラリに関数を移行する状況で、ターゲットアプリケーションがクラッシュするリスクを減らすことができます。
3. CaptureManagerには、簡素化されたインターフェースのセットがあります。 重要な機能は、XMLドキュメント形式でメディアソース、コーデック、およびメディアコンテナを記述するデータの生成です。特にWPFなどの高レベルAPIでは、多数のVariantおよびPropVariantよりもXMLドキュメントの処理がはるかに簡単です。
4. CaptureManagerには、元のMicrosoft Media Foundationにはない多くのビデオおよびオーディオソースが含まれています。 スクリーンキャプチャ -ディスプレイ（または複数のディスプレイ）から画像をキャプチャするため、 AudioLoopキャプチャ -オーディオ出力からオーディオをキャプチャするため、 DirectShow- Crossbarキャプチャ -ビデオをキャプチャするためビデオキャプチャカードから。
5. CaptureManagerには、一連の極端なフレームを取得できる「フレームバッテリー」が含まれています。
6. CaptureManagerには、記録タスク用に最適化されたIMFMediaSessionインターフェースの独自の実装が含まれています。 MFCreateMediaSession関数を呼び出すための完全な拒否を実装しました。
7. CaptureManagerには、Webカメラのビデオプロセッサのパラメーターとカメラのパラメーター（フォーカス、露出など）を変更する機能が含まれています。

CaptureManagerの機能は 、GitHub- CaptureManager-SDK-Demosで利用可能なデモプログラムで提供されます 。

• CPPDemos：
  
  
  1. EVRWebCapViewerViaCOMServerは、 CaptureManagerレンダラーを介してビデオソースを表示する機能を示すためのシンプルなC ++アプリケーションです。
  2. OpenGLWebCamViewerViaCOMServerは、OpenGLレンダラーを介してビデオソースを表示する機能を示すためのシンプルなC ++アプリケーションです。
  3. TextInjectorDemoは、テストをカメラからのビデオストリームと混合する機能を示すためのシンプルなC ++アプリケーションです。
     
     
     
     
     
     
  4. WaterMarkInjectorDemoは、カメラからのビデオストリームと画像を混合する機能を示すためのシンプルなC ++アプリケーションです。
     
     
     
     
     
     
  5. EVRVieweingAndRecordingは、ビデオおよびオーディオソースから1つのメディアファイルに記録する機能を示すためのシンプルなC ++アプリケーションです。
     
     
     
     
     
     
  6. NativeMediaFoundationPlayerは、共通のレンダラーで複数のビデオファイルの再生を示すためのシンプルなC ++アプリケーションです。
     
     
     
     
     
     
  
  
  
• CSharpDemos：
  
  
  
  
  1. WPFMultiSourceRecorderは、1つ、2つ、またはそれ以上のビデオおよびオーディオソースから1つの共通メディアファイルに記録する機能を示すための単純なC＃アプリケーションです。
     
     
     
     
     
     
  2. WPFMediaFoundationPlayerは、共通のレンダラーで複数のビデオファイルを再生する方法を示す単純なC＃アプリケーションです。
     
     
     
     
     
     
  3. WPFVideoAndAudioRecorderは、ビデオおよびオーディオソースから1つのメディアファイルに記録する機能を示すための単純なC＃アプリケーションです。
     
     
     
     
     
     
  4. WPFIPCameraMJPEGMultiSourceViewerは、いくつかのインターネットカメラからビデオをキャプチャし、それらを共通のレンダラーで再生する機能を示すための単純なC＃アプリケーションです。
     
     
     
     
     
     
  5. WPFMultiSourceViewerは、いくつかのビデオをキャプチャし、それらを共通のレンダラーで再生する機能を示すためのシンプルなC＃アプリケーションです。
     
     
     
     
     
     
  6. WPFViewerEVRDisplayは、 CaptureManagerレンダラーをWPFアプリケーションに統合する機能を示す単純なC＃アプリケーションです。
     
     
     
     
     
     
  7. WPFIPCameraMJPEGViewerは、インターネットカメラからビデオをキャプチャする機能を示す単純なC＃アプリケーションです。
     
     
     
     
     
     
  8. WPFImageViewerは、ファイルから画像をキャプチャする機能を示す単純なC＃アプリケーションです。
     
     
     
     
     
     
  9. WindowsFormsDemoは、ビデオソースの表示と記録の機能を示す単純なC＃アプリケーションです。
     
     
     
     
     
     
  10. WPFWebCamSerialShotsは、「フレームバッテリー」機能を示すためのシンプルなC＃アプリケーションです。
      
      
  11. WPFWebCamShotは、ビデオソースからフレームをキャプチャする機能を示すためのシンプルなC＃アプリケーションです。
  12. WPFRecorderは、ビデオソースの表示および記録の機能を示すための単純なC＃アプリケーションです。
      
      
      
      
      
      
  13. WPFWebViewerEVRは、 CaptureManagerレンダラーを介してビデオソースを表示する機能を示すための単純なC＃アプリケーションです。
      
      
      
      
      
      
  14. WPFWebViewerCallbackは、 CaptureManagerストリームからコピーすることにより、ビデオソースからフレームをキャプチャする機能を示すための単純なC＃アプリケーションです。
      
      
      
      
      
      
  15. WPFWebViewerCallは、 CaptureManagerメソッドへの直接呼び出しを通じてビデオソースからフレームをキャプチャする機能を示すための単純なC＃アプリケーションです。
      
      
      
      
      
      
  16. WPFSourceInfoViewerは、使用可能なビデオおよびオーディオソースに関する情報を取得する機能を示すための単純なC＃アプリケーションです。
      
      
      
      
      
      
  
  
  
• PythonDemos：
  
  
  1. CaptureManagerSDKPythonDemoは、ビデオソースの表示および記録の機能を示すためのシンプルなPythonアプリケーションです。
     
     
     
     
     
     
  
  
  
• QtMinGWDemos：
  
  
  1. CaptureManagerSDKQtMinGWDemoは、ビデオソースの表示と記録の機能を示すためのシンプルなC ++ Qtアプリケーションです。
     
     
     
     
     
     
  
  
  
• UnityDemos：
  
  
  1. UnityWebCamViewerは、 Unity3Dでビデオソースを操作する機能を示すシンプルなアプリケーションです。
     
     
     
     
     
     
  
  
  

プロジェクトの詳細については、 CaptureManager SDK Webサイトをご覧ください。 NuGetには、C＃ CaptureManagerシェルがあります。