ドームPTZインテリジェンス：自動巡回、ターゲット選択、追跡

ドームPTZカメラ （PTZカメラ）の制御システムの自動化は、興味深い関連タスクです。 シチュエーションセンターの集中とビデオ分析の導入により、固定（固定）カメラからのビデオを分析できるだけでなく、オペレーターの介入なしにロボットカメラをターゲットに向けることができるインテリジェントアルゴリズムが必要になります。 デジタルビデオのエンコードおよびデコードサブシステムによって導入される遅延により、PTZカメラを使用してターゲットをリモートで追跡する機能が制限され、ローカルトラッキング自動化の必要性が強化されます。 Habruの投稿には、PTZカメラを知性化する主なタスクの概要、ソリューションへのアプローチ、市場での提案が含まれています。

図 1.自律PTZ追跡の実験的セットアップ：MagicBoxビデオ分析デバイス、Pelco PTZカメラ、およびCNB監視カメラ。	図 2.ゾーンモーション検出器によって制御されるPTZカメラのプレゼンテーション。

自動化タスク

PTZカメラ制御システムの自動化中に解決される主なタスクを検討してください。

1.自動パトロール

パトロール機能の一部として、PTZカメラはオペレーターによって設定された観察プリセットを周期的に「バイパス」し、指定された時間、各位置で停止し、選択されたズームでビデオをブロードキャストします。 この機能は標準であり、ドームPTZカメラのほぼすべてのモデルに組み込まれています。 想定をパトロールすることの利点は、広い範囲をカバーし、各位置の画像を詳細に取得できることです。 この機能の欠点は、現在の位置を除くすべての位置に不感帯が存在することと、シーンの背景が絶えず変化することです。これにより、アナリストとオペレーターによるビデオの分析が複雑になります。 パトロールモードでは、カメラが各位置にある間、短い間隔でゆっくりとしたシーンの変化を認識することは困難です。 オペレーターがカメラを特定の位置に向けると、他の位置で発生したイベントはビデオアーカイブに記録されません。



これらの欠点は、保護されたエリアを完全にカバーするパノラマ式の固定カメラを設置することで解消できます。 PTZカメラは、監視カメラの助けを借りて検出されたターゲットの詳細な画像を取得するためにのみ使用されます。 PTZカメラの耐用年数も、その機械的負荷が軽減されるという事実により増加します。

2. PTZ追跡の自動ターゲット選択

自動ターゲット選択の信号源は次のとおりです。a）ドームと並行して使用される固定監視カメラ。 b）パトロールモードのドームカメラ。 c）他のセンサー、たとえば、周辺システムの電波センサーまたは振動センサー。 テレビまたはサーマルイメージングカメラからのビデオ信号は、ビデオ分析によって処理されます。ビデオ分析は、ターゲットを検出し、オペレーターの介入なしにPTZカメラを指す位置を決定します。 インストールの例、実装されているデータアプローチを図に示します。 1.重複するカバレッジエリアを持つ複数の監視カメラを使用する場合、 マルチチャネル（マルチカメラ）ビデオ分析が望ましいです。 特に重要なのは、頻繁にターゲットを設定するマルチチャネルビデオ分析です。 各カメラによるターゲットの検出が繰り返されると、PTZカメラの非効率的な使用と追跡障害が発生し、アーカイブの遡及的分析が複雑になります。

3.詳細および追跡の自動優先順位付け

監視システムの視野内に複数のターゲットがあり、PTZカメラの数が制限されている場合、PTZカメラ間でタスクを重要度の観点から最適な方法で分散する必要があります。 アルゴリズムは、次のようないくつかの基準を考慮してターゲットの優先度を計算できます。a）ターゲットの位置（保護されたラインまたは最も重要なオブジェクトの近く）。 b）オブジェクトの追跡時間（たとえば、各ターゲットに少なくとも10秒間PTZカメラを追加できます。その後、別のターゲットに切り替えることができます）。 c）人間の行動の分類（たとえば、「ゾーンへの侵入」の行動は、「ゾーンへの進入」よりも優先度が高い場合があります）。 検出されたすべてのターゲットは、インテリジェントビデオ監視システムによる後続の処理のために優先順位付けされたキューに入れられます。

4.自動PTZカメラ選択

アルゴリズムは、優先度の高いキューから重要度の高い順にターゲットを選択し、ターゲットと利用可能なカメラの相対位置を考慮して、利用可能なPTZカメラ間でターゲットを分散する必要があります。 オペレータは、ジョイスティックまたはプログラムインターフェイスを使用してPTZカメラにコマンドを発行することにより、アルゴリズムの動作を妨げる場合があります（図4）。 この場合、アルゴリズムは他のPTZカメラを使用して、オペレーターが不在のままにしたターゲットを追跡する必要があります。 複雑なオブジェクトでは、保護されたオブジェクトとカメラのカバレッジエリアの3次元モデルを使用する必要があります。

5.オートポインティングPTZカメラ

最も単純なケースでは、監視カメラのマルチゾーンモーション検出器を使用してガイダンスアルゴリズムを実装できます。フレームは多くのゾーンに分割され、各ゾーンはPTZカメラの事前配置に関連付けられています。 ゾーン内のモーション検出器がトリガーされると（図2）、PTZカメラは対応する推定に転送されます（図4）。 セットアップ中に設定されるゾーンが多いほど、PTZカメラでより大きな倍率を取得できます。 このアプローチの欠点は、いくつかのターゲットが存在する場合の動作が不安定であり、PTZカメラの選択された仮定に関連するガイダンスの精度が制限されることです。

広い観察空間と多数のカメラを備えたオブジェクトでは、フレームをゾーンに分割せずに、調査カメラの座標をPTZカメラの座標系に変換することをお勧めします（図3.4）。



プロのビデオ分析を使用して、より良いガイダンスを得ることができます。 監視カメラと制御カメラの間の通信は、 すべてのカメラが接続されている現実世界のグローバル座標系を介して確立されます。 2次元のフレーム座標系から3次元の実世界空間への変換の精度により、PTZカメラの近似が制限されます。 変換エラーの場合、高倍率では、オブジェクトが見えなくなる可能性があります。 したがって、監視カメラのビデオ分析には特別な要件が課せられます。ターゲットの高品質なローカリゼーション（セグメンテーション）と座標をPTZカメラにリンクするには、高品質のキャリブレーションが必要です。

6.自動ターゲット追跡

PTZカメラをターゲットに向けた後、トラッキングアルゴリズムを使用して、ターゲットのビデオのフラグメント全体を表示および記録し、その後にPTZカメラを表示することが望ましいです。 追跡アルゴリズムを設定するプロセスでは、ターゲットの増加の程度（したがって、詳細）とPTZカメラオフセットの頻度との間の妥協点を見つける必要があります。 倍率が大きいほど、カメラを動かす頻度が高くなります。



一般的なPTZカメラでは、さまざまな速度でカメラをスムーズに回転させることはできません。 ステップオフセットを使用すると、PTZカメラの位置が「ぎくしゃく」して汚れます。 したがって、適切なトラッキングアルゴリズムは、特定の倍率でのカメラオフセットの数を最小限に抑える必要があります。 追跡アルゴリズムは、ターゲットが一時的に相互に重複している場合、たとえば、人々がお互いに近づいている場合に正しく機能するはずです（ ビデオデモとアルゴリズムについてのスライドを参照）。



PTZ追跡は、次の3つの方法で実行できます。a）PTZカメラを使用する（自己追跡）。 b）監視カメラ（外部追跡）を使用し、c）ハイブリッド方式で。 それぞれの方法には長所と短所があり、それらについては別の出版物で比較します。 自己追跡アルゴリズムは、オペレーターがターゲットを手動で設定し、監視カメラが見つからないか、ターゲットが見えない場合に便利です。 複数のターゲットがある場合、外部追跡アルゴリズムはより安定して機能します。 単一の可視サイズのオブジェクトの場合、移動カメラでの追跡アルゴリズムは、固定カメラでの追跡アルゴリズムよりも劣ります。 後者の場合、アルゴリズムは固定された背景によりよく適応できます。 理論的には、ハイブリッド方式はあらゆる状況で最も安定した追跡を提供するはずですが、既知のシステムにはまだ実装されていません

遅延効果

PTZドライブを使用したターゲット追跡は、リアルタイムの遅延に敏感なタスクです。 IPネットワークの合計ビデオ遅延が500ミリ秒（0.5秒）を超える場合、オペレーターもサーバービデオ分析もカメラを効果的に制御できません。 原則として、送信デバイス（カメラまたはエンコーダー）から約300ミリ秒が入力され、ビデオをデコードするVMSシステムから約100ミリ秒が入力されます。



圧縮前のローカルビデオ処理により、オブジェクトの高品質の追跡を実現できます。 この場合、ターゲットの座標は、20〜40ミリ秒の調査またはPTZカメラに従って計算できます。 このようなシステムは、走っている人や乗り物などの動きの速いターゲットを適切な倍率で伴うことができます。

標準サポート

バージョン1.02以降、ONVIF国際標準により、PTZカメラの自動および手動制御のための統合ソリューションを構築できます。 特に、この規格では、PTZカメラの位置、座標系、および監視カメラからビデオ管理システム（VMS）および/またはPTZカメラを制御するその他のデバイスに移動オブジェクトに関するメタデータを送信するためのフォーマットを制御および読み取るためのコマンドについて説明しています。

活気のあるシーン

公共の場でのインテリジェントPTZ機能の使用は、ビデオ分析追跡の機能によって制限されます。 今日、監視カメラの顔検出器を使用せずに、群衆の中の人に同行できるビデオ分析は市場にありません。 監視カメラの解像度と視野角で顔検出器を使用できる場合、PTZカメラのガイダンスを自動化して、より正確な顔認識と詳細な画像の記録を行うことができます。 さらに、たとえば1人を監視したり、視野内のすべての顔をすばやくスキャンしたりするために、目的のシナリオに合わせてPTZカメラの動作を最適化するには、顔検出器データに従って追跡システムを実装する必要があります。

PTZカメラの特別な要件

Pelco Dインターフェース（RS422 / 485シリアルインターフェース用）またはONVIF（IPネットワーク用）を備えた市販のほとんどのPTZカメラには、制御システムからのフィードバックがありません。特に、現在のカメラ位置を要求してカメラを絶対座標に設定することは不可能です。 この制限により、PTZカメラを使用して調査カメラの座標を追跡することはできません。

市場の概要

DSSLのTrassir ActiveDomeモジュールは、分析座標変換によるPTZ追跡を実装しています。 概要カメラのフレームで、キャリブレーション手順により座標とPTZカメラ間の関係を作成する領域が指定されます。 開発者からの情報によると、ビデオ監視システムの監視カメラの数は無制限である可能性があり、監視対象ゾーンのサイズに関連しています。 たとえば、360度の視野を提供するには、4台のカメラと1台のPTZカメラを設置することをお勧めします。



ITVのIntellect製品は、キャリブレーションプロセスを自動化することなく、監視カメラ用のマルチゾーンモーション検出器を使用してPTZ追跡を実装できます。 これを行うには、次の手順に従う必要があります。1）監視カメラのフレームを動き検出の多くのゾーンに分割します。 2）PTZカメラで適切な仮定をプログラムします。 3）移動ゾーンに対応する事前配置にPTZカメラをインストールするスクリプトを記述します。 2つ以上のターゲットの移動状態でPTZを追跡するには、スクリプトまたはActiveXコンポーネントを使用して、より複雑なロジックを実装する必要があります。



当社は、MagicBox IPビデオサーバーでマルチゾーンモーション検出器と分析座標変換を使用したPTZトラッキングの実装に取り​​組んでいます。 デバイスの現在のファームウェアバージョンでは、ターゲットの座標とPTZドライブの制御を伴うメタデータの転送は、PTZカメラの外部制御ロジックの実装を可能にする国際的なONVIF標準に従って実行されます。 Habrがすでによく知っている ONVIFデバイスマネージャーアプリケーションは、ONVIFクライアントとPTZカメラおよびビデオ分析サービスとの相互作用を示しています（図4）。





図 3.統合ビデオ分析を使用したターゲット追跡。 PTZカメラの自動ターゲット設定のためのONVIFメタデータの2Dおよび3Dターゲット座標の送信。 文字Mは、ターゲットが動いていることを意味します。 文字Sは、ターゲットが停止したことを意味します。 ターゲットの背景が動いています（木の葉が動きます）。





図 4. ONVIF Device Manager経由のONVIFプロトコル経由の手動および自動PTZカメラ制御。

おわりに

ビデオ分析およびその他のセンサーに基づくロボットPTZカメラの自動制御技術は、開発の初期段階にあります。 DSSL、ITV企業のVMSシステムは、PTZカメラの操作を自動化するAggregatorおよびSinesis企業のスタンドアロンMagicBoxデバイスと同様に、ロシア市場で紹介されています。 これらの製品を改善するための有望な分野に注意する必要があります。a）調査カメラの単一スペースで複数のPTZカメラを使用して複数の目標を処理するアルゴリズムの実装 b）半自動モードの開発。たとえば、オペレーターが1つの目標の監視を開始するとき、システムは無料のPTZカメラを使用して他の目標を追跡する必要があります。 c）システムの初期セットアップ（キャリブレーション）のプロセスの簡素化と、自動および半自動PTZ追跡モードでの作業のためのユーザーインターフェイスの最適化。