ビデオからすべての「退屈な」フラグメントを効果的に削除するアルゴリズムが開発されました

Youtubeの興味深いビデオへのリンクをたどって、ビデオの作成者がファイル全体をアップロードしたという理由だけで、本当に面白いことが実際に起こっている数秒間、まったく役に立たない「ガベージ」を考えていることを見つけなければなりませんでしたか？ DVRまたはスマートフォンから？ ビデオカメラの数は急速に増加しており、少なくとも2、3の余分な断片をトリミングできる人の数は変わらないようです。 そして問題は、インターネット上で数分間殺されるだけではありません-結局のところ、たとえば、犯罪を解決するために監視しなければならない監視カメラからの数十時間から数百時間のビデオなど、より深刻なケースがあります。



カーネギーメロン大学の科学者は、機械学習に基づいて最も興味深いビデオ断片を抽出するための効果的なアルゴリズムを開発しました。 「LiveLight」と呼ばれる新しいアルゴリズムは、作業の速度と品質においてアナログを大きく上回ります。 LiveLightは、ビデオの特徴的な断片を強調表示し、それらを「辞書」としてコンパイルしてから、それらに基づいて次のフレームを予測しようとします。 これが十分な精度で成功した場合、これはフレームがほとんど新しい情報を追加せず、除外できることを意味します。 フレーム内の動きや明るさ、色、コントラストの急激な変化に対応する「メカニカル」アプローチとは異なり、LiveLightは非常に用途が広い-固定カメラで撮影したビデオでも、揺れているスマートフォンでアマチュア写真でもうまく機能します。







アルゴリズムをテストするために、YouTubeおよびビデオ監視カメラからの20本のビデオが選択され、12分から1時間半続きました。 各ビデオについて、3人が最も興味深い断片の「要約」を手動で編集しました。 平均して、ケースの72.3％で、アルゴリズムの結果は人々の選択と一致しました。 一部のビデオでは、試合は90％以上でした。 LiveLightの結果は、同様の原理に基づいて最も近い競合他社よりも8％優れていますが、10倍遅くなります。



LiveLightは、従来のハードウェアでリアルタイムビデオを処理できます。 科学者は、Intel Core i7プロセッサーを搭載したコンピューターで、MATLAB 7.12のアルゴリズムの実装を3.4 GHzの周波数と16 GBのメモリーでテストしました。 一部のビデオは、リアルタイムの2倍の速さで計算されました。



アルゴリズムの詳細な説明が記載されたPDFは、プロジェクトページのリンクからダウンロードできます 。