見えないものを見る

数年前、Habréに2つの記事が掲載されましたが、その中で興味深いアルゴリズムが紹介されました。 しかし、記事は読めませんでした。 「ニュース」（ 1、2 ）のスタイルで、サイトへのリンクはありましたが、 その場で詳細に理解することができました（MITのアルゴリズム） そして魔法がありました。 目に見えないものを見ることができる絶対に魔法のアルゴリズム。 Habréの両方の著者はこれに気づかず、アルゴリズムがパルスを見ることができるという事実に焦点を合わせました。 最も重要なことをスキップします。







このアルゴリズムにより、目に見えない動きを強化して、誰も生きていないものを見せることができました。 上のビデオは、アルゴリズムの2番目の部分のMIT Webサイトからのプレゼンテーションです。 29秒から開始されるマイクロサッカードは、以前は瞳孔に取り付けられたミラーの反射としてのみ観察されていました。 そして、ここで彼らは目を通して見える。

数週間前、私は再びそれらの記事に出会いました。 私はすぐに興味を持ちました：この2年間で人々は何をしましたか？ しかし...空虚。 これにより、来週半のエンターテイメントが決まりました。 私は同じアルゴリズムを作り、それで何ができるのか、そして少なくとも心拍数を測定するために、それがまだすべてのスマートフォンにない理由を把握したいと思っています。



この記事には、多くのマタン、ビデオ、写真、少しのコード、質問への回答が含まれます。



数学から始めましょう（特定の記事には固執しませんが、記事をスムーズにするために、記事のさまざまな部分から干渉します）。 この研究チームには、アルゴリズムの部分に関する2つの主要な作業があります。



1） 世界の微妙な変化を明らかにするためのオイラービデオの拡大 。

2） 位相ベースのビデオモーション処理 。



最初の作業では、より粗くて高速な振幅アプローチが実装されます。 私はそれを基礎として取りました。 2番目の作業では、振幅に加えて、信号位相が使用されます。 これにより、はるかにリアルで鮮明な画像を得ることができます。 上記のビデオは、この作品に特別に添付されました。 マイナスはより複雑なアルゴリズムと処理であり、明らかにビデオカードを使用せずにリアルタイムから飛び出します。

始めましょう

モーションエンハンスメントとは何ですか？ 動きを強化するのは、信号がどの方向にミックスされるかを予測し、この方向にさらに移動するときです。







1次元のレシーバーがあるとします。 この受信機では、信号I（x、t）= f（x）が表示されます。 からの画像は黒で描かれます（ある瞬間t）次の瞬間、信号I（x、t + 1）= f（x +Δ）（青）。 この信号を増幅するには、信号I '（x、t + 1）= f（x +（1 +α）Δ）を受信することを意味します。 ここで、αはゲインです。 テイラー級数に入れると、次のように表現できます。







させてください：







Bとは 大まかに言えば、これはI（x、t + 1）-I（x、t）です。 描く：







もちろん、これは正確ではありませんが、大まかな近似として表示されます（青いグラフは、このような「近似」信号の形状を示しています）。 Bに（1 +α）を掛けると、これが信号の「増幅」になります。 取得します（赤いグラフ）：







実際のフレームでは、いくつかの動きがあり、それぞれ異なる速度で動きます。 上記の方法は線形予測であり、中断することなく中断します。 しかし、仕事で使用されたこの問題を解決するための古典的なアプローチがあります-周波数特性（空間的および時間的の両方）の動きを分解するために。







最初の段階で、画像は空間周波数に分解されます。 さらに、この段階では、微分∂f（x）/∂xの導出を実装します。 最初の作業では、実装方法については説明しません。 2番目の作業では、位相アプローチを使用して、振幅と位相は異なる次数のガボアフィルターと見なされました。







それは私がフィルターを取って行ったことです：







そしてその値を正規化して







ここで、lはフィルターの中心からのピクセル距離です。 もちろん、1つのウィンドウ値σに対してのみこのようなフィルターを使用して、少しごまかしました。 これにより、計算が大幅に高速化されました。 これにより、わずかにぼやけた画像になりますが、高精度を追求しないことにしました。



数式に戻ります。 タイムフレームシーケンスの周波数ωで特性応答を与える信号を増幅するとします。 σウィンドウを備えた特性空間フィルターは既に選択されています。 これにより、すべてのポイントでおおよその差分が得られます。 式から明らかなように、時間関数のみが残ります。これは、モーションとゲインに応答します。 増幅したい周波数のサインを掛けます（これが時間応答を与える関数になります）。 取得するもの：







もちろん、元の記事よりもはるかに簡単ですが、速度に関する問題は少し少なくなります。

コードと結果

最初の記事のソースは、Matlab：のオープンアクセスに掲載されています。 どうして車輪を再発明し、自分で書くのか？ しかし、主にMatlabに関連するいくつかの理由がありました。

1. 後で合理的で適用可能な何かを行うことが頭に浮かんだ場合、MatlabのコードはC ++で数時間で移植されるC＃+ OpenCVよりも使用がはるかに困難です。
2. 元のコードは、一定のビットレートを持つ保存済みビデオの操作に焦点を合わせていました。 可変ビットレートのコンピューターに接続されたカメラを使用するには、ロジックを変更する必要があります。
3. 元のコードは、最も単純なアルゴリズムを実装しており、利点はありません。 パンを使用してもう少し複雑なバージョンを実装することは、すでに作業の半分です。 さらに、アルゴリズムがオリジナルであるという事実にもかかわらず、その入力のパラメーターは記事と同じではありませんでした。
4. 元のコードは定期的にコンピューターをフリーズさせました（ブルースクリーンがなくても）。 たぶん私とだけですが、それは不快です。
5. 元のコードでは、コンソールモードのみでした。 Matlabですべてを視覚的にすることは、VSよりもはるかに悪いことですが、すべてを書き換えるよりもはるかに長くなります。

ソースをgithub.comに投稿し、十分に詳細にコメントしました。 このプログラムは、カメラからのビデオのキャプチャとその分析をリアルタイムで実装します。 最適化は少し余裕をもって行われましたが、パラメーターを拡張することでフリーズを達成できます。 最適化の名前にクリップされているもの：

1. サイズを縮小したフレームを使用してください。 作業を大幅にスピードアップします。 フォームにサイズコントロールを表示しませんでしたが、コードを開くと、「_ capture.QueryFrame（）。Convert <Bgr、float>（）。PyrDown（）。PyrDown（）;」 これです
2. 1つの空間フィルターのみを使用してください。 望ましい動きがわかっている状況では、損失は重大ではありません。 フォーム（ガボールフィルター波長）からフィルターパラメーターを制御します。
3. 時系列を強調する、1つの周波数のみの使用。 もちろん、パフォーマンスをほとんど損なうことなくスペクトルで事前に計算されたウィンドウで畳み込みを行うことはできましたが、この方法もうまく機能します。 フォームから、スライダーまたは制限値の入力によって制御されます。

ちょっとした発言。 すべての結果は、自宅の従来のウェブカメラで取得されました。 適切なパラメーター+三脚+適切な照明+ 50 Hz干渉の抑制を備えたカメラを使用すると、品質が大幅に向上します。 私の目標は、美しい写真や改良されたアルゴリズムを得ることではありませんでした。 目標は、自宅で結果を達成することです。 まあ、ボーナスとして、Starctaft 2をプレイするときのパルスも記録したいと思います。



その結果、作業のロジックは次のようになります。







すべてが恥ずべきことです。 たとえば、フレームで増分を合計することは、一般的に次のように実装されます。

for (int x = 0; x < Ic[ccp].I.Width; x++) for (int y = 0; y < Ic[ccp].I.Height; y++) { FF2.Data[y, x, 0] = Alpha * FF2.Data[y, x, 0] / counter; ImToDisp.Data[y, x, 0] = (byte)Math.Max(0, Math.Min((FF2.Data[y, x, 0] + ImToDisp.Data[y, x, 0]), 255)); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

（はい、OpenCVではこれが最良の方法ではないことを知っています）。



コードの90％がコアではない場所に、キットがあります。 しかし、カーネルの実装は良い結果をもたらします。 呼吸中に胸が数十センチ膨張する様子、静脈が膨張する様子、頭が脈拍に合わせて揺れる様子を見ることができます。











ここでは、なぜ頭がパルスで揺れるのかを詳しく説明します。 実際、これは心の詰まりの復活です：

美しさについて少し

もちろん、MITは美しい結果が大好きです。 そして、したがって、それらをできるだけ美しくするようにしてください。 その結果、見る人は、この特殊性が全体であるという印象を持っています。 残念ながらいいえ。 腫れた静脈は、適切に設定された照明でのみ見ることができます（影は肌の模様を描くはずです）。 顔色の変化-適切な光と心臓に明らかな困難を抱えている人（ビデオではこれは太りすぎの男性と未熟児）で、自動補正なしの良いカメラでのみ。 たとえば、すべてが心臓で問題ない黒人男性の例では、肌の明るさの変動は見られませんが、微動による影の変化の強化が見られます（影は上から下にきちんとあります）。

定量的特性

しかし、まだ。 ビデオは、呼吸と脈拍をはっきりと示しています。 それらを取得してみましょう。 頭に浮かぶ最も簡単なことは、隣接するフレーム間の差の合計です。 呼吸中はほぼ全身が振動するため、この特性は顕著です。

フーリエ変換を介してグラフを実行し、スペクトルを計算します（16秒のセグメントにわたって計算されたスペクトルを合計することにより、統計が約5分間グラフに収集されます）。







ノイズの特性ではなく、0.6〜1.3の周波数で明確なピークが見られます。 呼吸は正弦波のプロセスではなく、2つの明らかなバースト（吸入-呼気中）があるプロセスであるため、差分画像の周波数は呼吸の2倍の周波数に等しくなければなりません。 私の呼吸数は30秒で10呼吸（0.3 HZ）前後でした。 彼女の倍増は0.6HZです。 これは、検出されたスペクトログラムの最大値にほぼ等しくなります。 しかし、もちろん、正確な値について話す必要はありません。 呼吸に加えて、身体の多くの細かい運動能力が伸ばされており、それが写真を著しく台無しにしている。

2.625HZに興味深いピークがあります。 どうやらこれはグリッドの先端を突き抜けてマトリックスに到達しているようです。 マトリックスに沿ってストライプがクロールし、この周波数で最大値が得られます。



ところで、ダブルハートレートはほぼ同じ範囲にある必要があります。つまり、この方法では動作しません。 そして本当に：







このようなスペクトルでパルスを見つけることはできません。



MITの研究の1つでは、心拍数を測定するための別の方法が示されています。顔の光束を計算し、この光束の周波数によって決定することです。 だから私はやった（スペクトルもグラフ上にある）：









スペクトルの最大数を延期したグラフでよく見られます。







なぜ脈拍数での最大値* 3私は説明する方法がわかりませんが、この最大値は間違いなくそこにあり、脈拍に結びついています:)

この方法で脈拍を得るには、動かずにまっすぐに座る必要があることにのみ注意したいと思います。 スタークラフトをプレイするとき、これは不可能であり、周波数は削除されません。 ええと...そして、そのようなアイデア！ 興味深いことになったので、心拍数モニターを入手する必要があります！

だから、結果

その結果、アルゴリズムの境界について自分の意見を明確に形成し、どのような制限があるのか​​が明らかになりました。

心拍数の測定で人気が出なかったのはなぜですか？ コンピューターのWebカメラの品質は、国境で​​十分であるか、十分ではありません。 Androidには十分なパフォーマンスがありません。 専門的な測定のための特別な機器は残っています。 しかし、それらは非常に高価で、外部条件（フレア、明滅する光、暗闇、揺れ）に対して不安定であり、品質は実績のあるパルスシューティングデバイスの品質よりも低くなります。

アルゴリズムが家、橋、クレーンの変動を評価するために使用されないのはなぜですか？ また。 特別な機器は安価で、精度が高くなります。

しかし、それはどこで使用でき、まったく可能ですか？ 可能だと思います。 可視性が必要なすべての場所。 科学ビデオ、教育プログラム。 精神科医、心理学者、 お迎えの男性のトレーニング（人の最も小さな動きが見え、表情が増幅されます）。 交渉を分析するため。 もちろん、この場合、アルゴリズムの単純なバージョンではなく、最後の作業で使用されているフェーズアプローチに基づいたバージョンを使用する必要があります。 同時に、すべてをvidyuheで並列化しない限り、これをすべてリアルタイムで確認することは難しく、パフォーマンスは十分ではありません。 しかし、あなたは事実の後に見ることができます。

月の下に新しいものは何もない

仲間の作品を読んでビデオを見ると、疑念が忍び込んでくる。 どこかでそれを見た。 見て、考えて、考えてください。 そして、同じアルゴリズムを使用して、月の動きを取り、安定させ、大気ノイズを除去する方法のビデオを示します。 そして、それはフラッシュのようなものです。「はい、これはノイズ低減アルゴリズムであり、正のフィードバックのみを備えています!!」 そして、寄生的な動きを抑える代わりに、それらを強化します。 α<0をとると、接続は再び負になり、動きはなくなります！

もちろん、動きや揺れを抑えるアルゴリズムの数学とアプローチは少し異なります。 しかし、結局のところ、本質的には時空管のまったく同じスペクトル分析です。

ここでアルゴリズムがハングしたと言うのは馬鹿げていますが。 MITは、1つの小さな興味深い機能に本当に気づき、それを開発し、そのような美しく魔法の絵で全体の理論を得ました。

そして最後に：プログラマー、注意してください！

このアルゴリズムは、サイト上のマークによって判断され、特許を取得しています。 教育目的での使用は許可されています。 もちろん、ロシアではアルゴリズムの特許はありません。 ただし、それに基づいて何かを行う場合は注意してください。 ロシア以外では、これは違法になる可能性があります。

地下室

交通補強に関するMIT研究に関するサイト 。

私のソース 。



Z.Yu。 そして、心拍数モニターについて教えてください。これは、コンピューター上のデータを破棄する可能性があり、できればAndroidインターフェースにはどのスレッドがありますか？