Ekspozzer-ビデオからパノラマを作成し、ビデオストリームを平均化する

こんにちは、Habrahabr！









私はすぐに言わなければならない：記事には驚異的なものは何もない。 この記事は、ビデオからパノラマを作成し、ビデオストリーム（フレーム）を一時的に平均化するために膝の上で開発されたプログラムに専念します。 このプログラムは、仮想スリットカメラとしても使用できます。 この記事は、ビデオと画像処理、およびhic-artが好きなすべての人にとって興味深いものになります。 非常に単純なプログラムは非常に興味深い結果です。 記事の最後にダウンロードリンクがあります。 注意トラフィック！



優れた、そして最も重要なこととして、 人気のあるソフトウェアは、そのようなものだけでなく、特定の問題を解決するための新たなニーズから生まれていることに気付きました。 他の人がどうするかはわかりませんが、それは常に私に起こります。 そして、この話も例外ではありません。



かつて、面白いグラフィックフォーラムで、「午後に空の赤の広場の画像を取得することは不可能です」と言っていた男と偶然に紛争に巻き込まれました。 もちろん、声明は非常に物議を醸しています：はい、日中そこにいる人々はdofigですが、あなたは誰もが去るように頼むことができます。 理論的には可能です。 もちろん、単なる人間は成功しませんが、もしあなたが何らかの種類のUtinであるならば、一生懸命働いて必要な人に電話をかけて、そのようなものを組織することができます。 そして、空の赤の広場の「イメージ」とはどういう意味ですか？ 画像は写真ではなく、紙の上に紙の上にフリーハンドの画像を描くことができます。 一般的に、私は過去数年間の紛争の詳細をすべて覚えていませんが、それは非常に暑かったので、本の虫はこの正確な声明に出ました（およそ）：「赤の広場の膨大な数の人々のため、写真だけに頼ることは不可能であり、暖かい観光シーズン（夏など）の昼間、政府に対する影響力を持たない単純な人物である、全高に立っている人物の視点から、1人の人物がいない赤の広場の写実的な画像（写真）を取得します。 さて、明確化！ 文字通り合法。 今、すべてが所定の場所に落ちました。



反対者は、このような写真は、Photoshop（または別の画像編集プログラム）に頼って、赤の広場の写真からすべての人を削除することによってのみ撮影できると主張しました。 この手順は長く、骨の折れる作業であり、まともなショットを得るには、経験豊富な編集者が少なくとも3〜4時間作業する必要があります。 はい、彼は間違いなく正しい、それを行うことができます。 しかし、もしこの人（芸術家であり職業の写真家）が数学を少しでも知っていたり、初歩的なプログラミングの可能性を想像していたなら、彼はそのようなことを言うことを決して引き受けなかっただろう。 特に議論のために。 そして、私は彼の反対を証明しました。



カメラを手に持って、特に写真を撮ったことがあれば、おそらく博覧会とは何か知っているでしょう。 非常に単純な場合（「自動」モードで撮影している人向け）-これはフレームが撮影された時間です。 確かに、動きのある「ぼやけた」写真を複数回取得しています。 こっち！ 不適切に設定されたのは露出だけでした。大きすぎました。 そして、突然写真が暗くなりすぎた場合、露出が小さすぎる可能性があります。 これは非常に幼稚な言語で話しているので、誰にでもはっきりわかるようになりました。現在、絞りの設定やその他の撮影の微妙な点には触れません。 それで、博覧会について考えるだけで、この論争の問題を解決するという考えが思い浮かびました。



私は、赤の広場の非常に、非常に、すっごく長い（露出の大きい）写真を撮ったとしても、非常に非常に非常に非常にきつく閉じた開口部があるとしたらどうでしょうか（露出オーバーがないように）。 結局、フレーム内を歩いた人々は単純に潤滑され、永続的な詳細（建物、クレムリン、広場）はそのまま残ります。 はい！ これがソリューションの鍵です。 どういうわけかこれを試してみるべきです。 しかし、どのように？ 赤の広場に行く機会がありません。 実験のためだけでなく、一般的に、「実験のため」は言うまでもありません。 さて、他のエリアはチェックに適していますが、これは問題ではありません。 問題は、100万年前に購入したCanon 550Dが最大露出30秒で写真を撮ることができることです。これは実験には非常に小さいです。 実験のために新しいカメラを購入することもできません。 30分くらいの場所に、本当に長い露出が必要です。 広場の人々が自分の位置を正確に変更し、フレームの先頭にいた場所を離れる可能性を高めるため。 大まかに言えば、フレームの各ポイントで30分以内に、人よりも広い領域を取得する必要があります。 少ない血で写真を撮るという問題を解決する方法を考え始めましたか？



しかし、私たちは生まれていません！ 結局のところ、私たちは少数の人が利用できる最も強力なツール-プログラミングを手にしています！ 私が決めたのは、任意のシャッタースピードで画面を単純に撮影する「仮想」カメラを作成できるということです。 画面から記録するためのこれらすべてのプログラムを知っています：SnagIt、BandiCam、FRAPS ... 1つのフレーム（写真）またはフレームのシーケンス（ビデオ）を記録するのではなく、情報を蓄積します（本質的には露出です） 、電子のみ）、記録の最後に受信した情報を平均します。 次に、画面が単にそのエリアのカメラからの録画を再生する場合、これは必要な画像になります！ やった！ 問題は解決されます...理論的に。 必要なソフトウェアを作成し、固定カメラからビデオを検索するだけです。これは、30分床を占有します。



プログラムへのリクエストがささいなものであることは良いことであり、私は夕方に必要なものを簡単に実装しました。



10億個あるので、ビデオについても質問はありませんでした。 Webカメラまたは監視カメラからの多かれ少なかれ良い録画は、主に固定されており、クリップ全体を移動しないため、適切です。



実験1.それで、実験が始まりました。 赤の広場のタイムラプスビデオを見る前に。 ただし、ビデオでおなじみの場所が表示されない場合でも、急いで驚かないでください。 世界の赤の広場は（ サンクトペテルブルクや他の痛みを伴うおなじみの名前のように）単独ではありません。 ビデオに示されている赤の広場は、ワシントン大学の近くにあります。 これは非常に混雑した場所で、大学や街のランドマークでもあります。 広場には、常に多数の学生、観光客、旅行者、志願者、教師、通行人がいます。 ところで、興味深い事実：古代の「赤」という言葉は「美しい」を意味していたため、赤の広場は「赤」であり（そして、広場自体はもともと白で作られ、白いレンガで作られていました）、ワシントン大学の近くの赤の広場は「赤」です赤みがかった石でできています。



ところで、ここに皮肉があります：このtipikとの論争では、赤の広場が何を意味するかを正確に指定しませんでした。 私たちのネイティブは単に意味されました。 世界にはいくつかの赤の広場があるので、おそらくその中にそのような少数の人がいて、その日の特定の瞬間には人がいないでしょう。 それからあなたは写真を撮ることができ、それから私は自動的に紛争に勝ちます。



さて、叙情的な余談と皮肉なことに。 赤の広場を平均化した後、次のようになりました。



ビデオの持続時間はわずか17秒ですが、タイムラプスであるため、実際にはビデオには17秒をはるかに超える経過時間が表示されます。 たぶん5分、多分15分。













結果からわかるように、写真では、ビデオ全体を通して同じ場所に座っている非常に長い人しかいませんでした。 それらのいくつかは立ち上がって去り、いわゆる「ゴースト」が得られます。 一般に、結果はほぼ必要なものです。



次に、ビデオに写っている人の数と写真に写っている人の数を比較します。 そして、Photoshopでどれだけ苦労し、人を切り取って、切り取った断片に人がいないフレームを探し、これらの断片を空の部分に挿入します。さらに、フレームからフレームへの背景照明もあるため、挿入が破れます。雲の影、記録エラーなどによる変更。 そして、私のspospozzerはわずか17秒でそれをやりました。 スムーズに、多くの作業なしで判明しました。 かっこいい かっこいい！ そして、これはほんの始まりです！ 実験2.赤の広場に戻りましょう。 固定カメラを使用して、正方形自体から十分に長いビデオショットを見つけることができませんでした。 でも時間の経過：一般的に、彼らはいつもカメラをスムーズに動かすことに集中します。 私はこのビデオだけを見つけました：





ビッグストーンブリッジの膨大な数の車に注意してください。













雲から舞う影にもかかわらず、非常に素晴らしく滑らかになりました。



そして、平均化した後、車はどこに行きましたか？ そうです：消えました。 写真がどれだけきれいかを確認してください。 さて、午後にそのようなフレームをキャッチすることは可能ですか？ もちろん、どのメソッドにもエラーがあります。 私もそうです。いや、いや、場所によっては車や人の「幽霊」が残るでしょう。 実際、計算は非常に簡単です。 100フレームのビデオで人が5フレームで見つかった場合、その人は100-5 = 95％ゴーストになります。 つまり、情報の95％がエリアから、5-人から受信されます。 この割合では、実際には見えません。 そして、一般的に人と車は常に動いているため、その割合はさらに少なくなります！ ただのチョコレート！ 実験3.先に進み、世界で最も人口密度の高いエリア、ニューヨークタイムズスクエアを利用します。





ここのすべてが文字通り人や機械でいっぱいです。













そして出口で彼らは孤独なパトカーだけを受け取りました...



実験4. ...そして、左側の通りに幽霊のような汚れの束。 まあ、これは不完全な方法です。 その他：





ビデオの持続時間はわずか16秒です。













したがって、結果は悪化します！



実験5。



忙しいウォール街。













結果は印象的です。 純粋に！ これは、ほとんどすべての人が動き、静止しないことを意味します。



ここではすべてが明らかです。露出が短く、オブジェクトの動きが遅いほど、より多くのゴ​​ーストが表現されます。 逆もまた同様です。露出が長いほど、オブジェクトの動きが速いほど、背景がよく見えます。 この場合、 固定カメラで撮影した長時間のビデオが理想的です。 まあ、そのようなビデオは何千もあります。



実験6.他の結果を見始めます。 これは、事故が発生した交差点監視カメラからのビデオです。





平均20〜40秒、わずか20秒。













白い車の幽霊との素敵できれいなジャンクション。



実験7そして、これは非常に理想的な例です。ドイツ、アルンズバーグの混雑した通りから録画した長時間経過ビデオ：





旗が風になびく様子に注目してください。













その結果、彼らは平均的な写真に手を振る。 私はかろうじて人々を観察します。



実験8.ええと、エッフェル塔なしの場所！





この時間の経過はほぼ1日続きます！ 理想的ですが、昼から夜に、またはその逆に切り替えると、平均化はどのように動作しますか？













それは非常に忍耐強く神秘的に判明しました。 いくつかの不明確な時刻。



実験9.さて、あなたはただ遊んで平均を平均することができます。 たとえば、旅行というタイプが毎日自分の写真を撮るようなビデオがあります。 何が起こるか見てみましょう。





面白いビデオ。 私も欲しい！













それは非常にサイケデリックでした。 それは私には思えるか、彼はイエスのように見えます。 それとも、イエス自身は一種の平均的なイメージですか？



実験10.なぜ、これで水面下を見ることができるのか!!! ここに私が意味するものがあります：海が揺れるとき、波は底のパターンを屈折させます。 もちろん、見えない限り。 次に、露出を大きくして平均的な歪んだパターンを撮影すると、水の影響を受けずに底の画像が得られます。 かっこいい！ 波打つ水を通して底が見えるクールで長いビデオを選択し、見てください：





水の平らな表面を見つけてみてください。 動作しません！













平均器は、水面の変動を平均化することにより、屈折を平均化します。 底面のパターンと鏡のような滑らかな水面が見えます！



実験11.そして、車両の窓からショットした動きを平均すると、急速な前進の効果を得ることができます。 私たちは電車からビデオを取り、文字通り平均1秒です！













実験12。













良い効果が得られます！ 素晴らしい。 私はさまざまなビデオを試し始め、興味深い結果を得ました。 しかし、私がそれを手に入れたとき、どういうわけか十分ではないように思えました。 クールですが、十分ではありません。 そして、別の興味深いアイデアが思いつきました。 動いている列車の窓からのビデオショットを見て、平均化したとき（急速な動きの効果のため）、私の小さなプログラムに欠けている機能に気付きました！ そして、彼女もパノラマを撮影し始めます！



はい、パノラマはとてもシンプルです。 列車が移動し、ウィンドウ内の画像が変化します。ウィンドウから特定のオフセットで一連の画像を取得し、左から右または右から左に1つずつ貼り付けるだけです。 次に、窓の外を運転したすべてのものの画像を含む巨大なパノラマを取得します。 私はすぐに実験を始めました。 私は境界検出器を備えたインテリジェントなグルーアを書いたが、それは非常にひどい結果になった！ 常に、バレル効果とフラグメントからフラグメントへジャンプする照明が干渉していました。 Autopano Gigaのような巨人は私のプログラムにほとんど到達できないことに気づき 、 cになり始めました。 発明する。 パノラマ接着をスムーズかつ連続的にする方法。 私の頭に浮かび、決定的になった最初のアイデア：フラグメントではなく、各フレームを接着する必要があり、各フレームを結果の画像に1列追加する必要があります。 最初のフレームを取り、そこから画像の垂直の細いストリップを切り取り、次のフレームを取り、同じ細いストリップを切り取り、最初の切り取りストリップに接着します。 左または右-カメラの移動方向に応じて、明示的に指定できます。 2番目のフレームは最初のフレームと多少のオフセットがあるため、2つの接着されたストライプの画像はパノラマスキャンのようなものになります。 スリットカメラの一種の安価なアナログ（ one 、 two 、 three ）。 うまくいきましたか？ 行こう！



実験13.最初に、固定カメラが固定の背景に対して動いているオブジェクトを撮影するビデオが必要です。 次に、オブジェクトが非常に長い場合、その全体を「スキャン」できます。 動いている車や電車は、このようなビデオの役割に最適です。 ここに私が集めたようなハンサムなものがあります：





列車は01:57から03:17まで運行しています。









列車の速度の変化により、異なる長さの車が判明しました。 写真はクリック可能です。



それは予想外に素晴らしいことが判明しました！ 確かに、プログラムはひどく水平にパノラマ化されており、正しい縦横比を返すために、結果の画像を垂直方向に圧縮する必要があり、それが小さくなります。 これはおそらく、入力に供給されるプログラムとビデオの両方の欠点です。その上の列車がすっかり動いた場合、比率は正常になります。 実験14.別の写真を収集しましょう。ただし、今回は動いている列車の窓からです。





カメラは3:25からかなりよく固定されています。









その結果、街のミニパノラマができました。 写真はクリック可能です。



そして、ここには欠陥があり、すべてが明確です：オブジェクトの強い歪み。 オブジェクトを電車に近づけると、フレームごとに速く移動し、電車から遠くに移動すると遅くなります。 視差の法則。 これは、前景オブジェクトが水平方向に強く平らになり、背景オブジェクトが非常に長くなることを意味します。 ここでは、知覚の特定の1つの平面（カメラからオブジェクトまでの距離）に調整する必要があります。 この場合、遠く離れた自宅で。 それらは非常に「組み立てられた」ことが判明しました。 近くにあるもの（木、ワイヤー、ポール）はすべて非常に平らになり、それ以上のものは拡張されます。 融合スキャンを使用して、すべての平面の理想的な画像を取得することはできません。 実験15.次の例を使用して、キスロヴォツクの駅のプラットフォームを組み立てます。















ここでは、不均衡にフラット化されたライトが表示されます。 私は間違いを告白します。エプロンを集めたので、ライトはエプロンの真ん中にあるので、それらは完全に平らであることが判明したはずです。 今それを取り、別のビデオからパノラマを収集します。















ワイヤーがどの程度不均一に吊り下げられているかがわかります。 写真はクリック可能です。



それから私は木を無視し、遠くに立つ小屋に合わせた。 実験16.では、サンクトペテルブルクの郊外でもう1つ考えましょう。





パノラマは02:43から収集されています。









遠くの家はわずかに伸びており、隣家はわずかに平らになっています。 システムを壊すことはありません。 写真はクリック可能です。



実験17.電車ではなく車を試してみませんか？ 広場のパレードから面白いビデオを見つけました。そこでは、固定カメラがパレードを通過する車を撮影しました。





ビデオの品質はひどく、サブウーファーは非常に低いFPSで撮影します。









したがって、最終的なパノラマの品質。 ただし、フロントコラムの構造は非常に自然に読み取られます。 写真はクリック可能です。



十分にプレイした後、私は愚かにふけるようになりました。



実験18。



マッド









スリットマッド画像はクリック可能です。



実験19。



マイケル









スリットマイケル写真はクリック可能です。



実験20



ボロディア









スリットヴォロディア画像はクリック可能です。



妖艶！ =） 実験21。そして最後に、さらに魅力的なのは、パノラマが夕方の空の色の滑らかな変化を示していることです。 ここでも、すべてが非常に簡単です。





パノラマは1〜38秒で作成されました。













日の出を左から右に観察します。



これで、この小さくてクールなプログラムをいじることができます。





平均化モードでの制御：「平均化」モードを選択します。 マウスをビデオの左上隅に移動し、「[」を押し続けると、プログラムは左上隅を記憶します。 ビデオを表示するアプリケーションがその時点でアクティブである必要はありません。 どのアプリケーションもアクティブにできます。 マウスをビデオの右下隅に移動して「]」を押します-プログラムは、右下隅を記憶し、それにより、ビデオのあるフレームのすべての座標を完全に記憶します。 ビデオを開始します。 右側の数値キーパッドで「/」を押すと、いつでも平均化が開始されます。平均化中に、プログラムは平均化されたフレームの数について報告します。同じ隣接フレームは平均化されませんが、無視されます（したがって、ビデオがフリーズしても、プログラムは結果を台無しにしません）。選択した時間を平均します。平均化を完了するには、右側の数字キーパッドで「*」を押します。結果は、Ekspozzerが存在するフォルダーと同じフォルダーに書き込まれます。



パンモードでの制御：「パノラマ」モードを選択します。ビデオのカメラが左に「飛ぶ」場合は、左の矢印を選択します（画像が右に移動します）。または、ビデオのカメラが右に「飛ぶ」場合（写真が左に移動する場合）。パノラマの幅をピクセル単位で選択します。ビデオの上端（ほぼ中央）にマウスを移動し、「[」を押し続けると、プログラムは左上隅を記憶します。マウスをビデオの下端に持ってきて、少し右に移動し、「]」を押します-プログラムは、右下隅を記憶します。これにより、ビデオからパノラマが収集される「ギャップ」の座標が記憶されます。ビデオを開始します。右側の数値キーパッドで「/」を押したまま、パノラマの収集を開始します。結果は、Ekspozzerが存在する同じフォルダーに書き込まれます。



このプログラムは元々「ひざの上で」作成されたものであり、私にとっては、プログラムに使いやすさはありません。上記のすべては、純粋に面白い人気の科学実験です。



ご清聴ありがとうございました！