Night Sight：暗闇の中でPixelスマートフォンがどのように見えるか

左：iPhone XS（ フル解像度の写真 ）。 右：Pixel 3 Night Sight（ フル解像度の写真 ）。



Night SightはPixel Cameraアプリケーションの新機能であり、目がほとんど見えないほど光が少ない場合でも、非常に暗い場所でも鮮明できれいな写真を撮ることができます。 3世代のPixelスマートフォンすべてのメインカメラとフロントカメラで動作し、三脚やフラッシュを必要としません。 この記事では、低照度で写真を撮るのがなぜ難しいのかについて説明し、HDR +形式にスーパーインポーズし、Night Sightを機能させるコンピューター写真技術と機械学習技術について説明します。

暗い場所で写真を撮るのが難しいのはなぜですか？

暗い場所で写真を撮った人は誰でも、画像のノイズに慣れています。これは、ピクセルごとにランダムな明るさの変化のように見えます。 小さなレンズとフォトマトリックスを備えたスマートフォンカメラの場合、ノイズの主な原因は、 ショットノイズと呼ばれる、レンズに入るフォトンの数の自然な変動です。 どんなカメラもそれに苦しみ、理想的なマトリックス品質であっても常に存在します。 ただし、マトリックスは理想的ではないため、ピクセルに入射する光から発生する電荷を変換するときに、読み取りノイズという2番目のノイズ源が発生します。 他のソースも信号対ノイズ比（SNR）に寄与し、ノイズのない画像の量を示します。 幸いなことに、SNRは露出時間の平方根に比例して（またはより速く）増加します。したがって、露出が高いほど、画像はきれいになります。 しかし、薄暗い照明では、良いショットを撮るのに十分な長さの静止を維持することは非常に難しく、撮影しているものも静止しない場合があります。



2014年、HDR +計算写真技術を導入し、一度に複数のショットを撮影することでこの状況を改善します。その後、これらのショットをプログラムで調整して結合します。 HDR +の主な目標は、ダイナミックレンジ、つまり、広範囲の照明条件（日没時や逆光のポートレートの場合など）で写真を撮る機能を改善することです。 Pixelスマートフォンのすべての世代がHDR +を使用しています。 複数の画像をマージすると、ショットノイズと読み取りノイズの影響も軽減されるため、薄明かりのSNRが向上することがわかります。 手ぶれや被写体の動きの状態で画像の鮮明さを維持するために、短いシャッタースピードを使用します。 また、適切な位置合わせ方法が見つからなかった画像の部分も破棄します。 これにより、HDR +は鮮明な画像を生成し、より多くの光を収集できます。

どのくらい暗くなるのでしょうか？

しかし、複数のフレームを撮影して結合すると、暗い場所でより鮮明な写真が得られる場合、実際に暗闇で見ることができるように、HDR +を使用して数十枚の画像を取得してみませんか？ 「暗闇」の定義から始めましょう。 シーンの照明について議論する写真家は、多くの場合、 スイートでそれを測定します 。 ルクスは、表面単位に入射する光の量で、平方メートルあたりのルーメンで測定されます。 光のレベルを大まかに想像できるように、便利な表を次に示します。

• 30000-太陽に照らされた歩道。
• 10000-晴れた日の日陰の歩道。
• 1000-悲観的な日の歩道。
• 300-オフィスの照明。
• 150-自宅のテーブル照明。
• 50-レストランの明かり。
• 20-雰囲気のある照明を備えたレストラン。
• 10-一致する靴下のペアを見つけるために必要な最小限の照明。
• 3-ランタンに照らされた歩道。
• 1-新聞を読むための最小限の光。
• 0.6-満月の下の歩道。
• 0.3-床に鍵を見つけることはできません。
• 0,1-懐中電灯なしで家の中を移動することは不可能です。

1枚の写真を撮るスマートフォンカメラは、30ルクスの光レベルで困難に直面し始めます。 いくつかのフレームを取り、それらを組み合わせた携帯電話は最大3ルクスまで持ちますが、暗い環境では対処できず、フラッシュに頼ることができません。 Night Sightテクノロジーでは、スマートフォンを使用してシャッターを1回押すだけでフラッシュを使用せずに、3〜0.3ルクスの写真の品質を改善しようとしました。 これが機能するためには、いくつかの重要な要素が必要です。最も重要な要素は、より多くのフレームを取得することです。

データを取得します

シャッタースピードを上げるとSNRが上がり、きれいな画像を得ることができますが、2つの問題が生じます。 まず、Pixel電話のデフォルトの撮影モードでは、シャッター速度を制限するZero Time Lapse Protocol（ZSL）が使用されます。 カメラアプリケーションは起動するとすぐに撮影を開始し、写真をリングバッファーに保存します。リングバッファーは古いフレームを常に消去し、新しいフレーム用のスペースを解放します。 シャッターを押すと、カメラは最後の9〜15フレームを送信してHDR +またはSuper Res Zoomソフトウェアを処理します。 これにより、必要な瞬間を正確にキャプチャできます。したがって、「ゼロ遅延降下」です。 ただし、照準を支援しているため、これらの画像を画面に表示します.HDR +は、照明のレベルに関係なく、最大シャッタースピードを66ミリ秒に制限します。これにより、ビューファインダーは少なくとも15フレーム/秒の周波数を維持できます。 より遅いシャッタースピードが必要な暗いシーンでは、Night Sightはポジティブリリース遅延（PSL）テクノロジーを使用し、ボタンを押すのを待ってから写真を撮影します。 PSLを使用するには、ボタンを押した後、しばらく電話機を保持する必要がありますが、このモードではシャッター速度を上げて照明条件が悪い場合のSNRを改善できます。



フレームあたりのシャッタースピードを上げる2番目の問題は、手ぶれやシーンオブジェクトの動きによるブレです。 Pixel 2および3で使用可能な光学式手ぶれ補正（AIS）は、中程度のシャッタースピード（最大1/8 s）での揺れの影響を軽減しますが、遅いシャッタースピードや物体の移動には役立ちません。 AXISの影響を受けないブラーに対抗するため、Pixel 3にはデフォルトで「モーションメーター」モードが含まれています。このモードでは、 光学ストリームを使用して最近のシーンの動きを測定し、ブラーを最小限に抑えるシャッタースピードを選択します。 ピクセル1と2はデフォルトでこのモードを使用しませんが、3台の電話機はすべて夜間視界モードでこのテクノロジーを使用し、動きがない場合はフレームあたりのシャッタースピードを最大333ミリ秒まで上げます。 OSIを持たないPixel 1では、シャッタースピードをそれほど上げません（OSIを持たない自撮りカメラの場合、増加はさらに緩やかになります）。 カメラが安定している場合（壁に寄りかかり、三脚を使用する）、各フレームのシャッタースピードを最大1秒まで上げることができます。 フレームごとの露出を変えることに加えて、フレームの数も変えます。電話機が三脚に取り付けられている場合は6から、手で撮影する場合は15までです。 これらのフレームの制限により、ユーザーの疲労（およびキャンセルボタンの必要性）が防止されます。 だから、あなたが持っているPixel電話のどれか、カメラの選択、手ぶれ、動きとシーンの明るさに応じて、ナイトサイトモードはシャッター速度が1/15秒以下の15フレームから、シャッター速度が最大6フレームまでかかります1秒



動きを検出するときに短いシャッタースピードを使用する特定の例：





左：並んでいる2台のPixel 3電話機の1台で15フレーム連続して撮影。 中央：モーション測定を無効にしたナイトサイトショット。電話はシャッタースピードを73ミリ秒に強制します。 犬の頭がぼやけています。 右：モーション測定をオンにしたナイトサイト、48 msのシャッター速度が使用されます。 ぼかしは目立ちません。



携帯電話が三脚にあるときに長時間露光を使用する例：





左：Night Sightの手で撮影した夜空ショットの一部（ 全体図 ）。 手が少し震えたため、Night Sightは333 ms×15フレーム= 5.0秒を選択しました。 右：三脚からの写真（ 全体図 ）。 ジッターは記録されなかったため、Night Sightは1.0秒×6フレーム= 6.0秒を使用しました。 空はよりシャープで、ノイズが少なく、より多くの星が見えます。

アライメントとマージ

フレームを平均化してノイズを減らすという考え方は、デジタル画像技術自体と同じくらい古いものです。 天体写真では、これは露出スタッキングと呼ばれます。 テクノロジー自体はシンプルですが、最も難しいのは、手で撮影するときに画像を適切に調整することです。 2010年にSynthcamアプリでこのトピックの作業を開始しました。 常に写真を撮り、それらを低解像度でリアルタイムで位置合わせおよびマージし、最終結果を示しました。



Night Sightは同様の原理を使用しますが、リアルタイムではなく完全なマトリックス解像度で使用します。 Pixel 1および2の電話では、HDR +マージアルゴリズムを使用して修正および調整し、非常にノイズの多いシーンでもフレームの誤って位置合わせされた部分を検出および拒否する機能を強化しています。 Pixel 3では、 Super Res Zoomを使用します。これは、画像を拡大するかどうかに応じて調整します。 また、後者は高解像度用に設計されていますが、平均して数枚の写真が積み重ねられているため、ノイズを減らすこともできます。 一部の夜景シーンでは、Super Res ZoomはHDR +よりも優れた結果を提供しますが、Pixel 3電話ではより高速なプロセッサが必要です。



ちなみに、これはすべて電話で数秒で起こります。 （撮影が完了するのを待ってから）写真のリストにすばやく切り替えると、HDR +またはスーパー解像度ズームが作業を完了すると、画像がどのように「表示」されるかを確認できます。

その他の困難

基本的な考え方はシンプルに聞こえますが、十分な照明がない場合、Night Sight開発のトリックは非常に難しいことが判明しました。

1.自動ホワイトバランス（ABB）が暗い場所では適切に機能しない

人々は色のついた照明下（またはサングラス）でも物の色をよく認識し、色の恒常性を示します 。 ただし、あるプロセスで写真を撮り、別の観点で検討すると、このプロセスは失敗することがよくあります。 写真は私たちにとって色が濃いようです。 この効果を修正するために、カメラの知覚は画像の色を変更し、バックライトの主な色（ 色温度と呼ばれることもあります）を部分的または完全に考慮して、シーンの色を本質的にシフトして、シーンがニュートラルホワイトで強調表示されるようにします。 このプロセスは、自動ホワイトバランスと呼ばれます。



問題は、この問題が数学者が不正確に提起したものに属することです。 カメラで捉えた雪は本当に青かったですか？ それとも、青い空に照らされた白い雪ですか？ どうやら最後のオプション。 このあいまいさにより、ホワイトバランスの検索が複雑になります。 Night Sight以外のモードで使用されるABBアルゴリズムはうまく機能しますが、照明の質が悪い場合や色付きの照明（ ナトリウム放電ランプなど ）では、バックライトの色をはっきりさせることは困難です。



これらの問題を解決するために、トレーニングに基づいて、バランスの取れた画像とバランスの悪い画像を区別するようにトレーニングされた ABB アルゴリズムを開発しました 。 写真のバランスが悪い場合、アルゴリズムは照明をよりニュートラルに見​​せるためのカラーシフトオプションを提案する場合があります。 アルゴリズムをトレーニングするには、Pixelデバイスを使用してさまざまなシーンの写真を撮り、バランスを手動で調整し、モニターの写真を適切に調整された色で見る必要がありました。 Pixel 3を使用してさまざまな方法を使用して写真を作成した同じシーンを照明の弱いシーンと比較することで、アルゴリズムの動作を確認できます。





左：カメラのバランサーはデフォルトで、この小屋の照明がバンクーバーの海岸でどれだけ黄色だったかを知りません（ 完全な写真 ）。 右：私たちの学習アルゴリズムはより良くなりました（ 完全な写真 ）。

2.暗すぎるシーンに陰影を付ける

Night Sightの目標は、肉眼では見分けがたいほど暗いシーンの写真を撮ることです-超大国のようなものを開発することです！ この問題に関連するのは、網膜の錐体が機能しなくなり、すべてのものを光の波長を区別できないままにしておくため、照明条件が悪いと人々が色を区別しなくなるという事実です。 夜になると、シーンの色は失われず、区別するのをやめるだけです。 Night Sightの写真をカラーにしたい-これは超大国の一部であり、別の対立の原因となる可能性がある。 最後に、私たちの杖は限られた空間的鋭さを持っているので、オブジェクトは夜にぼやけて見えます。 Night Sightの写真は鮮明で、あなたが判別できないほど詳細にしたいです。



たとえば、デジタル一眼レフを三脚に取り付けて非常に高いシャッタースピード（数分）を設定したり、短いシャッタースピードで数枚の写真を重ね合わせたりすると、夜の写真は1日目のように見えます。 詳細は影で区別され、シーンは色がはっきりします。 デジタル一眼レフで撮影した以下の写真をご覧ください。 星は見える、それは夜でなければならないことを意味するが、草は緑、空は青、そして月は晴れたように見える木の影を落とす。 効果は心地よいものですが、必ずしも必要なわけではありません。そのような写真を友人と共有すると、その写真の作り方が途方に暮れます。





夜のヨセミテ渓谷。 Canon DSLR、28mm f / 4レンズ、3分のシャッタースピード、ISO 100（ フルフォト ）



何百年もの間、アーティストは写真を夜景のように見せるための方法を知っていました。





「太陽系のモデルを説明する哲学者」ジョセフ・ライト、1766。アーティストは白から黒までさまざまな色を使用していますが、描かれているシーンは明らかに暗いです。 彼はどのようにしてこれを達成しましたか？ コントラストを高め、暗闇でシーンを囲み、細部が見えない黒い影。



Night Sightでは、特にシェードのマーキングにS字カーブを使用して、同様のトリックを使用します。 しかし、「魔法の超大国」と写真が撮影された時間のリマインダーのバランスを見つけることは非常に困難です。 以下は部分的に成功した写真です。





ピクセル3、ナイトサイトで6秒、三脚上（ フルフォト ）

Night Sightでの撮影にはどれくらいの暗さがありますか？

照明が0.3ルクスより悪い場合、オートフォーカスは失敗し始めます。 車のキーが床にあるのが見えない場合、スマートフォンも焦点を合わせることができません。 これを行うために、Pixel 3電話の夜間視界モードに2つのマニュアルフォーカスボタンを追加しました。「閉じる」は1メートル以上、「遠」-4メートルの距離にフォーカスします。 後者は、レンズの過焦点距離です。つまり、無限（1/2 m）の距離にあるすべてのものが焦点を結ぶはずです。 また、暗所での夜間視力オートフォーカス機能の改善にも取り組んでいます。 この記事で説明されているように、0.3 lux以下の照明や天体写真でも美しい写真を撮影できますが、そのためには、三脚、手動フォーカス、Android Camera2 APIを使用する特別なアプリケーションが必要です。



どこまで行けますか？ 最終的に、一定レベルの照明では、読み取りノイズがセンサーによって収集された光子を覆い隠します。 シャッター速度に比例して増加し、温度に依存する暗電流などの他のノイズ源があります。 このような影響を避けるために、生物学者はカメラを-20°C未満の温度に冷却して蛍光動物の写真を撮りますが、Pixel電話でこれを行うことはお勧めしません！ ノイズの多い画像も調整が困難です。 これらの問題をすべて解決したとしても、風が吹いており、木々が揺れ、星や雲が動いています。 非常に遅いシャッタースピードをとることは困難です。

ナイトサイトを最大限に活用する方法

Night Sightは暗い場所でクールな写真を撮るだけでなく、ほとんど何も見えない場合でも写真を撮れるので、使うのが楽しいだけです。 Night Sightを使用すると写真がより良くなるほどシーンが暗いときにチップの画像を表示しますが、これらの場合のみに限定するものではありません。 日没後、コンサートで、都会の環境で、ナイトサイトは低ノイズできれいな写真を撮り、現実よりも明るくします。 Night Sightで撮影した写真のいくつかの例と、 A / B比較です。 Night Sightを使用するためのヒントを次に示します。

• Night Sightは完全な暗闇では機能しないため、照明のレベルが低いシーンを選択してください。
• ソフトで均一な照明はシャープよりも優れており、暗い影を作成します。
• まぶしさを避けるために、明るい光源が見えないようにしてください。
• シャッタースピードを上げるには、オブジェクトの画像をクリックし、 シャッタースピードスライダーをスライドさせます。 キャンセルするにはもう一度クリックします。
• 露出を減らすには、写真を撮り、 写真エディターで暗くします。 ノイズが少なくなります。
• シーンが暗すぎて焦点が合わない場合は、対照的な境界線または光源の境界線をクリックします。
• これが機能しない場合は、[閉じる]ボタンと[遠く]ボタンを使用します。
• 明瞭さを最大化するには、電話を壁や木に立てかけ、テーブルや石の上に置きます。
• Night Sightは、 A / Bアルバムのセルフィーにも機能し、画面をバックライトできます。

手動フォーカスボタン（ピクセル3のみ）。



Night SightはPixel 3で最適に動作します。Pixel2と元のPixelの両方でこれを行いましたが、後者は光学式安定化の欠如により遅いシャッター速度を使用します。 また、自動ホワイトバランサーはPixel 3でトレーニングされているため、古い携帯電話ではあまり正確に機能しません。 ちなみに、夜間視界モードのビューファインダーは明るくして、狙いやすくしていますが、1/15秒のシャッタースピードで機能するため、ノイズが多く、最終的な写真の品質がわかりません。 だから彼にチャンスを与えてください-狙いを定めてトリガーを押してください。 しばしばあなたはうれしい驚きを覚えます！