🛠️ 🗾 🖱️ Lytroの仕組み、または別のレビュー 🕵🏼 🛌🏻 👨‍👩‍👦‍👦

Lytroは、Lytro（スタートアップRen Ng -Stanford卒業生）によって製造された、焦点のないプレノプティックカメラです。カメラはライトフィールドの方法で機能します。ライトフィールドの方法で、動作原理について説明します（トラフィックをカットします！）。

lytroからの写真がある写真はクリック可能です（ただし、最近lytroのサイトでは、嘘が発生します-おそらく今は落ちます）。

カメラ

以前のレビューで説明した外観については、Lytro Webサイトで完全な仕様を見つけることができます。カメラ自体は中国製で、USB経由で接続して充電します。

ディスプレイはタッチセンシティブで、通常の解像度です。ここでは、カメラが充電中であることを示しています。

操作の原理は簡単です。上でズーム（ゴムバンドで指をスライドさせる必要があります）、上でシャッターボタン。ズームは24-105mmに似ています。

マクロ

カメラをオブジェクトに近づけると、カメラは焦点を合わせません（はい、撮影後に焦点を合わせません）：

これを克服するには、「クリエイティブモード」を有効にします。白いボックスをクリックしてオンにします：

クリエイティブモードでは、タッチスクリーンをクリックしてカメラの焦点を合わせることができます。私は物体をつついて、カメラは考えて、焦点を合わせました（オートフォーカス、明らかにコントラストがあります）：

かなり近くに集中できます：

クリエイティブモードの制限は、撮影後、フォーカス範囲が制限されることです。

かつて、メーカーはマクロ用の組み込みフォーカススタッキングを行うことを約束しました。現在、カメラにはそのような機能はありませんが、Photoshopで簡単に実行でき、lfpから写真を撮影します。ご覧のとおり、被写界深度は処理前よりもはるかに大きくなります。

設定

カメラにはこれ以上の設定はありません。カメラは露出を独自に設定します。このプロセスに影響を与えることは不可能です（EverydayModeでは測光がマトリックスであり、CreativeModeでは中央重点であることに気づきましたが、常にそうではありません）。次に例を示します。

最悪の状態では、これはISO 3200、1 / 15になります（奇妙なことですが、加速度計があれば、カメラが三脚に取り付けられているかどうかを判断し、シャッタースピードを上げることができます）。

ソフトウェア

カメラを接続すると、ソフトウェアがカメラから写真をコピーし、写真を回転させてlytro.comにアップロードできます。

これはQtで記述され、SQLiteデータベースに情報を保存します。その形式については、ここで説明します。

最近では、ソフトウェアが勝ちました。これは朗報です。

書式

Lytroには、RAWファイルとWeb最適化ファイルの両方に使用される1つの.lfp形式があります。もっと詳しく考えてみましょう。

.lfpは、セクションに分割されたコンテナです。セクションにはいくつかの種類があります。

ファイルメタデータ：常に存在し、ファイルセクションを記述し、SHA-1ハッシュ、json形式を含みます。

例

{ "picture" : { "frameArray" : [ { "frame" : { "metadataRef" : "sha1-079f3465638687275008d656c408c9c91d1bc6ee", "privateMetadataRef" : "sha1-44cdec4d744eae5c06dbef8f086fd7905bd8f55a", "imageRef" : "sha1-2f429e42bef0dc3fa0351dd2d55404c351e3beca" }, "parameters" : { "vendorContent" : { "com.lytro.tags" : { "darkFrame" : false, "modulationFrame" : false } } } } ], "viewArray" : [ { "type" : "com.lytro.stars", "vendorContent" : { "starred" : false } } ], "accelerationArray" : [ { "type" : "com.lytro.acceleration.refocusStack", "generator" : "Lytro Lightfield Engine 1.000000", "vendorContent" : { "viewParameters" : {}, "displayParameters" : { "displayDimensions" : { "mode" : "fixedToValue", "value" : { "width" : 1080, "height" : 1080 } } }, "defaultLambda" : 0, "depthLut" : { "width" : 20, "height" : 20, "representation" : "raw", "imageRef" : "sha1-3797be865adeaf3d28b372a2dca0aa8e3ef79b6f" }, "imageArray" : [ { "representation" : "jpeg", "width" : 1080, "height" : 1080, "lambda" : 4.8976802825927734, "imageRef" : "sha1-6e268b48ced0b5c38e39d477a3100f00bb9c188b" }, { "representation" : "jpeg", "width" : 1080, "height" : 1080, "lambda" : 5.886573314666748, "imageRef" : "sha1-80b19c4365465e63e623d5cc1fb9d345dfab7ce0" }, { "representation" : "jpeg", "width" : 1080, "height" : 1080, "lambda" : 6.8429036140441895, "imageRef" : "sha1-5f7c28a7b4aad7d06fcea230293aadb700ad27ef" } ] } } ], "derivationArray" : [ "sha1-f408b48df6a6c09e40e60585a655e8d81415b789" ] }, "thumbnailArray" : [], "version" : { "major" : 1, "minor" : 0, "provisionalDate" : "2011-08-03" } }

フレームメタデータ：RAWファイルにのみ存在します。これは、jsonでの撮影時のすべてのセンサーからの読み取り値です。

例

 { "type" : "lightField", "image" : { "width" : 3280, "height" : 3280, "orientation" : 1, "representation" : "rawPacked", "rawDetails" : { "pixelFormat" : { "rightShift" : 0, "black" : { "r" : 168, "gr" : 168, "gb" : 168, "b" : 168 }, "white" : { "r" : 4095, "gr" : 4095, "gb" : 4095, "b" : 4095 } }, "pixelPacking" : { "endianness" : "big", "bitsPerPixel" : 12 }, "mosaic" : { "tile" : "r,gr:gb,b", "upperLeftPixel" : "b" } }, "color" : { "ccmRgbToSrgbArray" : [ 3.1115827560424805, -1.9393929243087769, -0.172189861536026, -0.3629055917263031, 1.6408803462982178, -0.27797481417655945, 0.078967012465000153, -1.1558042764663696, 2.0768373012542725 ], "gamma" : 0.41666001081466675, "applied" : {}, "whiteBalanceGain" : { "r" : 1.07421875, "gr" : 1, "gb" : 1, "b" : 1.26953125 } }, "modulationExposureBias" : -1.1193209886550903, "limitExposureBias" : 0 }, "devices" : { "clock" : { "zuluTime" : "2012-07-25T14:05:20.000Z" }, "sensor" : { "bitsPerPixel" : 12, "mosaic" : { "tile" : "r,gr:gb,b", "upperLeftPixel" : "b" }, "iso" : 205, "analogGain" : { "r" : 5.5625, "gr" : 4.0625, "gb" : 4.0625, "b" : 4.6875 }, "pixelPitch" : 1.3999999761581417e-006 }, "lens" : { "infinityLambda" : 123.91555023193359, "focalLength" : 0.011369999885559081, "zoomStep" : 661, "focusStep" : 1271, "fNumber" : 2.0399999618530273, "temperature" : 38.670684814453125, "temperatureAdc" : 2501, "zoomStepperOffset" : 2, "focusStepperOffset" : 22, "exitPupilOffset" : { "z" : 0.039666198730468748 } }, "ndfilter" : { "exposureBias" : 0 }, "shutter" : { "mechanism" : "sensorOpenApertureClose", "frameExposureDuration" : 0.015281426720321178, "pixelExposureDuration" : 0.015281426720321178 }, "soc" : { "temperature" : 47.337005615234375, "temperatureAdc" : 2632 }, "accelerometer" : { "sampleArray" : [ { "x" : -0.066666670143604279, "y" : 1.0392156839370728, "z" : 0.08235294371843338, "time" : 0 } ] }, "mla" : { "tiling" : "hexUniformRowMajor", "lensPitch" : 1.3898614883422851e-005, "rotation" : 0.0020797469187527895, "defectArray" : [], "scaleFactor" : { "x" : 1, "y" : 1.0005592107772827 }, "sensorOffset" : { "x" : -1.0190916061401367e-005, "y" : -2.3611826896667481e-006, "z" : 2.5000000000000001e-005 } } }, "modes" : { "creative" : "tap", "regionOfInterestArray" : [ { "type" : "exposure", "x" : 0.7625085711479187, "y" : 0.21875333786010742 }, { "type" : "creative", "x" : 0.7625085711479187, "y" : 0.21875333786010742 } ] }, "camera" : { "make" : "Lytro, Inc.", "model" : "F01", "firmware" : "v1.0a60, vv1.0.0, Thu Feb 23 15:02:57 PST 2012, e10fcca0668db3dbf94ae347248db3da070d21e9, mods=0, ofw=0" } }

プライベートメタデータ：jsonのカメラとマトリックスシリアル。

例

 { "devices" : { "sensor" : { "sensorSerial" : "0x5086D178DEADBEEF" } }, "camera" : { "serialNumber" : "A20B00B1E3" } }

生センサーデータ：RAWファイルにのみ存在し、マトリックスからのRAWデータを表します。次のように開きます。
深度ルックアップテーブル：Web用に最適化されたファイルにのみ存在します。深度マップ。質問に答えます：ここで突っ込んだ場合、どの写真を見せればいいですか？
事前レンダリングされたλ=％lambda％：Web用に最適化されたファイルにのみ存在します。これは、ユーザーがクリックで任意の領域に「フォーカス」したときに表示される画像です。 1から12までのファイル（おそらく、もっとあるかもしれませんが、私は見ていません）のようなセクション。

RAWファイルのサイズは16MB、Webに最適化された1MBです。後者は、クリックの座標と写真の数に一致するマップを持つ一連の写真を保存するという点で異なります。ここで完全なバイト形式記述を見つけることができます。

RAW

RAWファイル自体は、マトリックスのデータです。マトリックスのベイヤーフィルターがあり、その前にマイクロリーブがあります。

処理中

最も興味深いのは処理です。このプロセスはRen Ngの作品に詳しく説明されています。

最初に、RAWファイルは従来の方法を使用してデモザイクされます。その後、ライトフィールドは、「ハニカム」（マイクロレンズ）が整数ピクセルになるような状態になります。そのため、写真を少し回転させて拡大縮小する必要があります（これは、骨の折れる調整が必要な最も難しい段階です。まだできませんでした））

その後、ライトフィールドは特定のパラメーターと統合され、出力は異なる焦点距離を持つ一連の画像になります。ソフトウェア自体が焦点を合わせる場所と取得する必要がある画像の数を選択することに注意してください。これを設定する方法はありません。

結果のファイルはパッケージ化され、インターネットにアップロードされます。ユーザーがファイルセクションの1つをクリックすると（「フォーカス」）、アプリケーションはマップで画像を調べて表示します。これは深度マップですが、非常に粗く、このような解像度での実用的な目的のために、ほとんどの場合、小さすぎるように見えます。

後処理

さて、Photoshopで何かを修正できる場合。ここでも可能ですが、予約が必要です。

なぜなら lytro形式が記述されているため、lfpファイルのすべての部分をエクスポートできるスクリプトを簡単に作成できます。ワークフローは次のとおりです。

lfpを解析します。
画像の編集。はい、Ivan Govnovは2回以上クリーニングする必要がありますが、コンテナ内の写真と同じくらいです。
lfpを元に戻します。ここでは、TableOfContentsセクションでの更新を含むすべてのsha1ハッシュを計算し、それからハッシュを再計算する必要があることを考慮する必要があります。
Lytroアプリケーションを起動します。Lytroアプリケーションは、このファイルをクリックすると、変更されたことを認識し、プレビューを更新します。

Voila、Lytro + Instagramフィルター：

ライトフィールドとプレノプティック写真について

クラシックカメラでは、レンズのさまざまなポイントからマトリックスの1つのポイントに入射する光が統合され、そのポイントでのピクセル輝度の値として保存されます。プレノプティックカメラでは、マイクロレンズの配列がマトリックスの前にあります。

各マイクロレンズは、入射した光線をマトリックスの異なる部分に分配します。

f / 2アパーチャはランダムではありません。マトリックスを最も経済的に使用できます。少なくすると、マトリックス上に未使用のピクセルがあり、それ以上の場合-投影された画像は交差しますが、これは受け入れられません。

空間のライトフィールドは、5次元空間の関数によって記述されます。

ご覧のとおり、ライトフィールドは、空間内の各ポイントと、このポイントからのビームの各方向のエネルギー輝度（放射輝度）を表します。

この機能は、いくつかの方法で設定できます。

飛行機で：

以下の分野で：

2つの平面間：

ライトフィールドを記述する最後の方法は、lytroで使用されます。2つの平面は、レンズの後壁の平面とマトリックスの平面です。

ライトフィールドは、カメラの配列を使用して取得できます。

プレノプティックカメラは、一連のカメラの特殊なケースとして表すことができます。マイクロレンズがカメラの役割を果たします。

写真を取得するには、カメラからのデータを統合する必要があります（lytroの場合は、マイクロレンズの領域からのデータ）。

ウィンドウ内のポイントの選択方法に応じて、2つの変換があります。

オブザーバーバイアスは、マイクロレンズ内の特定のポイントの選択です。

デジタルリフォーカス-各マイクロレンズの領域からの累積ポイントの方法の選択。マイクロレンズの下にはピクセルがほとんどないため、リトロの場合、リフォーカスの可能性は非常に限られています。

定理

PxPピクセルが各マイクロレンズに対応するf / Nアパーチャを備えたプレノプティックカメラを使用すると、f /（N * P）アパーチャを備えた従来のカメラと同等の鮮明な画像を得ることができます。 Lytroの場合、f / 14前後です。

同じ定理の別の解釈：

定理で説明されているプレノプティックカメラを使用すると、絞りf /（N * P）のある古典的なカメラの被写界深度のどこにでも焦点が合った被写界深度f / Nの画像を取得できます。

処理の難しさ

処理時には、ライトフィールドのビジュアライザーの記述を複雑にするいくつかの障害があります。

マイクロレンズは不均一です。アルゴリズムを調整する必要があります。
ケラレの影響を排除する必要があります。しかし、わずか50ピクセルのマイクロレンズでは、この操作によって大きなエラーが発生する可能性があることが明らかになりました。
デッドピクセル。他のカメラと同様に、それらもここにあります。深度マップを損なわないように、統計的に決定する必要があります。
パフォーマンス。 4Dフーリエ変換を使用して、周波数領域で計算を実行する必要があります。

ボケ

カメラのぼかしは次のようになります（これらはlfpから描画された1つのショットの写真です）。

比較のために、同じショットをlytro（左側）およびf / 2のSLR（右側）で作成しました。

アーティファクト

ほとんどすべての写真で、さまざまな種類の不自然なアーティファクトが出てきます。たとえば、次のとおりです。

またはそのような：

悲痛な光景。

Lytroツール

Lytro.Net：lfpを開いてその一部をエクスポートできます。コンソールバージョンもあります。

Lytro互換ビューア：ファイルを開き、クリックに集中できるようにします。フォーカス距離スライダーがあります：

反射

ライトフィールドで機能するツールは見つかりませんでした。 .lfp形式での作業はすべて、表示、jpegへのエクスポートです。

Ren Ngの作品を読んだ後、このテクノロジーは当初のように神秘的で非現実的ではなくなりました。

同じ魔法の同じファイル形式は間違いなく悪です。なぜ彼らがそれをしたのか分かりません。

rawで作業したい場合、私はそれをあなたに送ることができます（または、カメラを少し後で販売することができます）。

写真

記事のすべての「ライブ」写真は、 lytro.comで入手できます。

夕方の2日目は、リトロサイトがあります。念のため、私はlfp をファイルホスティングにアップロードし、これで開きます。

参照資料

lytroについて：

Lytro。LFPファイル形式のリバースエンジニアリング -簡単なハウツーハックの説明

lfptools -Cでlytroファイルを操作するためのユーティリティ

Lytro.Net -Cのlfptoolsポート＃

Lytroメルトダウン -C＃のLytroファイルを操作するためのすてきなGUI、SQLite-ovベースのLytroの構造、ファイル形式

（新しい）スタンフォードライトフィールドアーカイブ -複数のカメラから取得したライトフィールドの例。オンラインでプレイできます。

Lytro Teardown-ここではLytroを分解し、すべての電子機器を見ることができます

Ren Ngのライトフィールドに関する作業：

ライトフィールドセンシング -写真のライトフィールド。この説明が難しいことを理解していない

フーリエスライス写真 -ライトフィールドテクニックの理論的説明

ハンドヘルドプレノプティックカメラを使用したライトフィールド写真 -写真にライトフィールド技術を適用する方法

LightShop：インタラクティブなライトフィールドの操作とレンダリング -ライトフィールド情報を視覚的に視覚化する方法について少し説明します

Lytroの仕組み、または別のレビュー

カメラ

マクロ

設定