Facebookのコンピュータービジョンアプローチの根底にある記事

そのような会社-Facebookを知っていますか？ はい、まさに16億人のユーザーがいます。 そして、誕生日の挨拶、悪名高い子供時代の写真（私はそれらを持っています）、あなたのあらゆるステータスが好きな遠い親relativeを撮ると、分析するデータがたくさんあります。



画像分析の観点から、Facebookは畳み込みニューラルネットワーク（CNN）で大きな進歩を遂げました。 8月、FacebookのAI部門（Facebook AI Research、略称FAIR）は、画像セグメンテーションアルゴリズムの基礎となるコンピュータービジョンアルゴリズムに関するブログ投稿を公​​開しました。 この投稿では、このブログが引用している3つの記事の概要を簡単に説明します。







通常、FAIRは次の一連のアルゴリズムを使用します。 画像はDeepMaskセグメンテーションフレームワークに送られます。 SharpMaskアルゴリズムを使用して、最初の段階で選択されたセグメントを改善し、MultiPathNetを使用してオブジェクトを分類します。 これらの各コンポーネントが個別にどのように機能するかを見てみましょう。

ディープマスク

はじめに

この作品は、Pedro Pinheiro、Roman Collobert、およびPeter Dollardによるもので、「オブジェクト候補のセグメント化学習」と呼ばれています。 画像のセグメンテーションの問題を解決するために、著者は、画像の断片を受け取り、オブジェクトのマスクとオブジェクト全体が断片の中心にある確率を表示するアルゴリズムを提案します。 このプロセスは画像全体に適用されるため、オブジェクトごとにマスクが作成されます。 両方のコンポーネントが同じネットワーク層を使用するため、プロセス全体は1つのCNNのみを使用して実行されます。

入出力

まず、モデルに期待するものを示します。 入力画像の各オブジェクトのマスクまたはシルエットのセットを取得します。 元の画像をフラグメントのセットとして表すことができます。 出力の各入力部分について、その上の主要オブジェクトのシルエットを含むバイナリマスクと、このフラグメントがオブジェクトを含む可能性の推定値（-1〜1）を取得します。





各トレーニングの例には、これらの3つのコンポーネントが含まれている必要があります（注：確率1の例には、画像に完全に同じスケールで含まれているオブジェクトを中心にフラグメントを含める必要があります）。 このアルゴリズムは、画像のさまざまな部分（前述の同じフラグメントセット）に適用されます。 次に、結果を組み合わせて、すべてのマスクを含む単一のウィンドウイメージを形成します。 アルゴリズムの構成を見てみましょう。





* 図1 。 上から 。 モデルアーキテクチャ：特徴を抽出する共通層の後、モデルは2つの分岐に分岐します。 上部の分岐は中央にあるオブジェクトのセグメンテーションマスクを予測し、下部の分岐はフラグメントにオブジェクトが含まれる確率を予測します。

下から 。 トレーニングトリプルの例：入力フラグメントx、マスクm、ラベルy。 緑のフラグメントには、特定の条件を満たすオブジェクトが含まれているため、y = 1でマークされています。負の例（赤）のマスクは使用されておらず、説明のためにのみ表示されています。

ネットワークアーキテクチャ

ネットワークは、ImageNet（Transfer Learning in action）に基づく画像分類の事前トレーニングを受けています。 画像は、8つの畳み込み3x3レイヤーと5つのmaxpool 2x2レイヤーを持つVGGのようなモデル（完全に接続されたレイヤーなし）を通過します。 元の画像のサイズに応じて、一定量の出力（この場合は512x14x14）が得られます。



入力 ：3 xhxw

出力 ：512 xh / 16 xw / 16



次に、ネットワークは上記の2つのコンポーネントに分割されます。 そのうちの1つがセグメンテーションを引き継ぎ、2番目が目的のオブジェクトが画像内にあるかどうかを判断します。

セグメンテーションヘッド

ここで、出力を取得し、内部層とReLU層に渡します。 これで、特定のピクセルが画像の中心にあるオブジェクトの一部であるかどうかを決定するピクセル分類子のw 'xh'（w 'およびh'は元の画像のwおよびhより小さい）のレイヤーがあります（画像サイズが28x28の場合、分類子があります） 784未満）。 次に、バイリニア補間法を使用して分類器の出力値を取得し、画像解像度を元の解像度に高め、バイナリマスクを取得します（1-ピクセルが目的のオブジェクトに属する場合、0-そうでない場合）。

客観性のコンポーネント（Objectness Head）

ネットワークの2番目のコンポーネントは、画像の中央に目的の縮尺のオブジェクトが含まれているかどうかを判断します。 2x2 maxpoolレイヤー、ドロップアウトモジュール、および2つの完全に接続されたレイヤーを介してVGGのようなレイヤーの出力を送信することにより、確率的推定値を取得できます。

トレーニング

損失関数はロジスティック回帰損失（Objectness Headの損失と各フラグメントへのSegmentation Headの適用の損失）の合計であるため、両方のネットワークコンポーネントは並行してトレーニングされます。 エラーバック伝播アルゴリズムは、オブジェクトネスヘッドまたはセグメンテーションヘッドのいずれかを介して実行されます。 モデルを改善するために、トレーニングセットを拡張する方法（データ拡張）が使用されました。 モデルは、Nvidia Tesla K40m GPUを使用した確率的勾配降下法を5日間使用してトレーニングされました。

この記事の素晴らしいところ

1つの畳み込みニューラルネットワーク。 オブジェクトの場所の仮説（オブジェクトの提案）や複雑な学習プロセスを生成する追加のステップは必要ありませんでした。 このモデルの特徴は、ネットワークの柔軟性と効率性と速度を提供する特定のシンプルさです。

シャープマスク

はじめに

以前の研究者グループ（Tusn-Yi Linとともに）は、「オブジェクトセグメントを改良するための学習」というタイトルの記事も執筆しました。 名前が示すように、この記事では、DeepMaskステージで作成されたマスクの改善について説明します。 DeepMaskの主な問題は、このモデルが「粗い」マスクを正常に作成する単純な直接分配ネットワークを使用するが、ピクセルセグメンテーションを実行しないことです。 この理由は、覚えているとすれば、DeepMaskにはバイリニア補間があり、元の画像のサイズに適合するためです。 したがって、実際の境界への準拠は非常に近似です。 この問題を解決するために、SharpMaskモデルは、ネットワークの最初のレイヤーから取得した低レベルの情報と、より深いレイヤーから取得した高レベルのオブジェクト情報を組み合わせます。 最初に、モデルは各入力フラグメントの大まかなマスクを作成し（DeepMask操作）、次にいくつかの改良モジュールを通過します。 このステップをより詳細に検討してください。

ネットワークアーキテクチャ

SharpMaskのアイデアは、次の考慮事項から生まれました：オブジェクトの正確なマスクを見つけるにはオブジェクトレベルの情報（高レベル）が必要なので、最初に大まかなセグメントを構築し、それを最初のレイヤーからの重要な低レベル情報と組み合わせるトップダウンアプローチが必要です。 上の図からわかるように、元の画像はまずDeepMaskを通過して粗いセグメンテーションを取得し、その後、一連の改良モジュールに入り、画像をより正確に元のサイズに拡大します。

洗練モジュール

詳細化モジュールの配置方法をさらに詳しく考えてみましょう。 このモジュールの目的は、DeepMaskステージ（画像を224x224から14x14に圧縮したレイヤー）のプーリングレイヤーの影響に耐えることであり、上向きパス中に作成されたフィーチャマップを考慮して結果のマスクのサイズを大きくします（DeepMaskを上向きパスと呼び、SharpMaskと呼びます） -ダウンストリーム）。 数学用語では、改良モジュールは、拡張マスクM、つまり前のレイヤーと特徴マップFのマスクの関数を生成する関数です。改良モジュールの数は、DeepMaskで使用されるサブサンプルレイヤーの数と等しくする必要があります。







しかし、関数Rは正確に何をしますか？ 聞いてくれてうれしい。 単純なアプローチは、MとFが同じ高さと幅であるため、単純にMとFを組み合わせることです。 このアプローチの問題は、これらの各コンポーネントの色深度チャネルです。 機能マップ内のこのようなチャネルの数は、マスク内のチャネルよりもはるかに多くなる可能性があります。 したがって、単純な結合はFに値を追加しすぎます。解決策は、3x3畳み込み層を使用してFの色深度チャネルの数を減らし、Mとマージし、別の3x3畳み込み層を通過し、最後に双線形補間を行うことです（ネットワークアーキテクチャ図を参照）

トレーニング

DeepMaskに使用したのと同じトレーニングデータをSharpMaskに適用できます。 まず、DeepMaskのレイヤーを学習します。 その後、ウェイトが凍結され、SharpMaskトレーニングが開始されます。

この記事の素晴らしいところ

DeepMaskに基づくこの記事では、使いやすい新しいモジュールを紹介します。 著者は、DeepMaskステージの以前のレイヤーで利用可能な低レベルの情報を利用するだけで、より高いセグメンテーション精度を達成できることを発見しました。

MultiPathNet

はじめに

DeepMaskは、大まかなセグメントマスクを作成します。 SharpMaskは、オブジェクトの輪郭を調整します。 また、MultiPathNetのタスクは、マスクされたオブジェクトを識別または分類することです。 Sergei Zagoruyko、Adam Lerer、Tseng-Yi Lin、Pedro Pinheiro、Sam Gross、Sumit Chintala、Peter Dollarのグループが「オブジェクト検出のためのマルチパスネットワーク」という記事を公開しました。 この記事の目的は、より正確なローカリゼーションに加えて、異なるスケール、多数の障害物、および不必要な詳細を持つ複雑な画像に焦点を当てることにより、オブジェクト認識の方法を改善することです。 このモデルでは、開始点としてFast R-CNNを使用します（ この記事または以前の投稿を参照）。 本質的に、このモデルは、DeepMaskおよびSharpMaskを使用してオブジェクトの位置に関する仮説を立てたFast R-CNNの実装です。 この記事で説明されている3つの主な変更は、フォアバルリージョン、スキップ接続、および積分損失関数です。 しかし、深く掘り下げる前に、ネットワークアーキテクチャを見てみましょう。

ネットワークアーキテクチャ/中心エリア

Fast R-CNNの場合と同様に、完全に接続されたレイヤーなしでVGGネットワ​​ークを介して入力イメージを送信します。 ROIプーリングレイヤーは、仮説（領域提案）から特徴を抽出するために使用されます（Fast R-CNNに関する記事から思い出すように、ROIポーリングは特定の画像領域の特徴の画像マップの特徴をコンパイルする方法です）。 各仮説について、4つの異なる方法で画像を切り取り、さまざまなスケールでオブジェクトを表示します。 これらは、導入部で議論された「中心領域」です。 これらの切り取られたフラグメントは、完全に接続されたレイヤーを通過し、出力はマージされ、ネットワークは分類ヘッドと回帰ヘッドに分割されます。 著者は、これらの中心窩領域がオブジェクトの位置をより正確に決定するのに役立つことを提案します。これにより、ネットワークはさまざまな規模と環境でオブジェクトを見ることができるからです。

接続をスキップ

Fast R-CNNのおかげで、最後の畳み込みVGGレイヤーの後、32x32入力画像は2x2サイズにすばやく圧縮されます。 ROIプーリングレイヤーは7x7マップを作成しますが、まだ多くの空間情報を失います。 この問題を解決するために、単語conv3、conv4、およびconv5の属性を組み合わせて、結果をforveal分類器に渡します。 記事で述べたように、この関連付けは「分類子に、画像のさまざまな領域の特性に関する情報へのアクセスを許可します」。

積分損失関数

このトピックを掘り下げたくはありません。すべての数学については記事自体で説明したほうがよいと思いますが、一般的には、著者は多くのIntersection over Union（IoU）値でうまく機能する損失関数を導き出したという考えです。

この記事の素晴らしいところ

あなたがFast R-CNNのファンなら、間違いなくこのモデルが好きになるでしょう。 VGG NetとROIプーリングの基本的なアイデアを使用すると同時に、フォアウェイエリアを使用してより正確にローカライズおよび分類し、接続をスキップし、積分損失関数を使用する新しい方法を作成します。



FacebookはこのすべてのCNN科学をマスターしたようです。



追加するものがある場合、またはその他の記事を説明できる場合は、コメントでお知らせください。



DeepMaskおよびSharpMaskコード。 MultuiPathNet コード



→ オリジナルへのリンク



→ ソース

ああ、仕事に来てくれませんか？ :)

wunderfund.ioは、 高頻度アルゴリズム取引を扱う若い財団です。 高頻度取引は、世界中の最高のプログラマーと数学者による継続的な競争です。 私たちに参加することで、あなたはこの魅力的な戦いの一部になります。



熱心な研究者やプログラマー向けに、興味深く複雑なデータ分析と低遅延の開発タスクを提供しています。 柔軟なスケジュールと官僚主義がないため、意思決定が迅速に行われ、実施されます。



チームに参加： wunderfund.io