パート1 分類/位置特定、オブジェクト検出、オブジェクト追跡

このスニペットは、コンピュータービジョン研究チームによる最近の出版物から引用されています。 今後数か月で、この驚くべき技術とその現状についてさらに学びたい人に教育リソースを提供するために、人工知能の分野のさまざまな研究トピックに関する作品を、その経済的、技術的、社会的応用について公開します。 私たちのプロジェクトは、すべての研究者に最先端のAI開発に関する情報を提供する成長する仕事に貢献したいと考えています。

はじめに

通常、コンピュータービジョンは科学的分野と呼ばれ、マシンに視覚的またはよりカラフルな能力を与え、マシンが周囲の環境やインセンティブを視覚的に分析できるようにします。 このプロセスには通常、1つ以上の画像またはビデオの評価が含まれます。 British Machine Vision Association（BMVA） は、コンピュータービジョンを「画像またはそのシーケンスから有用な情報を自動的に抽出、分析、および理解する」と 定義 しています 。



理解という用語は、視覚の機械的定義の背景に対して興味深いことに際立っており、コンピュータービジョンの分野の重要性と複雑さの両方を示しています。 私たちの周囲の真の理解は、視覚的表現を通して達成されるだけではありません。 実際、視覚信号は視神経を通過して一次視覚野に入り、高度に定型化された感覚で脳によって解釈されます。 この感覚情報の解釈は、私たちの自然な組み込みプログラムと主観的経験のほぼすべてのセット、つまり、進化がどのように生き残るようにプログラムしたか、そして私たちが生涯を通じて世界について学んだことをカバーします。



この点で、 ビジョンとは解釈のための画像の送信のみを指します。 また、 コンピューティングは、画像が思考や意識に似ていることを示し、脳の多くの能力に依存しています。 したがって、多くの人は、コンピューター環境、つまり視覚環境とそのコンテキストの真の理解が、クロスドメイン領域での完璧な習熟のおかげで、強力な人工知能の将来のバリエーションに道を開くと信じています。



しかし、この驚くべき領域の開発の初期段階を実質的に残していないので、武器をつかまないでください。 この記事では、2016年のコンピュータービジョンの最も重要な成果について簡単に説明します。 そして、これらの成果のいくつかを、予想される短期の社会的相互作用と、該当する場合、私たちが知っているように人生の終わりの仮説的予測の強固な混合物に当てはめることを試みることができます。



私たちの仕事は常に可能な限り最もアクセスしやすい方法で書かれていますが、この特定の記事のセクションは議論の主題のために少しあいまいに見えるかもしれません。 私たちはどこでも原始的なレベルで定義を提供していますが、それらは重要な概念の表面的な理解のみを提供します。 2016年の作品に焦点を当て、簡潔にするために省略していることがよくあります。



これらの明らかな省略の1つは、コンピュータービジョンの分野で広く使用されている畳み込みニューラルネットワーク（CNN）の機能に関連しています。 ImageNetコンテストで競合他社を驚かせた2012年のAlexNetの成功、CNNアーキテクチャは、この分野で事実上起こった革命の証拠でした。 その後、多数の研究者がCNNベースのシステムの使用を開始し、畳み込みニューラルネットワークがコンピュータービジョンの伝統的な技術になりました。



4年以上が経過し、コンピュータービジョン用の新しいニューラルネットワークアーキテクチャの大部分はCNNバリアントによって構成されています。 研究者は、それらをデザイナーキューブのように作り直します。 これは、オープンソースの科学出版物とディープラーニングの両方の力の真の証拠です。 ただし、畳み込みニューラルネットワークの説明はいくつかの記事に簡単に拡張されるため、主題をより深く理解し、複雑なものを明確な言語で説明したい人に任せたほうがよいでしょう。



この記事を続ける前にトピックをすばやく理解したい一般の読者には、以下の最初の2つの情報源をお勧めします。 主題をさらに深く掘り下げたい場合は、他のソースを提供します。

• Andrey Karpatyによる「 ディープニューラルネットワークが自分のセルフィーをどう思うか 」は、畳み込みニューラルネットワークのアプリケーションと機能を理解するのに役立つ最高の記事の1つです。
• Quora：「畳み込みニューラルネットワークとは」すばらしいリンクと説明が満載です。 この分野で事前に理解していない人に特に適しています。
• CS231n：スタンフォード大学の「視覚認識のための畳み込みニューラルネットワーク」は、このトピックをより深く研究するための優れたリソースです。
• ディープラーニング （Goodfellow、Bengio＆Courville、2016）は、 第9章で畳み込みニューラルネットワークの機能と機能の詳細な説明を提供しています。 著者は、このチュートリアルをHTML形式で無料で公開しています。

ニューラルネットワークとディープラーニング全般をより完全に理解するには、以下をお勧めします。

• ニューラルネットワークとディープラーニング （Nielsen、2017年）は、 ニューラルネットワークとディープラーニングのすべての複雑さを真に直感的に理解できる無料のオンラインチュートリアルです。 最初のパートを読んでも、初心者向けにこの記事のトピックを大きく照らすはずです。

一般に、この記事は断片的でけいれん的であり、著者の賞賛とそれがどのように使用されるべきかの精神をセクションごとに反映しています。 情報は、私たち自身の発見的手法と判断に従って部分に分割されます。これは、このような多数の科学論文のクロスドメインの影響による必要な妥協です。



読者が情報の一般化から利益を得て、以前の荷物に関係なく知識を向上させることを願っています。



すべての参加者を代表して、

Mタンク

分類/ローカリゼーション

画像に関する分類タスクは、通常、画像全体にラベルを付けることです（たとえば、「猫」）。 これを念頭に置いて、ローカライズとは、この画像内のオブジェクトの場所を特定することを意味します。 通常、オブジェクトの周囲の特定の境界ボックスで示されます。 ImageNetの現在の分類方法は 、オブジェクト分類の精度において、 特別に訓練された人々のグループより もすでに優れています。



図 1 ：コンピュータービジョンタスク



出典 ：フェイフェイ、アンドレイカルパシー＆ジャスティンジョンソン（2016）cs231n、レクチャー8-スライド8、空間的位置確認と検出（2016年1月2日）、 pdf



ただし、クラスの数が増えると、近い将来の進捗を測定するための新しいメトリックが提供される可能性があります。 特に、Kerasの作成者であるFrançoisScholletは、人気のあるXceptionアーキテクチャなどの新しいメソッドを 、17,000クラスを含む複数のラベルを持つ3億5,000万枚以上の画像を含むGoogleの内部データセットに適用しました。



図 2 ：ILSVRCコンテスト（2010〜2016年）の分類/ローカリゼーション結果





注 ：ImageNet大規模視覚認識チャレンジ（ILSVRC）。 2011-2012以降の改善は、AlexNetの登場によるものです。 分類とローカリゼーションの競合要件の概要をご覧ください。

出典 ：Jia Deng（2016）。 ILSVRC2016オブジェクトのローカライズ：紹介、結果。 スライド2、 pdf



ImageNet LSVRC（2016）の興味深い抜粋：

• シーンの分類とは 、温室、スタジアム、大聖堂など、特定のクラスのシーンで画像にラベルを付けるタスクのことです。 ImageNetは、 Places2データセットのサンプルのシーンを分類するためのコンテストを昨年開催しました。365個のシーンカテゴリでトレーニングするための800万枚の画像です。
  
  
  
  Hikvisionは、上位5つのエラーの9％で勝ちました。 このシステムは、インセプションスタイルのディープニューラルネットワークとそれほど深くない残差ネットワークのセットから構築されます。
• Trimps-Soushenは2.99％のトップ5の分類エラーと7.71％のローカリゼーションエラーでImageNet分類チャレンジを獲得しました。 開発者は、いくつかのモデル（Inception、Inception-Resnet、ResNet、およびWide Residual Networksモデルの結果を平均化する）のシステムをコンパイルし、タグによるローカリゼーションでFaster R-CNNが勝ちました。 データセットは、トレーニング用に120万の画像を含む1000の画像クラスに分散されました。 テストデータセットには、ニューラルネットワークがこれまで見たことのない別の10万枚の画像が含まれていました。
• FacebookのResNeXtニューラルネットワークは、3.03％のトップ5の分類エラーで2番目にわずかなマージンで終了しました。 元のResNetアーキテクチャを拡張する新しいアーキテクチャを使用しました。

物体検出

ご想像のとおり、オブジェクトを検出するプロセスは、本来行うべきことを正確に実行します。画像内のオブジェクトを検出します。 ILSVRC 2016オブジェクト検出定義には、個々のオブジェクトの境界ボックスとラベルの発行が含まれます。 これは、分類とローカリゼーションが1つの支配的なオブジェクトではなく、多くのオブジェクトに適用されるため、分類/ローカリゼーションタスクとは異なります。



図 3 ：顔が唯一のクラスであるオブジェクトの検出



注 ：写真は、同じクラスのオブジェクトの検出としての顔検出の例です。 著者は、この分野で絶え間ない問​​題の1つを小さな物体の検出と呼んでいます。 テストクラスとして小さな顔を使用して、彼らはサイズ、画像解像度、およびコンテキストの正当化における不変性の役割を調査しました。

出典 ： Hu、Ramanan（2016、p。1）



2016年のオブジェクト検出の分野における主な傾向の1つは、より高速で効率的な検出システムへの移行でした。 これは、YOLO、SSD、R-FCNなどのアプローチで、イメージ全体の共同コンピューティングへのステップとして見ることができます。 これは、Fast / Faster R-CNNテクニックに関連するリソース集約型サブネットとは異なります。 この手法は、一般的にエンドツーエンドのトレーニング/学習と呼ばれます。



本質的に、アイデアは互いに独立した各サブ問題の個別のアルゴリズムの使用を避けることです。これは通常、トレーニング時間を増加させ、ニューラルネットワークの精度を低下させるためです。 このようなニューラルネットワークの最初から最後まで機能する適応は、通常、最初のサブネットが機能した後に発生するため、遡及的な最適化を表すと言われています。 ただし、高速/高速R-CNN技術は依然として非常に効率的であり、オブジェクト検出に広く使用されています。

• SSD：シングルショットMultiBox Detectorは、必要なすべての計算を実行する単一のニューラルネットワークを使用し、前世代のリソースを集中的に使用する方法を不要にします。 「75.1％mAP、同等の最先端のFaster R-CNNを上回る」を実証しています。
• 2016年の最も印象的な開発の1つは、 YOLO9000という適切な名前のシステムです。Better、Faster、Strongerで、YOLOv2およびYOLO9000検出システムを使用します（YOLOはYou Only Look Onceを意味します）。 YOLOv2は2015年半ばから大幅に改良されたYOLOモデルであり、非常に高いフレームレート（通常のGTX Titan Xを使用した場合の低解像度画像で最大90 FPS）のビデオでより良い結果を表示できます。 システムは、速度の向上に加えて、オブジェクトを識別するための特定のデータセットでResNetおよびSSDを使用したFaster RCNNを超えています。
  
  
  
  YOLO9000は、オブジェクトを検出および分類するための複合学習方法を実装し、利用可能なラベル付き検出データを超えて予測機能を拡張します。 つまり、タグ付きデータで検出されたことのないオブジェクトを検出できます。 YOLO9000モデルは、9000を超えるカテゴリ間でリアルタイムのオブジェクト検出を提供します。これにより、分類と検出のデータセットのサイズの違いがなくなります。 詳細、事前トレーニング済みモデル、およびビデオデモについては、こちらをご覧ください。
  
  
  
  オブジェクト検出YOLOv2は、James Bondのムービーフレームで実行されます
  
  
• オブジェクト検出用の機能ピラミッドネットワークは 、FAIR（Facebook Artificial Intelligence Research）によって開発されました。 「深層畳み込みニューラルネットワークの生得的なマルチスケールピラミッド階層を使用して、 最小限の追加コストでフィーチャピラミッドを構築します 。 」 これは、速度や追加のメモリオーバーヘッドを犠牲にすることなく、強力な表現を維持することを意味します。 開発者は、COCO（コンテキスト内の共通オブジェクト）データセットでレコードレベルを達成しています。 Faster R-CNNベースシステムと組み合わせると、2016年の勝者よりも優れています。
• R-FCN：領域ベースの完全畳み込みネットワークによるオブジェクト検出 。 開発者が、各画像で何百回も画像の個々の領域にリソースを集中的に使用するサブネットの使用を放棄する別の方法。 ここで、領域検出器は完全に畳み込み式であり、画像全体に対して共同計算を実行します。 「テスト中、動作速度はイメージごとに170ミリ秒でした。これは、高速R-CNNよりも2.5〜20倍高速です」と著者は書いています。
  
  
  
  図 4 ：異なるアーキテクチャ上のオブジェクトを検出する場合のオブジェクトの精度とサイズのトレードオフ
  
  
  
  注 ：mAP（平均平均精度）は垂直軸にプロットされ、各特徴抽出ブロックのさまざまなメタアーキテクチャが水平軸（VGG、MobileNet ... Inception ResNet V2）にプロットされます。 また、小、中、大のmAPは、それぞれ小、中、大のオブジェクトの平均精度を示します。 基本的に、精度はオブジェクトのサイズ、メタアーキテクチャ、および特徴抽出ユニットに依存します。 この場合、「画像サイズは300ピクセルに固定されます。」 この例では、R-CNNの高速モデルは比較的良好に機能しましたが、このメタアーキテクチャは、R-FCNなどの最新のアプローチよりも大幅に遅いことに注意することが重要です。
  
  出典 ： Huang et al。 （2016年、9ページ）
  
  
  
  上記の科学記事は、R-FCN、SSD、および高速R-CNNのパフォーマンスの詳細な比較を提供します。 機械学習の手法を正確に比較するのは難しいため、著者が説明した標準化されたアプローチを作成するメリットを指摘したいと思います。 彼らは、これらのアーキテクチャをResmetやInceptionなどのさまざまな特徴抽出ユニットと組み合わせることができるため、「メタアーキテクチャ」と見なしています。
  
  
  
  著者は、さまざまなメタアーキテクチャ、特徴抽出ブロック、および解像度における精度と速度のトレードオフを研究しています。 たとえば、特徴抽出ユニットを選択すると、さまざまなメタアーキテクチャの作業結果が大きく変わります。
  
  
  
  SqueezeDetとPVANetを説明している科学記事は、消費されるコンピューティングリソースを削減しながら、アプリケーションの速度を上げる傾向と、特に無人車両アプリケーションで商用リアルタイムアプリケーションに必要な精度を維持する傾向との間の妥協の必要性を再度強調しています。 中国企業のDeepGlintは、監視カメラからのストリームでリアルタイムにオブジェクトを検出する良い例を示しました。
  
  
  
  DeepGlintでのオブジェクト検出、オブジェクト追跡、顔認識
  
  
  
  ILSVRCおよびCOCO検出チャレンジの結果
  
  COCO （コンテキスト内の共通オブジェクト）は、別の一般的な画像データのセットです。 ただし、ImageNetなどの代替製品よりも比較的小さく、慎重にキュレーションされています。 シーンを理解するためのより広いコンテキストでオブジェクトを認識することを目的としています。 主催者は、オブジェクトの検出、セグメンテーション、およびキーポイントをめぐって毎年コンテストを開催しています。 オブジェクト検出に関するILSVRCおよびCOCOコンテストの結果は次のとおりです。
  
  
  
  
  • ImageNet LSVRC、画像検出（DET） ：CUImageは66％meanAPを示しました。 オブジェクトの200のカテゴリのうち109で勝ちました。
  • ImageNet LSVRC、ビデオ上のオブジェクト検出（VID） ：NUIST 80.8％meanAP
  • ImageNet LSVRC、追跡ビデオのオブジェクト検出 ：CUvideo 55.8％meanAP
  • COCO 2016、オブジェクト検出（境界ボックス） ：G-RMI（Google）41.5％AP（2015年の受賞者と比較して4.2パーセントポイントの絶対的な増加-MSRAVC）
  
  
  ImageNet は 、2016年のオブジェクト検出システムによって示された結果のレビューで、MSRAVC 2015が非常に高いパフォーマンスバーを設定したと書いています（このコンテストでResNetネットワークが初めて登場しました）。 システムのパフォーマンスはすべてのクラスで改善されました。 どちらのコンテストでも、ローカライズは大幅に改善されました。 小さなオブジェクトで大幅な改善が達成されました。
  
  
  
  図 5 ：ILSVRCコンペティションにおける画像検出システムの結果（2013–2016）
  
  
  
  注 ：ILSVRCコンペティション（2013–2016）の画像検出システムの結果。 出典 ：ImageNet 2016、オンラインプレゼンテーション、スライド2、 pdf
  
  
  
  

  オブジェクト追跡

  
  
  特定の対象オブジェクトまたは特定のシーン上の複数のオブジェクトを追跡するプロセスを指します。 従来、このプロセスは、ビデオアプリケーションおよび実世界との相互作用のシステムで使用され、ソースオブジェクトの発見後に観察が行われます。 たとえば、このプロセスは無人車両システムにとって重要です。
  
  
  
  
  • « » , , , . , .
  • « 100 FPS » — , . , (feed-forward network) , . . , « 100 FPS».
    
    
    
    GOTURN (Generic Object Tracking Using Regression Networks)
    
    
  • « » , RGB/ ( CNN), ( ), . , , . ICPR 2016, « ».
    
    
    
    « . , , RGB . , . , , ».
  • « » . , , , . , . , , .
  • 「完全な畳み込みネットワークとオブジェクトのグローバル最適追跡」。オブジェクト追跡システムの制限の2つの根本原因として、オブジェクトの多様性と干渉について説明します。「提案された方法は、完全な畳み込みネットワークを使用してオブジェクトの外観の多様性の問題を解決し、動的プログラミングを通じて干渉の問題とも連携します。」