深層学習：深層畳み込みニューラルネットワークの転送学習と微調整

ディープラーニングシリーズの前回の記事では、シンボリックディープラーニングのフレームワークの比較について学びました。 この記事では、畳み込みニューラルネットワークの詳細なチューニングに焦点を当て、医療画像の分類の平均精度と効率を向上させます。

一連の記事「ディープラーニング」

1. シンボリックディープラーニングのフレームワークの比較 。

2. 深い畳み込みニューラルネットワークの学習と微調整を転送します 。

3. 深層畳み込みニューラルネットワークとリカレントニューラルネットワークの組み合わせ 。



注：さらに、ナレーションは著者に代わって実施されます。

はじめに

失明の一般的な原因は、糖尿病の眼疾患である糖尿病性網膜症（DR）です。 蛍光血管造影を使用した患者の検査は、失明のリスクを潜在的に減らすことができます。 既存の研究動向は、ディープコンボリューショナルニューラルネットワーク（GNSS）が大量の画像セットの自動分析と、画像を事実上エラーなしで異なるカテゴリに分類できる特徴を識別するために非常に効果的であることを示しています。 GSNSトレーニングは、特定の領域に関連する十分な数の画像を含む定義済みのセットがないため、ゼロから発生することはほとんどありません。 最新のGNSSのトレーニングには2〜3週間かかるため、Berkley Vision and Learning Center（BVLC）はGNSSの最終マイルストーンをリリースしました。 この出版物では、事前に訓練されたネットワークGoogLeNetを使用します。 GoogLeNetは、多数の自然なImageNetイメージでトレーニングされています。 認識されたImageNetの重みをネットワークのイニシャルとして転送してから、目の蛍光血管造影画像を認識し、DR予測の精度を向上させるための事前トレーニング済みのユニバーサルネットワークをセットアップします。

糖尿病性網膜症を予測するための明示的な強調表示の使用

現時点では、DR患者の特徴的な特徴を明確に強調するための画像処理のアルゴリズムと技術の開発に関して、広範な研究が既に行われています。 標準の画像分類では、次の汎用ワークフローが使用されます。

• ノイズを除去してコントラストを高めるための画像前処理技術。
• 特徴を区別する手法。
• 分類。
• 予測。

Oliver Faustと彼の同僚は、DRの特徴の明示的な強調表示を使用するモデルの非常に詳細な分析を提供します。 Vuyosevichと同僚は、55人の患者のデータセットに基づいてバイナリ分類器を作成し、病変の個々の際立った特徴を明示的に強調しました。 一部の著者は、形態学的画像処理技術を使用して血管と出血の特徴を抽出し、331個の画像のデータセットでサポートベクターマシンをトレーニングしました。 他の専門家は、140枚の画像のデータセットに対するバイナリ分類タスクの90％の精度と90％の感度を報告しています。



それでも、これらのプロセスはすべて、時間と労力の多大な投資に関連しています。 予測の精度をさらに向上させるには、大量のラベル付きデータが必要です。 画像データセットの画像処理と特徴の識別は、非常に複雑で時間がかかるプロセスです。 そのため、画像処理と、GNSSを使用して特徴を区別する段階を自動化することにしました。

深畳み込みニューラルネットワーク（GNSS）

画像の際立った特徴を強調するには専門知識が必要です。 GNSSの選択機能は、識別機能の処理機能を使用せずに、特定の領域の画像を自動的に形成します。 このプロセスのおかげで、GSNは画像分析に適しています。

• GNSSは、多くの層を持つネットワークを訓練します。
• 複数のレイヤーが連携して機能空間を改善します。
• 最初のレイヤーは、主要な特徴（色、エッジなど）を調べます。
• さらなるレイヤーは、（入力データセットに応じて）高次の特徴を研究します。
• 最後に、最終層の特性は分類層で提供されます。

レイヤーC-畳み込み、レイヤーS-プールとサンプル



たたみ込み 。 畳み込み層は、ニューロンの長方形のネットワークで構成されています。 重みは、畳み込み層の各ニューロンで同じです。 畳み込み層の重みが畳み込みフィルターを決定します。







調査 。 プーリング層は、畳み込み層から小さな長方形のブロックを取得し、サブサンプリングを実行してこのブロックから1つの出力を作成します。







この出版物では、Googleが開発したGoogLeNet GNSSを使用しています。 ニューラルネットワークGoogLeNetは2014年にImageNetコンテストで優勝し、最高の1回限りの結果を記録しました。 このモデルを選択する理由は、作業の深さと、アーキテクチャリソースの経済的な使用です。

深い畳み込みニューラルネットワークの転送学習と微調整

実際には、GSNS全体のトレーニングは通常、任意の初期化ではゼロから実行されません。 その理由は、通常、目的の深さのネットワークに必要な十分なサイズのデータ​​セットを見つけることができないためです。 代わりに、ほとんどの場合、非常に大きなデータセットでGOOSの事前トレーニングが行われ、その後、トレーニング済みのGOOSの重みが初期化または特定のタスクの特徴を強調するために使用されます。



微調整 。 転送戦略の学習はさまざまな要因に依存しますが、2つが最も重要です。新しいデータセットのサイズと、元のデータセットとの類似性です。 GNSS操作の性質は初期の層ではより一般的であり、後続の層の特定のデータセットにより密接に関連することを考慮すると、4つの主なシナリオを区別できます。

1. 新しいデータセットは小さく、コンテンツは元のデータセットに似ています。 データ量が少ない場合、過剰適合のためにGSNSを微調整しても意味がありません。 データは元のデータと似ているため、GOOSの特徴的な機能はこのデータセットに関連すると想定できます。 したがって、最適な解決策は、SNAの特徴として線形分類器をトレーニングすることです。
   
   
   
   
2. 新しいデータセットは比較的大きく、内容は元のデータセットと似ています。 より多くのデータがあるため、ネットワーク全体を微調整しようとしても、過剰適合を心配する必要はありません。
   
   
   
   
3. 新しいデータセットは小さく、元のデータセットと内容が大きく異なります。 データ量が少ないため、線形分類器で十分です。 データは大幅に異なるため、より具体的なデータを含むネットワークの最上部からではなく分類器をトレーニングすることをお勧めします。 代わりに、ネットワークの以前のレイヤーで分類子をアクティブにして、分類子をトレーニングすることをお勧めします。
   
   
   
   
4. 新しいデータセットは比較的大きく、元のデータセットと内容が大きく異なります。 データセットは非常に大きいため、GSNS全体を最初からトレーニングする余裕があります。 それにもかかわらず、実際には、事前に訓練されたモデルから重みを初期化するためにそれを使用することは、多くの場合さらに有益です。 この場合、ネットワーク全体を微調整するのに十分なデータがあります。

GNSSの微調整 。 DRの予測の問題を解決し、シナリオIVに従って行動します。 事前にトレーニングされたGSNSのスケールを微調整し、逆配信を継続します。 GNSSのすべてのレイヤーを微調整するか、以前のレイヤーの一部を変更せずに（オーバーフィッティングを回避するため）、ネットワークの高レベル部分のみを構成できます。 これは、GNSSの初期層には多くのタスクに役立つより汎用的な機能（エッジや色の決定など）が含まれており、GNSSの後期層はすでにDRデータセットのクラスに向けられているためです。



転移学習の制限 。 事前に訓練されたネットワークを使用しているため、モデルアーキテクチャの選択は多少制限されています。 たとえば、事前学習済みモデルからたたみ込み層を勝手に削除することはできません。 それにもかかわらず、パラメータの共同使用により、異なる空間サイズの画像に対して事前に訓練されたネットワークを簡単に起動することが可能です。 これは、リダイレクション機能が入力データの空間サイズに依存しないため、畳み込み層とサンプル層の場合に最も顕著です。 完全に接続されたレイヤーの場合、完全に接続されたレイヤーは畳み込みレイヤーに変換できるため、この原則は維持されます。



学習速度 。 事前にトレーニングされたGNSSのスケールの品質が比較的高いという事実に基づいて、微調整されたGSNSウェイトのトレーニング速度を低下させます。 このデータの歪みが速すぎたり大きすぎたりしないようにしてください。したがって、学習速度と速度低下の両方を比較的低くする必要があります。



データの追加 。 不規則なニューラルネットワークの欠点の1つは、柔軟性が過剰であることです。衣服の詳細と干渉の両方を認識するためのトレーニングが等しく行われているため、過剰適合の可能性が高くなります。 これを回避するために、Tikhonov正則化（またはL2正則化）を適用します。 ただし、その後でも、DRイメージの学習とチェックの間に大きなパフォーマンスギャップがありました。これは、微調整プロセスの過剰適合を示しています。 この影響を排除するために、DRイメージデータセットにデータパディングを使用します。



データを補完する方法は多数あります。たとえば、水平反転、ランダムトリミング、色の変更などです。 これらの画像の色情報は非常に重要であるため、0、90、180、270度の異なる角度での画像の回転のみを使用します。





事前にトレーニングされたGoogLeNetネットワークの入力レイヤーをDRイメージに置き換えます。 ユニバーサルウェイトを含む上位2つの事前トレーニングレイヤーを除くすべてのレイヤーを微調整します。



GoogLeNetの微調整。 使用したGoogLeNetは、もともとImageNetデータセットでトレーニングされていました。 ImageNetデータセットには、約100万の自然画像と1000のタグ/カテゴリが含まれています。 タグ付けされたDRデータセットには、問題の領域からの約30,000の画像と4つのタグ/カテゴリが含まれます。 したがって、このDRデータセットは、GoogLeNetのような複雑なネットワークをトレーニングするには不十分です。ImageNetでトレーニングされたGoogLeNetネットワークからの重みを使用します。 ユニバーサルウェイトを含む上位2つの事前トレーニングレイヤーを除くすべてのレイヤーを微調整します。 初期損失3 /分類子分類層は、1000クラスの予測を出力します。 新しいバイナリレイヤーに置き換えています。

おわりに

微調整のおかげで、GNSSの高度なモデルを、データの不足や時間とコストの制限により異なる方法で使用することができない新しい領域に適用することができます。 このアプローチにより、医療画像の分類の平均精度と効率を大幅に向上させることができます。



翻訳に誤りがある場合は、プライベートメッセージで報告してください。