深層学習：深層畳み込みニューラルネットワークとリカレントニューラルネットワークの組み合わせ

ディープラーニングサイクルの最終記事をご紹介します。これは、衣類の認識とタグ付けの例を使用して、特定のエリアの画像のGNSSをトレーニングする作業の結果を反映しています。 カットの下に以前のパーツがあります。

一連の記事「ディープラーニング」

1. シンボリックディープラーニングのフレームワークの比較 。

2. 深い畳み込みニューラルネットワークの学習と微調整を転送します 。

3. 深層畳み込みニューラルネットワークとリカレントニューラルネットワークの組み合わせ 。



注：さらに、ナレーションは著者に代わって実施されます。

はじめに

社会における衣服の役割について話すと、物事の認識には多くの応用分野があります。 たとえば、画像内のマークされていない衣服の識別と検索に関するLiuおよび他の著者の研究は、eコマースデータベース内の最も類似した要素を認識するのに役立ちます。 YoungとYuは、衣服の要素の認識を異なる視点から見ています。彼らは、この情報をビデオ監視のコンテキストで使用して、疑わしい犯罪を特定できると考えています。



この記事では、 VangとVinyasaの資料に基づいて、衣料品の分類、画像の簡単な説明、およびそれらのタグの予測のための最適化モデルを作成します。



この作品は、機械翻訳の最近の改善に触発され、そのタスクは個々の単語または文章を翻訳することです。 リカレントニューラルネットワーク（RNS）を使用して、高速を達成しながら、より高速に翻訳できるようになりました。 RNCエンコーダーは元のタグまたはラベルを読み取り、それを固定長のベクトル表現に変換します。これは、タグまたはラベルを形成するRNSデコーダーの初期潜在状態として使用されます。 RNCエンコーダーの代わりにディープコンボリューショナルニューラルネットワーク（GNSS）を使用して同じ方法で進むことをお勧めします。 近年、GNSSネットワークがさまざまなタスクに使用できる固定長のベクトルに埋め込むことにより、入力画像の十分な表現を作成できることが明らかになりました。 GSNCを画像エンコーダとして自然に使用できます。このため、タグを生成するRNSデコーダの入力として非表示レベルを使用して、画像を分類するタスクの予備トレーニングを最初に実行する必要があります。









衣服の画像タグを作成するためのRNS-SNAモデル



この作業では、ImageNetで以前にトレーニングされたGoogLeNetモデルを使用して、DRデータセットからSNAコンポーネントを抽出します。 次に、SNAは、DRタグを予測するための長期短期記憶でRNSモデルをトレーニングするために機能します。









GoogLeNetアーキテクチャ

データ

私たちはDRデータセットを使用します。これは、自然な状態の人々の衣服を認識して分類するための完全なパイプラインです。 このソリューションは、電子商取引、イベント中、オンライン広告など、さまざまな分野に適用できます。 パイプラインはいくつかの段階で構成されています：身体部分の認識、さまざまなチャンネル、視覚的属性。 DRは15種類の衣服を定義し、80,000枚以上の画像で構成される分類のための評価データの参照セットを導入します。 また、DRデータセットを使用して、以前に分析されていない画像の衣服タグを予測します。



トレーニングデータセットとテストデータセットの画像には、解像度、アスペクト比、色など、まったく異なる指標があります。 ニューラルネットワークの場合、固定サイズの入力データが必要なので、すべての画像を3×224×224の形式に変換しました。



不規則なニューラルネットワークの欠点の1つは、柔軟性が過剰であることです。衣服の詳細と干渉の両方を認識するためのトレーニングが等しく行われているため、過剰適合の可能性が高くなります。 これを回避するために、Tikhonov正則化（またはL2正則化）を適用します。 ただし、その後でも、DRイメージの学習とチェックの間に大きなパフォーマンスギャップがありました。これは、微調整プロセスの過剰適合を示しています。 この影響を排除するために、DRイメージデータセットにデータパディングを使用します。



データを補完する方法は多数あります。たとえば、水平反転、ランダムトリミング、色の変更などです。 これらの画像の色情報は非常に重要であるため、0、90、180、270度の異なる角度での画像の回転のみを使用します。





拡張イメージDR

DR用のGoogleNetの微調整

DRタグを予測する問題に対処するために、 前の部分の微調整シナリオに従います。 使用したGoogLeNetモデルは、もともとImageNetデータセットでトレーニングされていました。 ImageNetデータセットには、約100万の自然画像と1000のタグ/カテゴリが含まれています。 タグ付きDRデータセットには、約80,000の「衣服」画像と15のタグ/カテゴリが含まれています。 DRデータセットでは、GoogLeNetのような複雑なネットワークをトレーニングするには不十分です。 したがって、ImageNetデータセットでトレーニングされたGoogLeNetモデルからの加重データを使用します。 継続的な逆配信により、事前にトレーニングされたGoogLeNetモデルのすべてのレベルを微調整します。









事前にトレーニングされたGoogLeNetネットワークの入力レイヤーをDRイメージで置き換える

長期短期記憶を使用したRNSトレーニング

この作業では、長期タスクと短期メモリを備えたRNSモデルを使用します。これは、シーケンシャルタスクを実行するときに高いパフォーマンスを発揮します。 このモデルの中心にあるのは、各瞬間に観測された入力データの知識をエンコードするメモリセルです。 セルの動作は、ゲートによって制御されます。ゲートの役割は、乗法的に適用されるレイヤーです。 ここでは3つのシャッターが使用されます。

• セルの現在の値を忘れる（シャッターfを忘れる）
• セルの入力値を読み取る（シャッターiを入力）
• セルの新しい値を表示します（シャッターoを表示します）。

長期短期記憶を備えた再帰的ニューラルネットワーク



メモリブロックには、3つのゲートで制御されるセル「c」が含まれています。 再帰接続は青で表示されます。時間（t – 1）の出力「m」は、「t」の間に3つのゲートを介してメモリにフィードバックされます。 セル値は「忘れる」シャッターを介してフィードバックされます。 タグを予測するために、Softmaxの時刻「t」でのメモリ出力「m」に加えて、時刻（t – 1）で予測された単語がフィードバックされます。



長期短期記憶を備えたモデルは、各画像のコアタグを予測するようにトレーニングされます。 入力として、GNSS DRの機能（GoogLeNetを使用して取得）が使用されます。 次に、これらのGNSS機能と前処理済み画像のラベルの組み合わせに基づいて、長期短期記憶（LSTM）を使用したモデルのトレーニングが実行されます。



すべてのLSTMが同じパラメータを使用するように、LSTMメモリのコピーが各LSTMイメージおよび各ラベルに対して作成されます。 時間（t –1）でのLSTMの出力（m）×（t − 1）は、時間（t）でLSTMに供給されます。 定期的な接続はすべて、最終リリースでプロアクティブな接続に変換されます。 ネットワークは画像の干渉を認識し、オーバーフィットを生成するため、追加の入力として各時間段階で画像を提供すると、満足のいく結果が得られないことがわかりました。 損失は​​、すべてのLSTMパラメータ、つまり画像の埋め込みとタグの埋め込みのための畳み込みニューラルネットワークの上位レベルに関して削減されます。









DRタグを予測するためのGNSS-RNSアーキテクチャ

結果

上記のモデルを使用して、DRタグを予測します。 このモデルのタグ予測の精度は、反復の最初の部分で急速に向上し、約20,000回の反復後に安定します。



DRデータセットの各画像は、ユニークなタイプの服のみで構成されており、異なるタイプの服を組み合わせた画像はありません。 それにもかかわらず、いくつかのタイプの衣服を使用して画像をテストする場合、トレーニング済みモデルはこれらのテスト画像のタグを正確に作成します（以前は処理されていません）（精度は約80％）。



以下は予測の出力例です。テスト画像では、スーツを着た男性とTシャツを着た男性が見えます。









以前に分析されていないテスト画像



次の図は、ImageNetトレーニングでGoogLeNetモデルを使用したGoogLeNetタグの予測を示しています。









GoogLeNet ImageNet学習モデルを使用したテストイメージのGoogLeNetタグの予測



ご覧のとおり、このモデルの予測はあまり正確ではありません。これは、テストイメージが「Windsor tie」というタグを受け取るためです。 下の図は、上記のRNS-GNSSモデルと長期短期記憶を使用したDRタグの予測を示しています。 ご覧のとおり、このモデルの予測は非常に正確です。これは、テスト画像に「シャツ、Tシャツ、胴体上部、スーツ」というタグが付けられているためです。









長期短期記憶を備えたRNS-GNSSモデルを使用したテスト画像のGoogLeNetタグの予測



私たちの目標は、衣服画像の衣服カテゴリタグを高精度で予測できるモデルを開発することです。

おわりに

この論文では、GoogLeNetモデルとRNS-GNSSモデルのタグ予測の精度を長期短期記憶と比較します。 2番目のモデルのタグ予測の精度ははるかに高くなります。 2番目のモデルの予測の精度は、トレーニング反復の数とともに急速に増加し、約20,000反復後に安定します。 この作業では、1つのGPのみを使用しました。



微調整のおかげで、GNSSの高度なモデルを新しい領域に適用できます。 さらに、組み合わせたGSNS-RNSモデルは、トレーニング済みモデルを拡張して、衣服画像のタグの作成など、まったく異なるタスクを解決するのに役立ちます。



このシリーズの出版物が、特定の分野の画像のGNSSを教え、既存のモデルを再利用するのに役立つことを願っています。



翻訳に誤りがある場合は、プライベートメッセージで報告してください。