ディープラーニング、NLP、および表現

Habrahabrの読者に、クールなChristopher Olah による投稿「Deep Learning、NLP、and Representations」の翻訳を提供します。 そこからイラスト。



近年、ディープニューラルネットワークを使用する方法は、パターン認識で主導的な地位を占めています。 彼らのおかげで、コンピュータービジョン手法の品質の水準が大幅に向上しました。 音声認識は同じ方向に向かっています。



結果は結果ですが、 なぜ彼らはとてもクールな問題を解決するのですか？







この投稿では、自然言語処理（NLP）でディープニューラルネットワークを使用した印象的な結果の一部を取り上げています。 したがって、なぜディープニューラルネットワークが機能するのかという質問に対する答えの1つを明快に述べたいと思います。

単層の隠れニューラルネットワーク

隠れ層を備えたニューラルネットワークは普遍的です。十分な数の隠れノードがあると、あらゆる関数の近似を構築できます。 これについては、頻繁に引用されている（さらに不正確に理解され適用されている）定理があります。



これは、隠しレイヤーを単に「ルックアップテーブル」として使用できるためです。



簡単にするために、パーセプトロンを検討してください。 これは非常に単純なニューロンであり、その値がしきい値を超えると起動し、そうでない場合は起動しません。 パーセプトロンには、バイナリ入力とバイナリ出力（つまり、0または1）があります。 入力値オプションの数は制限されています。 それらはそれぞれ、特定の入力に対してのみ機能する非表示層のニューロンに関連付けることができます。



個々の入力ごとに「条件」を解析するには、 隠れニューロン（ n個のデータ）。 実際、通常はそれほど悪くはありません。 いくつかの入力値が適切な「条件」が存在する場合があり、交差点で正しい入力に到達する「重複する」「条件」が存在する場合があります。



次に、このニューロンと出力ニューロン間の接続を使用して、この特定のケースの最終値を設定できます。



普遍性はパーセプトロンだけではありません。 ニューロン（およびその他の活性化関数）にシグモイド細胞を含むネットワークも普遍的です。十分な数の隠れニューロンを使用して、任意の連続関数の正確な近似を構築できます。 入力を相互に取得して分離することはできないため、これを実証することははるかに困難です。











したがって、1つの隠れ層を持つニューラルネットワークは実際には普遍的であることがわかります。 ただし、これは印象的でも驚くべきことでもありません。 モデルがルックアップテーブルとして機能できるという事実は、ニューラルネットワークを支持する最も強力な議論ではありません。 これは、モデルが基本的にタスクに対処できることを意味します。 普遍性とは、ネットワークが任意のサンプルに適応できることのみを意味しますが、これは、新しいデータを操作するためのソリューションを適切に補間できることを意味しません。



いいえ、汎用性は、ニューラルネットワークがこれほどうまく機能する理由をまだ説明していません。 正解はもう少し深くあります。 理解するために、まずいくつかの具体的な結果を検討します。

単語のベクトル表現（単語の埋め込み）

まず、ディープラーニングの特に興味深いサブエリアから始めます-単語のベクトル表現（単語の埋め込み）です。 私の意見では、ベクトル表現は現在、ディープラーニングの研究にとって最もクールなトピックの1つですが、それらはBengioなどによって最初に提案されました。 10年以上前。



ベクトル表現は、ニューラルネットワークがまだ流行していない2006年のディープラーニングの復活の数年前に、ベンジオら 2001年とベンジオら2003年の作品で最初に提案されました。 分散表現自体の考え方はさらに古いものです（たとえば、 ヒントン1986を参照）。



さらに、これは、ディープラーニングが非常に効果的である理由を直感的に理解するための最良の方法であるタスクの1つだと思います。



単語のベクトル表現。 -特定の自然言語の単語を大規模なベクトル（たとえば、200から500の次元）にマッピングするパラメーター化された関数。 たとえば、次のようになります。









（通常、この関数は、マトリックスで定義されたルックアップテーブルによって定義されます 各単語が行に対応する ）



Wは 、各単語のランダムベクトルで初期化されます。 彼女は問題を解決するために意味のある値を与えるように訓練されます。



たとえば、ネットワークをドラッグして、5グラムが「正しい」かどうかを判断できます（5ワードのシーケンス、たとえば「マットに座った猫」）。 5グラムはWikipediaから簡単に入手できます。その後、単語のそれぞれをランダムな単語（たとえば、「cat sat song the mat」）に置き換えると、その半分が「台無し」になります。 。









5グラムが「正しい」かどうかを判断するためのモジュラーネットワーク（ Bottou（2011） ）。



トレーニングするモデルは、各5グラムの単語をWに渡し、それらのベクトル表現を出力で受け取り、それらを別のモジュールRに送ります。モジュールRは、5グラムが「正しい」かどうかを予測しようとします。 次のようになります。









これらの値を正確に予測するには、ネットワークでWとRを適切に選択する必要があります。



ただし、このタスクは退屈です。 おそらく、見つかった解決策は、テキストまたはそのような何かの文法エラーを見つけるのに役立ちます。 しかし、ここで本当に価値があるのは、結果のWです。



（実際、課題の全体のポイントはWを教えることにあります。他の問題の解決策を検討することができます。たとえば、最も一般的なのは、文の次の単語を予測することです。しかし、これは今の目標ではありません。単語のベクトル表現であり、アプローチ間の違いを強調することで気が散ることはありません）。



ベクトル表現の空間がどのように配置されているかを「感じる」ために、高次元データを視覚化するトリッキーな方法-tSNEを使用してそれらを表現できます。









tSNEを使用した単語のベクトル表現の視覚化。 左側は「数字の領域」、右側は「職業の領域」です（ Turian et al。（2010）から ）。



このような「単語マップ」は非常に意味があるようです。 「似ている」単語は近いです。どのアイデアが他のアイデアに近いかを見ると、近いものは「類似している」ことがわかります。









特定の単語の表現に近いベクトル表現は誰ですか？ （ コロバートら（2011） 。）



ネットワークが、互いに近いベクトルを持つ類似した意味を持つ単語を関連付けるのは当然のことのようです。 単語を同義語に置き換えた場合（「うまく歌う」） 「ほとんど歌わない」）、それから文の「正確さ」は変わらない。 入力文は大きく異なるように思われますが、 Wは同義語（「いくつか」と「いくつか」）の表現を互いに「シフト」するため、Rについてはほとんど変化しません。



これは強力なツールです。 可能な5グラムの数は膨大ですが、トレーニングサンプルのサイズは比較的小さいです。 類似した単語の表現の収束により、1つの文を取得し、「類似した」クラスのクラス全体をどのように処理するかが可能になります。 ケースは同義語の置き換えに限定されません。たとえば、同じクラスの単語を置き換えることができます（「青い壁」 「壁は赤です」）。 さらに、いくつかの単語を同時に置き換えることは理にかなっています（「青い壁」 「天井は赤い」）。 このような「類似フレーズ」の数は、単語の数から指数関数的に増加しています。



ニューラル確率的言語モデル（Bengio、et al。2003）の基本的な研究ですでに、ベクター表現がなぜそんなに強力なツールであるのかについての実質的な説明が与えられています。



明らかに、 Wのこのプロパティは非常に便利です。 しかし、彼女はどのように教えられますか？ Wが何度も「壁の青」の文に遭遇し、「壁の赤」の文を見る前にそれが正しいと認識する可能性が非常に高い。 「赤」を「青」に近づけると、ネットワークのパフォーマンスが向上します。



各単語の使用例に対処する必要がありますが、類推により、単語の新しい組み合わせに一般化することができます。 私たちは皆、私たちが意味を理解しているすべての単語に出くわしましたが、文の意味はそれまで聞いたことなく理解できます。 ニューラルネットワークでも同じことができます。





ミコロフら （2013a）



ベクトル表現には、もう1つのはるかに注目すべき特性があります。単語間の類推の関係は、表現間の差分ベクトルの値によって決定されるようです。 たとえば、明らかに、「男性と女性」の単語の差分ベクトルは一定です。









たぶん誰も驚かないでしょう 最終的に、属の代名詞の存在は、単語を置換することで文の文法的な正確さを「殺す」ことを示唆しています。 「彼女は叔母です」と書きますが、「彼は叔父です」。 同様に、「彼は王です」と「彼女は女王です。」 「彼女はおじさんです」というテキストを見ると、これはおそらく文法的な誤りです。 半分のケースで単語がランダムに置き換えられた場合、これは私たちのケースでなければなりません。



「もちろん！」過去の経験を振り返って言う。 「ベクター表現は性別を表すことができます。 確かに、床には別の次元があります。 また、複数形/単数形についても。 はい、そのような関係は簡単に認識されます！」



しかし、はるかに複雑な関係も同様に「エンコード」されることがわかります。 ふるいに奇跡を起こすだけです（まあ、ほとんど）！









関係ペア（ Mikolov et al。（2013b）から ）



これらのWプロパティがすべて副作用であることは重要です。 同様の単語の表現が互いに近いはずであるという要件を課しませんでした。 ベクトルの違いを利用して、類推を調整しようとはしませんでした。 提案が「正しい」かどうかを確認する方法を学習しようとしましたが、プロパティは最適化問題を解決するプロセスのどこかから来ました。



ニューラルネットワークの大きな強みは、データの「最適な」表現を構築することを自動的に学習することです。 同様に、データ表示は、多くの機械学習の問題を解決するために不可欠な部分です。 単語のベクトル表現は、学習表現の最も驚くべき例の1つです。

共有表現

もちろん、ベクトル表現のプロパティは好奇心are盛ですが、それらの助けを借りて何か役に立つことができますか？ 特定の5グラムが「正しい」かどうかを確認するなど、馬鹿げた小さなことに加えて。









WとFは 、タスクAに適合することにより訓練されます。 その後、 GはWを使用して問題Bを解決することを学習できます。



単純なタスクにうまく対処するために単語のベクトル表現を訓練しましたが、すでに観察したそれらの素晴らしい特性を知っていれば、それらはより一般的な問題に役立つと仮定できます。 実際、これらのようなベクトル表現は非常に重要です。

「単語のベクトル表現の使用は、最近、企業の主要な「秘密」になりました。名前付きエンティティの識別（名前付きエンティティ認識）、品詞タグ付け、構文解析、セマンティックロールのラベル付けを定義します。」

（ Luong et al。（2013） 。）



一般的な戦略は、タスクAの良いアイデアを訓練し、それを使用して問題Bを解決することです。これは、深層学習の魔法の帽子の主要なトリックの1つです。 さまざまなケースで、異なる方法で呼ばれます：事前トレーニング、転移学習、およびマルチタスク学習。 このアプローチの長所の1つは、いくつかのタイプのデータでプレゼンテーションをトレーニングできることです。



このトリックは別の方法でクランクできます。 1つのデータタイプのビューを調整し、それらを使用してさまざまなタイプの問題を解決する代わりに、単一のビューにさまざまなタイプのデータを表示できます。



このようなトリックを使用するすばらしい例の1つは、 Socherによって提案された2つの言語の単語のベクトル表現です。 （2013a） 。 2つの言語の単語を1つのスペースに「埋め込む」ことを学ぶことができます。 この作品では、英語の言葉とプトンファ（中国語の「マンダリン方言」）が「埋め込まれています」。











2つのベクトル表現を訓練します そして 上記と同じように。 ただし、英語と中国語の一部の単語には類似した意味があることがわかっています。 したがって、もう1つの基準を最適化します。わかっている翻訳の表現は、互いに少し離れている必要があります。



もちろん、最後に、私たちに知られている「類似した」単語が並んで積み重なっているのを観察します。 最適化されているので、当然です。 さらに興味深いのはこれです。私たちが知らなかった翻訳も近くにあります。



おそらく、これは、単語のベクトル表現に関する過去の経験に照らして、誰も驚かないでしょう。 それらは互いに類似した単語を「引き付ける」ため、英語と中国語の単語がほぼ同じことを意味することがわかっている場合、同義語の表現は近くにあるはずです。 また、性別の違い（性別）のような関係にある単語のペアは、定数ベクトルによって異なることもわかっています。 十分な数の翻訳を「まとめ」れば、2つの言語で同じになるように違いを調整できるようです。 その結果、両方の言語の単語の「男性バージョン」が相互に翻訳されている場合、「女性バージョン」も正しく翻訳されていることが自動的に得られます。



直感は、言語は同様の「構造」を持たなければならず、選択したポイントで強制的にリンクすることにより、残りのアイデアを適切な場所で引き出すことを示しています。









t-SNEを使用したバイリンガルベクトル表現の可視化。 中国語は緑色で強調表示され、英語は黄色でマークされます（ Socher et al。（2013a） ）。



2つの言語を扱う場合、2つの類似したデータ型の共通表現を教えます。 しかし、単一のスペースと非常に異なるタイプのデータに「適合する」ことができます。



最近、ディープラーニングの助けを借りて、彼らは画像と単語を単一の表現空間に「適合」させるモデルを構築し始めました。

前の作業では、ラベルと画像の共同配布がモデル化されましたが、ここではすべてが少し異なります。



主なアイデアは、単語表現の空間からベクトルを発行して画像を分類することです。 犬のいる写真は、「犬」という言葉の表現に関するベクトルで表示されます。馬は「馬」について、車は「車」についてです。 などなど。











最も興味深いのは、新しい画像クラスでモデルをテストするときです。 では、モデルを具体的に認識するように教えられていないモデルの猫アザラシの画像を分類する、つまり「猫」ベクトルに近いベクトルで表示することを提案するとどうなりますか？









ソッチャー等。 （2013b）



ネットワークは新しいクラスの画像にうまく対応していることがわかりました。 猫の画像は、空間のランダムなポイントには表示されません。 それどころか、それらは「犬」ベクトルの近くに収まり、「猫」ベクトルにかなり近い。 同様に、トラック画像は、関連する「車」ベクトルからそれほど遠くない「トラック」ベクトルに近いポイントに表示されます。









ソッチャー等。 （2013b）



スタンフォードグループのメンバーは、8つの既知のクラスと2つの未知のクラスでこれを行いました。 結果はすでに印象的です。 しかし、このような少数のクラスでは、画像とセマンティック空間の間の関係を補間できる十分なポイントがありません。



Googleの調査チームは、同じもののはるかに大きなバージョンを作成しました。 8つではなく1,000のカテゴリを取り、ほぼ同時に（ Frome et al。（2013） ）、別のオプションを提案しました（ Norouzi et al。（2014） ）。 最後の2つの作品は、画像を分類するための強力なモデルに基づいています（ Krizehvsky et al。（2012） ）が、それらの画像はさまざまな方法で単語のベクトル表現の空間に適合します。



そしてその結果は印象的です。 未知のクラスの画像を正確なベクトルに正確にマッピングすることができない場合、少なくとも適切な近傍に到達することが可能です。 したがって、未知の大きく異なるカテゴリの画像を分類しようとすると、少なくともクラスを区別できます。



アスクレピオスのヘビやアルマジロを見たことがありませんが、それらの写真を見せても、誰がどこにいるのかを知ることができます。 そして、そのようなネットワークもこれが可能です。



（「これらの単語は似ています」というフレーズをよく使用しました。しかし、単語間の関係に基づいて、より強力な結果が得られるようです。単語表現のスペースでは、「男性」と「女性バージョン」の間に一定の違いがあります。画像の表現には、性別の違いを確認できる再現可能な特性があります。あごひげ、口ひげ、bげ頭は、男性のよく知られた兆候です。胸と長い髪（信頼性の低い兆候）、化粧、宝石は明らかな指標です 。男性、またはバストを持っている人すべてのこと- -女が、それは、助け可能性が高い真実ではないよりあるという女性の私は床の物理的な兆候は、例えば、私はすべてのはげたことを言うことはありません、欺瞞であることを十分に承知しています。初期値を設定する方が適切です。

。 王様を見たことがない場合でも、thenのある女王（王冠で識別される）を見ると、おそらく「女王」という言葉の「男性版」を使用する必要があると判断するでしょう。



一般的な見解（共有埋め込み）-息をのむような研究分野; それらは、ディープラーニングの前線でのアイデアのトレーニングを促進することを支持する非常に説得力のある議論です。

再帰的ニューラルネットワーク

このようなネットワークで単語のベクトル表現の議論を始めました。









単語のベクトル表現を教えるモジュラーネットワーク（ Bottou（2011） ）。



図はモジュラーネットワークを示しています







WとRの 2つのモジュールで構成されています。 小規模な「ニューラルネットワークモジュール」から、ニューラルネットワークを構築するこのアプローチはあまり普及していません。 しかし、彼は自然言語を処理するタスクで非常によく現れました。



説明されたモデルは強力ですが、1つの迷惑な制限があります。変更できない入力の数です。



これは、2つのベクトル表現を「マージ」する連想モジュールAを追加することで対処できます。









ぼとうから（2011）



単語シーケンスをマージすることにより、 Aはフレーズや文全体を表すことができます。 そして、異なる数の単語を「マージ」したいので、入力の数を制限すべきではありません。



文中の単語を単に順番に「結合」するのが正しいという事実ではありません。 「猫がマットの上に座った」という文は、次のような部分に分解できます。「（（the cat）（sat（on（the mat））」。この括弧の配置を使用してAを適用できます。









ぼとうから（2011）



1つのモジュールの出力信号は、多くの場合、同じタイプの別のモジュールに供給されるため、これらのモデルは、しばしば再帰ニューラルネットワークと呼ばれます。 ツリー構造のニューラルネットワーク（ツリー構造のニューラルネットワーク）と呼ばれることもあります。



再帰的ニューラルネットワークは、自然言語処理のいくつかの問題を解決する上で大きな成功を収めています。 たとえば、 Socher et al。 （2013c）センチメント文を予測するために使用されます：









（ Socher et al。（2013c）より ）



主な目標は、提案の「可逆」表現を作成することです。つまり、それを使用して、ほぼ同じ値で提案を復元できます。 たとえば、 Aの反対のアクションを実行する解離モジュールDを導入しようとすることができます。









ぼとうから（2011）



これが成功すれば、信じられないほど強力なツールを手にすることができます。 たとえば、2つの言語の文表現を作成して、自動翻訳に使用することができます。



残念ながら、それは非常に難しいことがわかりました。 とても難しい。 しかし、希望の根拠を受け取って、多くは問題を解決するのに苦労しています。



最近、 チョら。 （2014） 、フレーズの表現が進歩しました。モデルは英語でフレーズを「エンコード」し、フランス語でフレーズとして「デコード」します。 出てくるショーを見てください！









tSNEで圧縮された小さな表現空間（ Cho et al。（2014） 。）

批評

上記の結果の一部は、他の分野の研究者、特に言語学者や自然言語処理の専門家によって批判されたと聞きました。 批判されるのは結果そのものではなく、それらから推論される結果、および他のアプローチとの比較方法です。



私は問題が何であるかを正確に表現する準備ができているとは思わない。 誰かがコメントでこれをしてくれたら嬉しいです。

おわりに

学習表現のサービスにおけるディープラーニングは、ニューラルネットワークが非常に効率的である理由の疑問に答える強力なアプローチです。 さらに、それは驚くべき美しさを持っています：なぜニューラルネットワークが効果的ですか？ はい。多層モデルの最適化中に、データを表示する最良の方法が単独で表示されるためです。



ディープラーニングは、理論がまだ落ち着いておらず、態度が急速に変化している非常に若い分野です。この予約により、私には思えるように、ニューラルネットワークを使用した表現のトレーニングは非常に人気があります。



この投稿は、私にとって印象的な多くの研究結果について語っていますが、私の主な目標は、ディープラーニング、型理論、関数型プログラミングの間のリンクを調べる次の投稿の準備をすることです。興味のある方は、見逃さないように、私のRSSフィードを購読してください。



さらに、著者はコメントの不正確な点に気づいた場合は報告するよう求めます。元の記事を参照してください。

謝辞

Eliana Lorch, Yoshua Bengio, Michael Nielsen, Laura Ball, Rob Gilson Jacob Steinhardt .



: .