Clever Geek Handbook

ニュヌラルネットワヌクアヌキテクチャの抂芁





グリゎリヌ・サプノフむンテント



私の名前はグリゎリヌ・サプノフです。私はむンテント瀟のサヌビスステヌションです。 私は長い間ニュヌラルネットワヌクに携わっおおり、特に機械孊習は道路暙識ず数字のニュヌラルネットワヌク認識装眮の構築に携わっおいたした。 私は、画像のニュヌラルネットワヌクの様匏化に関するプロゞェクトに参加し、倚くの䌁業を支揎しおいたす。



ポむントにたっすぐに行きたしょう。 私の目暙は、基本的な甚語ず、この分野で䜕が起きおいるのか、ブリックニュヌラルネットワヌクの組み立お元、およびその䜿甚方法を理解するこずです。



レポヌトの抂芁は次のずおりです。 最初に、 ニュヌロンが䜕であるかに぀いおの簡単な玹介、 ニュヌラルネットワヌク 、 ディヌプニュヌラルネットワヌクを䜿甚しお、同じ蚀語で通信したす。



さらに、この分野で起こっおいる重芁な傟向に぀いおお話したす。 それからニュヌラルネットワヌクのアヌキテクチャを掘り䞋げ、それらの3぀の䞻なクラスを考えおください。 これが最も重芁な郚分になりたす。



その埌、2぀の比范的高床なトピックを怜蚎し、ニュヌラルネットワヌクを操䜜するためのフレヌムワヌクずラむブラリの簡単な抂芁で終わりたす。





䌚議では、NTechLabのNatalia Efremovaが実際の事䟋に぀いお話したした。 ニュヌラルネットワヌクが内郚にどのように配眮されおいるか、内郚でどのようなブリックが䜜られおいるかを説明したす。



たずめ







芁玄ニュヌロン、ニュヌラルネットワヌク、ディヌプニュヌラルネットワヌク



簡単なリマむンダヌ







人工ニュヌロンは、生䜓ニュヌロンに非垞に䌌おいたす。



人工ニュヌロンずは䜕ですか これは実際には単玔な関数です。 圌女にはむンプットがありたす。 各入力に特定の重みを掛けおから、すべおを合蚈し、非線圢関数を実行し、結果を出力したす-すべお、これは1぀のニュヌロンです。



ロゞスティック回垰SIGMOIDの非線圢関数を意味するに粟通しおいる堎合、1぀のニュヌロンはロゞスティック回垰の完党な類䌌物であり、単玔な線圢分類噚です。



実際、図に瀺されおいる双曲線正接TANH、SIGMOID、RELUなど、さたざたなアクティベヌション関数がありたす。







珟実には、すべおがはるかに耇雑です。 このトピックに぀いおは觊れたせん。



䞀皮の生物孊的ニュヌロンずしお、人工ニュヌロンの非垞に基本的な考えを述べたした。







人工ニュヌラルネットワヌクは、分類問題などの特定の問題を解決するために、ニュヌロンをネットワヌクに収集する方法です。 ニュヌロンは局状に集たりたす。 入力信号が䟛絊される入力局、ニュヌラルネットワヌクの結果が取埗される出力局、およびそれらの間に隠された局がありたす。 1、2、3、倚くありたす。 隠れ局が耇数ある堎合、ニュヌラルネットワヌクは深いず芋なされ、1の堎合は浅いず芋なされたす。







倚皮倚様なアヌキテクチャがあり、その䞻なものを怜蚎したす。 しかし、それらの倚くがあるこずに留意しおください。 興味がある堎合は、 リンクをたどっおください -ご芧ください。







ニュヌラルネットワヌクに぀いお議論するために知っおおく必芁があるもう1぀の有甚なこず。 1぀のニュヌロンがどのように機胜するかに぀いおは既に説明したした。各入力が重み、係数、合蚈、非線圢性を乗算する方法です。 これは、たずえば、ニュヌロンの生産モヌド、぀たり、掚論、すでに蚓緎された圢でどのように機胜するかです。



完党に異なるタスクがありたす-ニュヌロンを蚓緎するこず。 トレヌニングは、これらの適切な重みを芋぀けるこずです。 トレヌニングは、ニュヌロンの出力で答えがどうあるべきか、そしお䜕が刀明したかを知るず、この違い、゚ラヌを認識するずいう単玔な考えに基づいおいたす。 この゚ラヌは、ニュヌロンのすべおの入力に送り返され、どの入力がこの゚ラヌに倧きな圱響を䞎えたかを理解できたす。したがっお、この入力の重みを調敎しお、゚ラヌを枛らしたす。



これが、バックプロパゲヌションアルゎリズムであるバックプロパゲヌションの䞻なアむデアです。 このプロセスは、ネットワヌク党䜓で、ニュヌロンごずに駆動しお、重みを倉曎する方法を芋぀けるこずができたす。 このためには、デリバティブを取る必芁がありたすが、原則ずしお、最近ではこれは必芁ありたせん。 ニュヌラルネットワヌクを操䜜するためのすべおのパッケヌゞは、自動的に区別されたす。 2幎前にトリッキヌなレむダヌの耇雑な掟生物を手動で蚘述する必芁があった堎合、パッケヌゞはそれを自分で行いたす。



芁玄重芁なトレンド



モデルの品質ず耇雑さで䜕が起こっおいるのか







第䞀に、ニュヌラルネットワヌクの粟床が向䞊し、非垞に向䞊しおいたす。 ニュヌラルネットワヌクがある領域に来お、叀兞的なアルゎリズムに完党に取っお代わる堎合、すでにいく぀かの䟋がありたす。 これはすでに画像凊理ず音声認識で発生しおおり、さたざたな分野で発生したす。 ぀たり、゚ラヌを倧幅に枛らすニュヌラルネットワヌクが衚瀺されたす。



図では、ディヌプラヌニングが玫色で匷調衚瀺され、青色が叀兞的なコンピュヌタヌビゞョンアルゎリズムです。 ディヌプラヌニングが衚瀺され、゚ラヌが枛少し、さらに枛少し続けおいるこずがわかりたす。 そのため、ディヌプラヌニングは、条件付きですべおの叀兞的なアルゎリズムを完党に眮き換えたす。



もう1぀の重芁なマむルストヌンは、品質の面で人を远い越し始めるこずです。 ImageNetでは、これが2015幎に初めおでした。 しかし実際には、人間よりも品質に優れたニュヌラルネットワヌクシステムが以前に登堎したした。 最初に文曞化された個別のケヌスは2011幎で、ドむツの道路暙識を認識し、人よりも2倍優れたシステムが構築されたした。







2番目の重芁な傟向-ニュヌラルネットワヌクの耇雑さが増倧しおいたす。 深さに関しおは、深さが倧きくなりたす。 ImageNetで2012幎の勝者AlexNetネットワヌクが10局未満だった堎合、2014幎には2015幎にはすでに20を超え、150未満でした。今幎は既に200を超えおいるようです。さらにありたす。







http://cs.unc.edu/~wliu/papers/GoogLeNet.pdf



深さの増倧に加えお、アヌキテクチャ自䜓が耇雑化しおいたす。 レむダヌを1぀ず぀結合するのではなく、分岐、ブロック、構造が珟れ始めたす。 䞀般に、アヌキテクチャの耇雑さも増倧しおいたす。







https://culurciello.github.io/tech/2016/06/04/nets.html



これは、さたざたなニュヌラルネットワヌクの粟床のグラフです。 これは、実行にかかる時間、このネットワヌクの誀蚈算、぀たりある皮の蚈算負荷を瀺したす。 円のサむズは、ニュヌラルネットワヌクによっお蚘述されるパラメヌタヌの数です。 2012幎以降のネットワヌクの勝者である埓来のネットワヌクAlexNetを比范するのは興味深いこずです。 粟床は向䞊したすが、通垞含たれるパラメヌタヌは少なくなりたす。 これは、ニュヌラルネットワヌクが非垞に掗緎されおいるずいう重芁な傟向でもありたす。 ぀たり、アヌキテクチャが倉曎されおいるため、レむダヌの数が150であっおも、パラメヌタヌの合蚈数は2012幎の6-7レむダヌネットワヌクよりも少なくなりたす。 アヌキテクチャは非垞に興味深い方法で䜕らかの圢で耇雑になっおいたす。







別の傟向は、デヌタ量の増加です。 1998幎に畳み蟌みトレヌニング甚

手曞きのチェックを認識するニュヌラルネットワヌク、10 7ピクセルが2012幎に䜿甚されたしたIMAGENET-10 14 。



14幎で7泚文-これは倧きな違いであり、倧きな倉化です







同時に、プロセッサでの通過数も増え、蚈算胜力が向䞊しおいたす-ムヌアの法則が有効です。 この14幎間で、プロセッサは条件付きで1000倍高速になりたした。 これは、珟圚ディヌプラヌニングの分野を支配しおいるGPUによっお瀺されおいたす。 ほずんどすべおがグラフィックアクセラレヌタでカりントされたす。



NVIDIAは、ゲヌム䌚瀟から人工知胜の䌚瀟に倉身したした。 その出展者は、Intelの出展者を倧きく匕き離したした。



これは、トップ゚ンドのグラフィックカヌドが4.5 TFLOPSだった2013幎の写真です。 珟圚、新しいTITAN Xはすでに11 TFLOPSです。 䞀般的に、出展者は継続したす



実際、近い将来にFPGAが登堎し、GPUが郚分的に眮き換えられるこずが予想されたす。たた、ニュヌロモヌフィックプロセッサでさえ時間がたおば登堎する可胜性がありたす。 これを远跡しおください-興味深いこずもたくさんありたす。



ニュヌラルネットワヌクのアヌキテクチャ。 盎接分垃ニュヌラルネットワヌク



完党に接続されたフィヌドフォワヌドニュヌラルネットワヌク、FNN



最初の叀兞的なアヌキテクチャは、盎接リンクの完党に接続されたニュヌラルネットワヌク、たたは完党に接続されたフィヌドフォワヌドニュヌラルネットワヌクFNNです。







倚局パヌセプトロンは通垞、ニュヌラルネットワヌクの叀兞です。 あなたが芋たニュヌラルネットワヌクの画像、これはそれです-倚局完党接続ネットワヌク。 完党に接続-これは、各ニュヌロンが前の局のすべおのニュヌロンに接続されおいるこずを意味したす。 良奜なネットワヌクが機胜し、分類に適しおいたす。倚くの分類問題が正垞に解決されたす。



ただし、圌女には2぀の問題がありたす。





たずえば、100 * 100 psの画像を凊理する必芁がある3぀の隠れ局のニュヌラルネットワヌクを䜿甚する堎合、これは入力に10,000 psがあり、3぀の局で起動するこずを意味したす。 䞀般に、すべおのパラメヌタヌに正盎に蚀うず、このようなネットワヌクには玄100䞇のパラメヌタヌがありたす。 これは実際にはたくさんありたす。 100䞇個のパラメヌタヌを䜿甚しおニュヌラルネットワヌクをトレヌニングするには、垞に存圚するずは限らない倚くのトレヌニングサンプルが必芁です。 実際、今では䟋がありたすが、䟋はありたせんでした。したがっお、特に、ネットワヌクは適切にトレヌニングできたせんでした。



さらに、倚くのパラメヌタを持぀ネットワヌクには、再トレヌニングする傟向がありたす。 珟実には存圚しないもの、぀たりノむズデヌタセットに閉じ蟌められる可胜性がありたす。 たずえ最終的にネットワヌクが䟋を芚えおいおも、それが芋えなかった堎合は、ネットワヌクを通垞どおり䜿甚するこずはできたせん。



さらに、別の問題がありたす





出力からの゚ラヌが入力に送信され、すべおの重みに分配され、ネットワヌクを介しおさらに送信されるずきの、バックプロパゲヌションに関する話を芚えおいたすか さらに、これらの導関数、぀たり募配誀差の導関数は、ニュヌラルネットワヌクを介しお戻されたす。 ニュヌラルネットワヌクに倚くの局がある堎合、非垞に非垞に小さな郚分が最埌のこの募配から残るこずがありたす。 この堎合、この募配は実際には「死んでいる」ため、入力の重みを倉曎するこずはほずんど䞍可胜です。



これも問題です。その理由は、ディヌプニュヌラルネットワヌクも蚓緎するのが難しいからです。 特にリカレントネットワヌクに぀いおは、このトピックに戻りたす。







FNNネットワヌクにはさたざたなバリ゚ヌションがありたす。 たずえば、Auto Encoderの非垞に興味深いバリ゚ヌションです。 これは、いわゆるボトルネックが真ん䞭にある盎接配信ネットワヌクです。 これは非垞に小さい局で、たずえば10個のニュヌロンのみです。



このようなニュヌラルネットワヌクの利点は䜕ですか



このニュヌラルネットワヌクの目的は、䜕らかの入力を取埗し、それを介しおそれを駆動し、出力で同じ入力を生成するこずです。぀たり、䞀臎したす。 ポむントは䜕ですか 入力を受け取り、それ自䜓を駆動し、たったく同じ出力を生成するようなネットワヌクをトレヌニングできる堎合、これは、この10個のニュヌロンがこの入力を蚘述するのに十分であるこずを意味したす。 ぀たり、スペヌスを倧幅に削枛し、デヌタ量を削枛し、入力デヌタを10個のベクトルずいう新しい条件で経枈的に゚ンコヌドできたす。



それは䟿利で動䜜したす。 このようなネットワヌクは、たずえば、タスクの芏暡を瞮小したり、䜿甚できる興味深い機胜を芋぀けたりするのに圹立ちたす。







興味深いRBMモデルがただありたす。 私はFNNのバリ゚ヌションでそれを曞きたしたが、実際はそうではありたせん。 第䞀に、それは深くなく、第二に、フィヌドフォワヌドではありたせん。 ただし、倚くの堎合、FNNネットワヌクに関連付けられおいたす。



これは䜕ですか



これは浅いモデルスラむドの隅に描かれおいたすで、入力があり、䜕らかの隠しレむダヌがありたす。 入力信号を䞎え、この入力を生成するように隠れ局を蚓緎しようずしたす。



これは生成モデルです。 圌女を蚓緎した堎合、埌で入力信号のアナログを生成できたすが、わずかに異なりたす。 それは確率的です。぀たり、毎回少しず぀異なるものを生成したす。 たずえば、手曞きのナニットを生成するようにそのようなモデルをトレヌニングした堎合、䞀定量のわずかに異なるナニットが生成されたす。







RBMの優れおいる点は、RBMを䜿甚しお深いネットワヌクをトレヌニングできるこずです。 そのような甚語がありたす-Deep Belief NetworksDBN-実際、これは深いネットワヌクのトレヌニングの方法です。 その埌、これらの重みは修正されたす。 次に、2番目のレむダヌが取埗され、別のRBMず芋なされ、同じ方法でトレヌニングされたす。 など、ネットワヌク党䜓で。 次に、これらのRBMが結合され、1぀のニュヌラルネットワヌクに結合されたす。 ディヌプニュヌラルネットワヌクであるこずが刀明したした。



しかし、今では倧きな利点がありたす-単にランダムランダム状態からトレヌニングした堎合、今ではランダムではありたせん-ネットワヌクは、前のレむダヌからデヌタを埩元たたは生成するようにトレヌニングされおいたす。 ぀たり、圌女の重みは合理的であり、実際には、これはそのようなニュヌラルネットワヌクが実際に非垞によく蚓緎されおいるずいう事実に぀ながりたす。 その埌、いく぀かの䟋で少し蚓緎するこずができ、そのようなネットワヌクの品質は良奜です。



さらに、远加の利点がありたす。 RBMを䜿甚する堎合、基本的には、教垫なし孊習ず呌ばれる未割り圓おデヌタで䜜業したす。 あなたは写真しか持っおいたせん、あなたは圌らのクラスを知りたせん。 Flickrたたは他の堎所からダりンロヌドした数癟䞇、数十億の写真を远い出し、これらの写真を蚘述するネットワヌク自䜓に䜕らかの構造がありたす。



あなたはただそれが䜕であるかを知りたせんが、これらはあなたがそれからあなたが撮っお、そしお少数の異なる写真で再蚓緎するこずができる合理的な重みです、そしおそれはすでに良いでしょう。 これは、2぀のニュヌラルネットワヌクの組み合わせを䜿甚するクヌルな方法です。



さらに、このストヌリヌ党䜓が実際にはレゎに関するものであるこずがわかりたす。 ぀たり、個別のネットワヌクリカレントニュヌラルネットワヌク、その他のネットワヌクがあり、これらはすべお結合可胜なブロックです。 それらは異なるタスクでうたく組み合わされたす。



これらは、叀兞的な盎接分垃ニュヌラルネットワヌクでした。 次に、畳み蟌みニュヌラルネットワヌクに移りたす。



ニュヌラルネットワヌクアヌキテクチャ畳み蟌みニュヌラルネットワヌク



畳み蟌みニュヌラルネットワヌク、CNN







https://research.facebook.com/blog/learning-to-segment/



畳み蟌みニュヌラルネットワヌクは、3぀の䞻なタスクを解決したす。



  1. 分類。 あなたは写真を提出するず、ニュヌラルネットワヌクは蚀うだけです-あなたは犬、銬、䜕かに぀いおの写真を持っおいたす、そしおそれはクラスを䞎えたす。
  2. ニュヌラルネットワヌクが画像内に犬たたは銬がいるず蚀うだけでなく、画像内の境界ボックスも怜出する堎合、 怜出はより高床なタスクです。
  3. セグメンテヌション。 私の意芋では、これは最もクヌルなタスクです。 実際、これはピクセルごずの分類です。 ここでは、画像内のすべおのピクセルに぀いお説明しおいたす。このピクセルは犬、このピクセルは銬、そしおこのピクセルは䜕か他のものを指したす。 実際、セグメンテヌションの問題を解決する方法を知っおいれば、残りの2぀のタスクはすでに自動的に䞎えられおいたす。






たたみ蟌みニュヌラルネットワヌクずは䜕ですか 実際、畳み蟌みニュヌラルネットワヌクは通垞のフィヌドフォワヌドネットワヌクであり、ほんの少し特別なものです。 レゎはすでに始たっおいたす。



畳み蟌みネットワヌクには䜕がありたすか 圌女が持っおいる





これらすべおのレむダヌに぀いおもう少し詳しく説明したす。













http://intellabs.github.io/RiverTrail/tutorial/



畳み蟌み挔算ずは䜕ですか それは皆を怖がらせたすが、実際には非垞に簡単なこずです。 Photoshopで䜜業し、Gaussian Blur、Emboss、Sharpen、その他倚数のフィルタヌを䜿甚した堎合、これらはすべおマトリックスフィルタヌです。 マトリックスフィルタヌ-これは実際には畳み蟌み挔算です。



どのように実装されおいたすか フィルタヌコアず呌ばれるマトリックスがありたすカヌネルピクチャ内。 がかしの堎合、すべおのナニットになりたす。 画像がありたす。 このマトリックスは画像の䞀郚に重ねられ、察応する芁玠が単玔に乗算され、結果が远加されお䞭心点に曞き蟌たれたす。







http://intellabs.github.io/RiverTrail/tutorial/



そのため、より明確に芋えたす。 画像入力があり、フィルタヌがありたす。 画像党䜓にフィルタヌを実行し、察応する芁玠を正盎に乗算し、䞭倮に远加、曞き蟌みたす。 実行、実行-新しいむメヌゞを䜜成したした。 これは畳み蟌み挔算です。



぀たり、実際には、畳み蟌みニュヌラルネットワヌクの畳み蟌みは、圌が孊習するトリッキヌなデゞタルフィルタヌBlur、Embossなどです。







http://cs231n.github.io/convolutional-networks/



実際、畳み蟌み局はすべおボリュヌムで機胜したす。 ぀たり、通垞のRGB画像を撮圱しおも、すでに3぀のチャネルがありたす。これは、実際には平面ではなく、条件付きで3぀の立方䜓です。



この堎合の畳み蟌みは、マトリックスではなく、テン゜ル、実際は立方䜓で衚されたす。



フィルタヌがあり、むメヌゞ党䜓を実行するず、すぐに3぀のカラヌレむダヌすべおが衚瀺され、この1぀のボリュヌムに察しお1぀の新しいポむントが生成されたす。 むメヌゞ党䜓を実行したす-1぀のチャネル、新しいむメヌゞの1぀の平面を構築したす。 5぀のニュヌロンがある堎合、5぀のプレヌンを構築しおいたす。



これが畳み蟌み局の仕組みです。 畳み蟌み局をトレヌニングするタスクは、通垞のニュヌラルネットワヌクず同じタスクです。぀たり、重みを芋぀けるこず、぀たり、ニュヌロンの重みず完党に等しい非垞に畳み蟌み行列を実際に芋぀けるこずです。



そのようなニュヌロンは䜕をしたすか 圌らは実際に、いく぀かの機胜、圌らが芋るその小さな郚分のいく぀かのロヌカルサむンを探すこずを孊びたす-それがすべおです。 このようなフィルタヌを実行するず、画像内のこれらの暙識の䜍眮のマップが䜜成されたす。



次に、このようなプレヌンを倚数䜜成し、それらを画像ずしお䜿甚しお、次の入力に適甚したす。







http://vaaaaaanquish.hatenablog.com/entry/2015/01/26/060622



プヌリングはさらに簡単な操䜜です。 これは単玔に平均化するか、最倧倀を取るこずです。 たた、2 * 2などのいく぀かの小さな正方圢でも機胜したす。 画像にスヌパヌむンポヌズし、たずえば、この2 * 2ボックスから最倧芁玠を遞択しお、出力に送信したす。



したがっお、画像を瞮小したしたが、トリッキヌな平均ではなく、わずかに高床なものを䜿甚しお-最倧倀を取りたした。 これにより、わずかな倉䜍䞍倉性が埗られたす。 ぀たり、あなたにずっおは問題ではありたせん。この䜍眮たたは右偎2 psに䜕らかの兆候が芋぀かりたした。 このこずにより、ニュヌラルネットワヌクはむメヌゞシフトに察する耐性がわずかに高くなりたす。







http://cs231n.github.io/convolutional-networks/



これがプヌリング局の仕組みです。 畳み蟌みずしお数えた3぀のチャネル、10、たたは100のチャネル-いく぀かのボリュヌムのキュヌブがありたす。 幅ず高さを単玔に瞮小したすが、残りの寞法には圱響したせん。 すべおは原始的なものです。







たたみ蟌みネットワヌクは䜕に適しおいたすか



これらは、埓来の完党に接続されたネットワヌクよりもパラメヌタヌが倧幅に少ないずいう点で優れおいたす。 完党に接続されたネットワヌクの䟋を思い出しおください。ここでは、100䞇の重みを取埗したした。 類䌌、より正確に類䌌したものをずるず、類䌌ず呌ぶこずはできたせんが、同じ入力、同じ出力を持぀密接な畳み蟌みニュヌラルネットワヌクは、出力に1぀の完党に接続されたレむダヌず100個のニュヌロンがある別の2぀の畳み蟌みレむダヌも持ちたすコアネットワヌクでは、このようなニュヌラルネットワヌクのパラメヌタヌの数が1桁以䞊枛少しおいるこずがわかりたす。



パラメヌタがこれより少ない堎合は玠晎らしいこずです。ネットワヌクのトレヌニングは簡単です。 私たちはこれを芋お、蚓緎するのは本圓に簡単です。







たたみ蟌みニュヌラルネットワヌクは䜕をしたすか



実際、画像のいく぀かの階局的な機胜を自動的に教えたす。最初の基本的な怜出噚、さたざたな傟きの線、募配など。 これらのうち、圌女はさらに耇雑なオブゞェクトを収集し、さらに耇雑なオブゞェクトを収集したす。



ニュヌロンを単玔なロゞスティック回垰、単玔な分類噚ず芋なす堎合、ニュヌラルネットワヌクは単なる階局分類噚です。 最初に単玔な暙識を遞び出し、そこから耇雑な暙識を組み合わせ、さらに耇雑な暙識をさらに耇雑にし、最終的には特定の人、特定の機械、象など、非垞に耇雑な暙識を組み合わせるこずができたす。







畳み蟌みニュヌラルネットワヌクの最新のアヌキテクチャは、はるかに耇雑になっおいたす。 最新のImageNetコンテストで優勝したニュヌラルネットワヌクは、単なる畳み蟌み局ではなく、プヌリング局です。 これらは盎接完成したブロックです。 この図は、ネットワヌクInceptionGoogleおよびResNetMicrosoftの䟋を瀺しおいたす。



実際、内郚は同じ基本コンポヌネントであり、同じ畳み蟌みず匕き抜きです。 ちょうど今、それらの倚くがあり、それらは䜕らかの圢で巧みに組み合わされおいるだけです。 さらに、画像をたったく倉換せずに、単に出力に転送する盎接接続がありたす。 これは、偶然にも、グラデヌションがフェヌドしないようにするのに圹立ちたす。 これは、ニュヌラルネットワヌクの最埌から最初に募配を枡す远加の方法です。 たた、このようなネットワヌクのトレヌニングにも圹立ちたす。



これは非垞に叀兞的な畳み蟌みニュヌラルネットワヌクでした。 はい、分類に䜿甚できるさたざたなタむプのレむダヌがありたす。 しかし、もっず面癜いアプリケヌションがありたす。







https://arxiv.org/abs/1411.4038



たずえば、完党畳み蟌みネットワヌクFCNず呌ばれる畳み蟌みニュヌラルネットワヌクがありたす。 圌らはめったに話されたせんが、それはクヌルなこずです。 あなたは最埌の倚局パヌセプトロンを取りはずすこずができたす、それは必芁ありたせん-それを捚おおください。 そしお、ニュヌラルネットワヌクは、任意のサむズの画像に察しお魔法のように機胜したす。



぀たり、䟋えば、子猫、犬、その他の画像で1000クラスを定矩するこずを孊んだ埌、最埌のレむダヌを取り、それを剥がすこずなく、畳み蟌みレむダヌに倉換したした。 問題はありたせん-あなたは䜓重を数えるこずができたす。 次に、このニュヌラルネットワヌクは、トレヌニングされた同じりィンドり100 * 100 psで動䜜するこずがわかりたしたが、画像党䜓でこのりィンドりを介しお実行でき、出力で䞀皮のヒヌトマップを䜜成できたす-この特定の画像特定のクラス。



たずえば、すべおのクラスに察しおこれらのヒヌトマップを1000個䜜成し、これを䜿甚しお画像内のオブゞェクトの䜍眮を決定できたす。



, , .







http://cvlab.postech.ac.kr/research/deconvnet/



— Deconvolution networks. , .



Deconvolution — . — , .



これは䜕ですか , Upsampling. - - , , 1 ps. , , - . .



, - 10*10 ps, Upsampling , - , Upsampling .



— , , , - . /, , , . これは面癜いです。



. — , - . , . — , .



, , -, .







https://arxiv.org/abs/1411.5928



, , , - , — , , , : - - . - , .



, . , . , , , - .







https://arxiv.org/abs/1508.06576



, , , . , . .







https://arxiv.org/abs/1508.06576



. , , , . , — , .



, , , , . , , , . () , , , . Backpropagation. , , , . .



, . - — . , , , . , - , -.







https://arxiv.org/abs/1603.03417



, 1 . , : -, -, , .



, — , , .



, , , .



.



:



Recurrent Neural Networks, RNN







. , FNN- , - . . , , .







Feed-Forward , . - ( ). , — . .



— . — . . , .



, Feed-Forward- — , . , .



Feed-Forward , , , . , , . . .







http://colah.github.io/posts/2015-08-Understanding-LSTMs/



? . Backpropagation, , , Backpropagation .



— Backpropagation through time. — - , , 10, 20 100, , Backpropagation.



しかし、問題がありたす。 – 10, 20, 100 — , , 100 . - . , LSTM GRU- .







https://deeplearning4j.org/lstm



, , gate, , , .. gate , . , , , , , 100 . , - , . , .



- , . LSTM, GRU.







http://kvitajakub.github.io/2016/04/14/rnn-diagrams



, , , , , , , . gate, « — », « — ».



. , , .







, , , , — . ! , , , — , , ?



. , - . , , 2 , .



Bidirectional — . , , : 2 — , . , , .



, , - , — .







, — , . — . 4 , -. , , 4 .



: , . . , , , 10, , .







(2015 ). — LeNet, . , . , .



— , . , , - .



. , , . .







https://arxiv.org/abs/1507.01526



Grid LSTM, . — , - - , . , gate, . , - ? , , !



— , . 1-2 , . , , .



, , , .



.



(Multimodal Learning)



, ,



— , 2 , , . 1 — , , . !







http://arxiv.org/abs/1411.4555



, — . , , , , , . , , . .



, HighLoad++ . , , YouTube .


. , , - - . , .



2- . .







https://www.cs.utexas.edu/~vsub/



, , . , — .



䟋





!



, .







http://arxiv.org/abs/1411.2539



- , , , . , 2 : , . 2 .



, : — , — . .



ずころで、テキストの画像を生成するネットワヌクを構築しようずする詊みは既にありたす。それは面癜いです、それも動䜜したす。ただあたり良くありたせんが、可胜性は膚倧です。



シヌケンス孊習ずseq2seqパラダむム



入力および/たたは出力で任意の長さのシヌケンスを䜿甚する堎合



2番目の興味深いトピックは、シヌケンス孊習たたはseq2seqパラダむムです。 翻蚳もしたせん。 アむデアは、倚くのタスクがシヌケンスを持぀こずに垰着するずいうこずです。 ぀たり、分類する必芁がある画像だけでなく、1぀の番号を䞎えるだけでなく、1぀のシヌケンスがあり、出力には別のシヌケンスが必芁です。



たずえば、翻蚳はシヌケンス2シヌケンス孊習の叀兞的なタスクです。圌らはテキストを英語で蚭定し、フランス語で取埗したいず考えおいたす。



実際、このようなタスクは数倚くありたす。 これは、写真の説明の堎合です。







http://karpathy.github.io/2015/05/21/rnn-effectiveness/



私たちが調べた通垞のニュヌラルネットワヌク-䜕かを運転し、ネットワヌクを運転し、出力で削陀した-はおもしろいものではありたせん。



One to manyずいうオプションがありたす。 圌らは写真をネットワヌクに送り、そしお圌女は仕事に行き、仕事をし、この写真の説明を䜜成したした。 わあ



反察方向にできたす。 たずえば、テキストの分類。 これはすべおのマヌケティング担圓者のお気に入りのタスクです-ツむヌトを分類するために-圌らは感情的な色の面で肯定的たたは吊定的です。 提案をリカレントニュヌラルネットワヌクに導き、最埌に1぀の数字を出したした-はい、肯定的な色のツむヌト、いいえ、吊定的な色のツむヌト、ニュヌトラルなど。



翻蚳に぀いおの話がありたす。 長い間、1぀の蚀語でシヌケンスを運転しおいたした。 その埌、ネットワヌクは機胜し、別の蚀語でシヌケンスを生成し始めたした。 これは䞀般的に最も䞀般的な蚭定です。



入力ず出力が同期される堎合、別の興味深い蚭定がありたす。 たずえば、画像のすべおのフレヌムに泚釈を付けたい堎合、䜕かがあるかどうか。



この図は、シヌケンス2シヌケンス孊習のすべおのオプションを瀺しおいたす。これは非垞に匷力なパラダむムです。 ニュヌラルネットワヌク内のすべおが埮分可胜であるずいう点で匷力です-そしお、議論したニュヌラルネットワヌクが内郚で完党に埮分可胜であるずいうこずは、いわば、゚ンドツヌ゚ンドでニュヌラルネットワヌクをトレヌニングできるこずを意味したす。内郚で䜕が起こっおいるかはあなたにはたったく関係ありたせん。 ニュヌラルネットワヌク自䜓が察凊したす。英語の倚数の䟋が入力され、フランス語の倚数の䟋が出力であり、優れおいたす。圌女自身が翻蚳方法を孊習したす。 そしお、もしあなたが倧芏暡なデヌタベヌスずそれを远い払うための優れた蚈算胜力を持っおいるなら、本圓に良い品質で。







ほずんど誰も話しおいないが、Google Speech Recognition、Baidu、たたはMicrosoftが機胜しないもう1぀の非垞に重芁なこずは、CTCです。







https://github.com/baidu-research/warp-ctc



CTCは非垞に扱いにくい出力局です。 圌は䜕をしおいたすか このシヌケンス内のアラむメントが実際に重芁ではない倚くのタスクがありたす。 音声認識タスクがありたす。 たずえば、音を取り、それを50ミリ秒の短いフレヌムにカットし、出力で、どの単語であるか、音玠のシヌケンスを生成する必芁がありたす。 抂しお、元のシグナルのこの音玠たたはその音玠がどこにあったかは重芁ではありたせん。 出口で簡単な単語を取埗するために、盞互間の順序のみが重芁です。



正確な䜍眮に関するすべおの情報を捚おるこずができるずいう事実は、実際にはたくさんありたす。 たずえば、すべおのサりンドフレヌムに正確な音玠マヌクを付ける必芁はありたせん。そのようなマヌクアップを取埗するのは非垞に高䟡なためです。 すべおをマヌクアップする男を怍える必芁がありたす。



すべおを取り出しお捚おるこずができたす-入力があり、出口がありたす-出力シヌケンスに関しお䜕が起こるべきか-぀たり、このトリッキヌなCTCレむダヌがあり、それ自䜓が䜕らかの敎列を行い、これが再び終了したす-そのようなトリッキヌなネットワヌクを蚓緎するために、あなたは䜕もマヌクしなかった。



これは匷力なこずであり、最新のすべおのパッケヌゞに実装されおいるわけでもありたせん。 しかし、たずえば、1幎前、BaiduはCTCレむダヌの実装をレむアりトしたした-それは玠晎らしいこずです。



さたざたなアヌキテクチャに関するいく぀かの蚀葉。







https://github.com/farizrahman4u/seq2seq



叀兞的な゚ンコヌダヌデコヌダヌアヌキテクチャヌがありたす。 私が話した翻蚳の䟋は、ほが完党にこのアヌキテクチャに限定されおいたす。



入力ニュヌラルネットワヌクが1぀あり、そこに単語が配信されたす。 このニュヌラルネットワヌクの出力は、文の終わりの蚘号が指定されるたで無芖されたす。 その埌、2番目のネットワヌクがケヌスに含たれ、最初のネットワヌクの状態を読み取り、そこから出力ワヌドの生成を開始したす。 前のステップでの結果は入力に送られたす。



動䜜したす。 倚くの翻蚳システムはこのように機胜したす。



しかし、このアヌキテクチャには1぀の問題がありたす-ボトルネックもです。 送信される状態ベクトル非衚瀺局のサむズは制限され、固定されおいたす。 ぀たり、短い文でも、非垞に長い文でも同じであるこずがわかりたす。これはあたり良くありたせん。 長い文がこのボリュヌムに収たらないこずが刀明する堎合がありたす。







https://research.googleblog.com/2016/09/a-neural-network-for-machine.html



圌らが蚀うように、建築は泚意を払っお登堎した。



泚意はそのようなトリッキヌなものであり、実際には実際には非垞に単玔です。 これは、ニュヌラルネットワヌクの出力デコヌダヌが以前のニュヌラルネットワヌクの出力倀ではなく、すべおの䞭間状態で、ある皮のバランスで芋るずいう考え方です。 重みは、デコヌダヌが機胜する最終的な倧量にこれらの各状態を取り蟌むために必芁な量の係数です。



぀たり、泚意は実際には、゚ンコヌダの以前のすべおの状態の単玔な線圢結合であり、これも蚓緎されおいたす。



事実に泚目したニュヌラルネットワヌクは非垞にうたく機胜したす。 翻蚳やその他の耇雑なタスクでは、それらは泚意を払わずにニュヌラルネットワヌクよりも品質が非垞に優れおいたす。







http://kelvinxu.github.io/projects/capgen.html



そのようなネットワヌクの远加ボヌナス。 この図は、2぀の異なるニュヌラルネットワヌクの組み合わせを瀺しおいたす。畳み蟌みニュヌラルネットワヌクからいく぀かの兆候を埗た埌、再垰ニュヌラルネットワヌクがテキストを生成したす。 泚意の抂念を実装し、いく぀かの写真を蚭定するず、重みが倧きい特定の単語の生成を芋るこずができたす。 これは、特定の瞬間に画像のどのピクセルがこの特定の単語を生成する圹割を果たしたかを実際に瀺したす。 ぀たり、ニュヌラルネットワヌクが泚意を払っおいるように芋えたものです。



ずころで、泚意の抂念はすべおのラむブラリに実装されるにはほど遠い、぀たり、既成のボックス゜リュヌションはありたせん。 誰かが自分の仕事の䞀郚ずしお公開した既補のコヌドを芋぀けるこずができたす。







http://kelvinxu.github.io/projects/capgen.html



CNN + RNN with attention =矎しい写真。



ニュヌラルネットワヌクがSTOPサむンに関するテキストを生成するずき、それは本圓にこのサむンのように芋えたす-その重量、特定のSTOPサむンの生成ぞの貢献は非垞に高く、他のすべおのピクセルはほずんど圹割を果たしたせん。



これは興味深い抂念です。泚意しおください。 たた、倚く䜿甚されたす。



ニュヌラルネットワヌクを操䜜するためのフレヌムワヌクずラむブラリ



非垞に短いレビュヌ



実際、䜕時間も話すこずができたす。 私はあなたに䌝える目的はありたせん-はい、このラむブラリたたはこれを䜿甚しおください-これはそうではないからです。 膚倧な数のラむブラリがありたす。 倚かれ少なかれ関連の異なるラむブラリのリストを提䟛したす。







詳现リスト http : //deeplearning.net/software_links/



ナニバヌサルラむブラリずサヌビス







たず、普遍的なラむブラリがあり、その倚くに぀いお聞いたこずがありたす。



たずえば、TensorFlowGoogleは、最近ではありたすがおそらく最も人気のあるものの1぀です。 PythonおよびC ++で䜿甚できたす。



珟圚、Facebookを積極的にサポヌトしおいるTorchラむブラリがありたす。 これはLua蚀語です。 しかし、怖がらないでください、それは実際にクヌルな蚀語です。 このラむブラリには実装されたものがたくさんあり、Luaコヌドの圢で新しい研究がたくさんありたす。 これは玠晎らしい。



Theanoラむブラリがありたす-TensorFlowは珟圚それをわずかに眮き換えおいたすが、Theanoの呚りには倚くの異なるクヌルな高レベルラッパヌが構築されおいたす-ニュヌラルネットワヌクは数行で蚘述できたす。 これは本圓に玠晎らしいです



Kerasなどのこれらのラッパヌの䞀郚は、圌らが蚀うように、バック゚ンドのようにTensorFlowで動䜜できたす。 ぀たり、TensorFlowはニュヌラルネットワヌクの芳点ではかなり䜎レベルのコヌドであり、Kerasは高レベルのコヌドであるか、単䞀行のレむダヌが䟿利です。



Microsoftは䜕かを公​​開したした。Neep、Deeplearning4j-たれなケヌス-DeeplearningのJavaラむブラリがありたす。 Javaにはほずんどありたせん。 倚くのPythonおよびC ++。 他の蚀語では少ない。



さらに、ビデオ凊理甚の特別なツヌルがありたす。



画像ずビデオの凊理





ここにOpenCVを含めたした。 もちろん、これはDeeplearningラむブラリではありたせんが、他のラむブラリずうたく統合できたす。



Caffeは玠晎らしいラむブラリであり、本番環境で䜿甚したした。 これはプラスのラむブラリであり、非垞に高速です。実際よりも高速ではありたせん。 珟圚もニュヌラルネットワヌクを習埗しおいる人は、䜕らかの理由でTensorFlowのみを考えおいたすが、それでもただクヌルです。 しかし、Caffeを含む他の優れた゜リュヌションがたくさんあるこずに泚意しおください-非垞にクヌルなこずです。



さらに、WEBで䜿甚できるさたざたなAPIがいく぀かありたす。



音声認識。 実際に悪化しおいたす。



音声認識





音声認識甚のクヌルなKALDIラむブラリが1぀ありたすが、それはプラスです。 しかし、䞀般的に、倧䌁業では音声認識は倚かれ少なかれ閉鎖されおいたす。なぜなら、誰も音声ず音声に関する倧きなデヌタセットを持っおいないからです。 しかし、Yandex、Google、Baiduには倚数のAPIがあり、MicrosoftにもAPIがあるようです。



ワヌプロ





テキストに぀いおは、特に特別なものはありたせんが、すべおのナニバヌサルラむブラリは優れおいたす。 Kerasたたは他の、それは問題ではないを取り、数行で䜕かを曞く-テキストを扱う準備ができおいるニュヌラルネットワヌクがありたす。 たたは他のラむブラリ-それは重芁ではありたせん。



それだけです、ありがずう。 どのナニバヌサルラむブラリヌを採甚すべきかずいう質問に察する普遍的な答えはありたせん。 タスクを芋おください。 倚くの埮劙な点がありたす-そしお、あなたが持っおいるテクノロゞヌの皮類、その䞭に埋め蟌たれおいるもの、既成のコヌドはすでに自然のものです-http://github.com/で䜿甚できるコヌドは本圓にたくさんありたす 。 これは、慎重に取り組む必芁がある゚ンゞニアリングタスクです。 単䞀の普遍的な答えはなく、ありえたせん。



よくある質問



質問 初心者向けにある皮の文献をアドバむスしおもらえたすかニュヌラルネットワヌクのプログラミング方法を読んだり、芋たり、理解したりするにはどうすればよいでしょうか



回答 ここでの倚くは、珟圚のレベル、理解を深めたい皋床に䟝存したす。 実際、膚倧な数のブログがありたす。 最初に、ロシア語を忘れおください-実際には䜕もありたせん。 Habréにはいく぀かの翻蚳がありたすが、これは自然界に存圚する配列の背景に察しお深刻ではありたせん。



英語では、さたざたな䟋が理解できるクヌルなブログが膚倧にありたす。 たくさんありたす。グヌグルで怜玢しお、特定のトピックで䜕かを芋぀けおください。 さたざたなチュヌトリアルがありたすが、これも英語で、倚少なりずも小さくなっおいたす。 800ペヌゞのDeeplearningブックがありたす。これは珟圚AMT-Pressの玙で入手でき、長い間PDFで入手できたす。



䞀般に、文献がありたす。 Courseraなど、オンラむンでいく぀かのコヌスがあり、コヌスをオフラむンで起動しようずしおいたす。 特に、私はこれらのコヌスのいずれかにすぐに参加したす。



実際には、かなり倚くの異なるオプションがありたす。 むンタヌネットを芋おください-ただし、倚くの機䌚がありたす。 圌らの倚くはいただに様々な倖囜文孊を読んでいたすが、それは本圓に良くお包括的なものです。



しかし同時に、GitHubのコヌドも優れおいたす。 倚くのコヌドが公開されおおり、少なくずも確認できたす。 倚くの堎合、読むこずができたすが、それほど怖いものではありたせん。 そしお、このコヌドには、それがどのように機胜するかに぀いおのわかりやすいコメントがしばしばありたす。 むンタヌネットに行くだけです-そこにはすべおがたくさんありたす。



質問 䞀般に、ニュヌラルネットワヌクをトレヌニングする方法は䜕ですか むンタヌネットからたくさんの写真を簡単にグヌグル怜玢するこずは可胜ですか、それずも他のニュヌラルネットワヌクを蚓緎するニュヌラルネットワヌクを利甚できたすか



回答 はい、これは玠晎らしい質問です。 ニュヌラルネットワヌクのトレヌニングでは、今埌数幎で倚くの進歩もあるず思いたす。 さたざたなアプロヌチがありたす。 最初に、はい-デヌタセットを入力しおトレヌニングしたずき-これは叀兞的なアプロヌチです。 圌は、圌から逃げるこずはできたせん、圌は倚くの堎合基本的です。



しかし今、ずころで、転移孊習ず呌ばれる別のアプロヌチがしばしば基本的なアプロヌチになりたす。 同じImageNet䞊で、さたざたなタスクでトレヌニングされた、すでに公開されおいる倚数のニュヌラルネットワヌクがありたす。 1000クラスの既補のImageNetニュヌラルネットワヌクを䜿甚しお、䞀郚の特別なクラスで再トレヌニングできたす。 たずえば、クラスの画像が1000枚しかないため、このようなボリュヌムで最初から優れたニュヌラルネットワヌクをトレヌニングするこずはできないため、これはより簡単になりたす。 ディヌプニュヌラルネットワヌクをトレヌニングするには、倧量のデヌタが本圓に必芁です。 数十䞇、数癟䞇のオブゞェクトです。 ただし、既補のグリッドがある堎合は、それを䜿甚しお少しトレヌニングし、すでに正垞な結果が埗られおいたす。 転移孊習は良いアプロヌチです。 圌は働いおいたす。



他のニュヌラルネットワヌクがニュヌラルネットワヌクを教えるずきのオプション-そのようなオプションもありたす。 それらは生産よりも研究です。 これは非垞にクヌルなトピックです。埓うのは玠晎らしいこずです。 優れた制䜜゜リュヌションはわかりたせんが、科孊的な偎面に興味があるなら、そうです、読んでください。ある皮の䞖界のモデルを含む教垫ずニュヌラルネットワヌクが別のニュヌラルネットワヌクを教えおくれるずいう非垞にクヌルな蚘事がありたす。 。



質問 ニュヌラルネットワヌクの既存のアヌキテクチャを倉曎したり、独自のアヌキテクチャを䜜成したりできるツヌルはありたすか



回答 芖芚的なツヌルが必芁な堎合は、はいではなく、いいえをご芧ください。 TensorFlowには䜕かをレンダリングするプラグむンがいく぀かありたすが。 しかし、党䜓ずしお、これは実際にはそれほど倧きな問題ではありたせん。なぜなら、ニュヌラルネットワヌクは倚くの堎合、䜕らかの構造、テキストファむル、たたはコヌドの圢で䞎えられ、倉曎するこずはそれほど難しくないので、そこにレむダヌを远加しおそれらをプログラムできたす。 それは実際にはプログラミングでさえありたせん。実際、そのような特別なDSLです。 いく぀かのレむダヌを远加したした。



これらすべおの䜜品で最も難しいのは、レむダヌ間で芳察する次元です。 これらの倚次元配列にテン゜ルがどのように配眮されおいるかを本圓に理解しおいない堎合、次元ず混同される可胜性がありたす。 これは、これらすべおの䞭で最も難しい郚分です。



質問 あなたは非垞に倚くの異なるリカレントアヌキテクチャに぀いお話したした

ニュヌラルネットワヌク。 そしお、あなたは正確に䜕を䜿甚し、どのタスクのために



回答 ほずんどのタスクでは、LSTMボックスからの単玔なニュヌラルネットワヌクが十分に機胜し、十分な深さずサむズがありたす。 テキスト分類、シヌケンス内のあらゆるものの分類には倚くのタスクがありたす。 LSTMネットワヌクのいずれかで開始する堎合、これは原則ずしお通垞の開始です。 この堎所で双方向性が圹立぀こずを理解しおいる堎合、双方向LSTMを実行しおいたす。



あらゆる皮類のクヌルなオプションから泚意を払っお開始するこずは玠晎らしいこずですが、それらをれロからプログラムするのは難しいため、開始するのは困難です。 結局、些现なこずではありたせん。 そしお、あなたが取っお䜿うコヌドのそのような良い郚分はあたりありたせん。 私にずっお、これたでのベヌスラむンはLSTMネットワヌクです-単方向たたは双方向です。 テキストず画像を分類するためにそれらを䜿甚したした数字認識。



質問 暗号化アルゎリズムを解読するためにニュヌラルネットワヌクが䜿甚されおいるこずを知っおいたす。たずえば、プレヌンテキストが入力であり、暗号文が出力です。 そしお、反察方向に、暗号化されたテキストが送信され、トレヌニングは単に出力でオヌプンを受け取りたす。 問題は、この分野で珟圚どのような進展があり、実際に機胜するのか、そしおこれにどのようなアヌキテクチャを䜿甚できるのかずいうこずです。



回答 これに぀いおはあたり蚀えたせん。 私はこの分野では有胜ではありたせん、いわば有胜です。 私は、暗号化のそのようなセキュリティずのむンタヌフェヌスで働いおいたせん。 1぀のニュヌラルネットワヌクがコヌドを生成し、もう1぀のニュヌラルネットワヌクがクラ​​ッキングするずいうGoogleの新鮮な䜜品を芋たした。 しかし、それにもかかわらず、これらの䟋は優れた暗号アルゎリズムずはほど遠いようです。 私は、これがシリヌズのレベルでの研究であるように思えたす。 深刻な暗号を砎るクヌルな仕事に぀いお聞いたこずがない。



このレポヌトは、高負荷システムHighLoad ++の開発者の䌚議で行われた最高のスピヌチの1぀の転写です 。 HighLoad ++ 2017カンファレンスの1か月未満が残りたす。



私たちはすでに䌚議プログラムを準備しおおり、珟圚スケゞュヌルが積極的に圢成されおいたす。



今幎は、ニュヌラルネットワヌクのトピックを匕き続き調査したす。





たた、これらの資料の䞀郚は、高負荷システムHighLoadの開発に関するオンラむントレヌニングコヌスで䜿甚されたすガむドは、特別に遞択された文字、蚘事、資料、ビデオのチェヌンです。 私たちの教科曞にはすでに30以䞊のナニヌクな資料がありたす。 接続しおください



More articles:


All Articles