機械学習における損失関数の状況について何を知っていますか？

TL; DR

1. ディープニューラルネットワークでは、学習の主な障害はサドルポイントであり、以前考えられていたように局所的な最小値ではありません。
2. 目的関数のほとんどの極小値は、重みの比較的小さな部分空間に集中しています。 これらの最小値に対応するネットワークは、テストデータセットでほぼ同じ損失を与えます。
3. 景観の複雑さは、世界的な低迷に向かって増大します。 ウェイトスペースのほぼ全体のボリュームでは、サドルポイントの大部分には、そこから脱出できる多数の方向があります。 最小のクラスターの中心に近いほど、パスに沿って出会う点の「エスケープ方向」が少なくなります。
4. 極小の部分空間でグローバルな極値（それらのいずれか）を見つける方法はまだ不明です。 それは非常に難しいようです。 損失の観点と一般化能力の観点の両方で、典型的なグローバルミニマムが典型的なローカルミニマムよりもはるかに優れているという事実ではありません。
5. 最小値の塊には、局所的な最小値を結ぶ特別な曲線があります。 これらの曲線の損失関数は、極値自体よりもわずかに大きな値しか取りません。
6. 一部の研究者は、広い低域（「穴」の半径が大きい）は狭い低域よりも優れていると考えています。 しかし、ネットワークの最小幅と一般化能力との関係は非常に弱いと考える多くの科学者がいます。
7. 接続をスキップすると、地形が勾配降下に適したものになります。 残留学習をまったく使用しない理由はないようです。
8. ネットワーク内の層が広くなり、層の数が少ないほど（特定の制限まで）、目的関数のランドスケープがより滑らかになります。 残念ながら、ネットワークのパラメーター化が冗長になるほど、ニューラルネットワークは再トレーニングの対象となります。 超ワイドレイヤーを使用する場合、トレーニングデータセットでグローバルな最小値を見つけるのは簡単ですが、そのようなネットワークは一般化されません。

すべて、スクロールします。 KDPVも入れません。



この記事は、理論論文のレビュー、実験を伴う科学論文のレビュー、および相互比較の3つの部分で構成されています。 最初の部分は少し乾いていて、退屈したらすぐに3番目までスクロールします。



しかし、そもそもパラグラフ2の明確化。 クレームされた部分空間の総体積は小さくなりますが、ハイパースペースの任意のラインに投影されると、範囲が任意に大きくなります。 最小の塊と、損失関数が小さい領域の両方が含まれています。 2つの連続した線形ニューロンを想像してください。 ネットワークからの出力で値になります $$$w_1 w_2 x$ 。 したい場合、恒等関数を再現する方法を教えたい $$$y（x）= x$ 。 L2損失ネットワークに適用すると、エラー関数の表面は次のようになります $$$E（\シータ）=（w_1 w_2 x-x）^ 2 = x ^ 2（w_1 w_2-1）$ ：



横座標のどこが遅れているか $$$w_1$ そして縦座標で- $$$w_2$ 。



明らかに、 $$$w_1 = 1、w_2 = 1$ アイデンティティ関数を完全に再現しますが、同じことを行います $$$w_1 = -1、w_2 = -1$ そして、例えば $$$w_1 = -5、w_2 =-\ frac {1} {5}$ 。 これらはすべてグローバルミニマム（無限数があります）であり、グラフの赤バーガンディ領域はミニマムの部分空間です（ご覧のように、両方の軸に沿って無限に広がりますが、ゼロからの距離でますます細くなっています）。 重みの対称性によるこの動作を観察しますが、この現象は線形ネットワークに固有のものではありません。 正則化によって部分的に処理されますが、それでも2つのグローバルな最小値が残ります。 $$$w_1 = 1、w_2 = 1$ そして $$$w_1 = -1、w_2 = -1$ （正則化による歪みのプラスまたはマイナス）。





将来的には、「グローバルミニマム」とは「同一のグローバルミニマムのいずれか」、「ミニマムの塊」-「ローカルミニマムの対称クラスターのいずれか」を意味します。

理論的研究のレビュー

ご存知のように、ニューラルネットワークトレーニングは、客観的損失関数の最小値の検索です $$$E（\シータ）$ 重みの空間で $$$\シータ$ 。 残念ながら、任意の微分可能な関数のグローバルな最小値を見つけることは、NP複雑問題のクラスに属します[1]。 さらに、ニューラルネットワークは非常に異なるアーキテクチャを持ち、入力として任意のデータを受け入れることができるため、明確に定義された制限がある1つの式の詳細な分析を期待する理由はありません。 機能 $$$E（\シータ）$ したがって、信じられないほど多次元なので、ブルートフォース法もここで適用するのは簡単です。 しかし、典型的な風景に関するいくつかの一般的な事実でさえ $$$E（\シータ）$ かなりの利点をもたらすことができます：少なくとも実際の研究の一般的な方向性を設定します。



最近まで、このようなタイタニックなタスクに対処したい人はほとんどいませんでしたが、2014年初頭にAndrew Saxeなどによって[2]の記事が公開されました。 （直交行列）。 著者は、SVDのネットワークウェイトの積の分解に基づいて興味深い計算を取得し、結果を非線形ネットワークに転送する方法を理論化します。 Saxeの研究はこの記事のトピックとは直接関係していませんが、他の研究者がニューラルネットワークの学習のダイナミクスをより深く調べるように促しました。 特に、2014年の少し後に、Yann Dauphinとチーム[3]は学習のダイナミクスに関する既存の文献をレビューし、Saxeの記事だけでなく、ランダムGaussianの臨界点の統計に関する2007年のBray and Dean [4]の作業にも注意を払いますフィールド。 彼らは、ニュートン法（Saddle Free Newton、SFN）の修正を提案しています。これは、サドルポイントをよりよくエスケープするだけでなく、フルガウスの計算を必要としません（最小化はいわゆるクリロフ部分空間のベクトルに従います）。 この記事は、ネットワークの精度を改善する非常に優れたグラフを示しています。つまり、SFNは何かを正しく行っています。 次に、Dauphinの記事は、重みの空間での重要な点の分布に関する新しい研究に弾みをつけます。







したがって、前述の問題の分析にはいくつかの領域があります。



最初の方法は、誰かからちょっとした計算を盗み、自分のモデルに適用することです。 このアプローチは、スピングラスの理論の方程式を使用して、アンナクロマンスカとチーム[5] [6]によって信じられないほど成功しました。 彼らは、次の特性を持つニューラルネットワークの検討に限定されました。

• 直接流通ネットワーク。
• 深いネットワーク。 重みが大きいほど、漸近近似はより適切に機能します。
• ReLUアクティベーション機能。
• L2またはヒンジ損失関数。

その後、彼らはいくつかの多かれ少なかれ現実的な制限をモデルに課しました：

1. ニューロンがアクティブになる確率は、ベルヌーイ分布によって記述されます。
2. 活性化パス（どのニューロンがどのニューロンを活性化するか）は均等に分布しています。
3. 重みの数は、分布関数を形成するには過剰です $$$X$ 。 除去が学習や予測を妨げるスケールはありません。
4. 球状の重量制限： $$$\存在するC：\ frac {1} {\ Lambda} \ sum_ {i = 1} ^ {\ Lambda} w_i ^ 2 = C$ （どこ $$$\ラムダ$ -ネットワーク内の重みの数）
5. すべての入力変数には、同じ分散の正規分布があります。

そして、いくつかの非現実的なもの：

1. ニューラルネットワークのアクティベーションパスは特定ではありません $$$X$ 。
2. 入力変数は互いに独立しています。

これに基づいて、次のステートメントが受信されました。

• ニューラルネットワークの損失関数の最小値は、重みの比較的小さな部分空間でクラスターを形成します。 損失関数の値の特定の境界を超えると、それらの数は指数関数的に減少し始めます。
• 適切にトレーニングされたディープニューラルネットワークの場合、ほとんどの局所的最小値は、テストサンプルのパフォーマンスに関してほぼ同じです。
• 「悪い」ローカルミニマムになる確率は、小規模なネットワークで作業する場合に顕著であり、ネットワーク内のパラメーターの数が増えると指数関数的に減少します。
• させる $$$k$ -addle点でのヘッセ行列の負の固有値の数。 大きいほど、勾配降下が臨界点から脱出する方法が多くなります。 それぞれについて $$$k$ 目的関数の値の何らかの尺度があります $$$E =-\ Lambda E（\ theta）_k$ そこからサドルの密度がそのようなものを指す $$$k$ 指数関数的に減少し始めます。 これらの数は厳密に増加しています。 ロシア語では、これは、損失関数が階層構造を持ち、グローバルな最小値に近づくほど、抜けにくい困難なサドルポイントが増えることを意味します。

一方では、多くのテスト済みの定理をほとんど「無料」で取得し、特定の条件下でニューラルネットワークがスピングラスと一貫した方法で動作することを示しています。 ニューラルネットワークの悪名高い「ブラックボックス」を開くことができるものがあれば、それは量子物理学のマタンです。 しかし、明らかな欠点があります：非常に強い初期前提。 現実的なグループの1と2でさえ、私には疑わしいようです。 モデルの最も深刻な制限は、アクティベーションパスの均一な分布のようです。 活性化経路の小さなグループがデータセットの要素の95％の分類を担当している場合はどうなりますか？ ネットワーク内にネットワークを形成することが判明します。 $$$\ラムダ$ 。



追加の問題があります。Chromanskaの発言は改ざんが困難です。 「悪い」局所最小値を表す重みの例を構築することはそれほど難しくはありませんが[7]、これは記事のメッセージと矛盾していないようです。それらのステートメントは大規模ネットワークで満たされる必要があります。 ただし、MNISTなどの分類が不十分な中程度のフィードフォワードネットワークに提供される一連のスケールでさえも、「悪い」ローカルミニマムに遭遇する確率はゼロになる傾向があると主張しているので、強力な証拠とは言えません。 さらに、「適切に訓練されたディープニューラルネットワーク」は、かなり緩い概念です...







2番目のアプローチでは、可能な限り単純なニューラルネットワークのモデルを構築し、現代の機械学習モンスターを記述することができる状態に反復的に移行します。 私たちは長い間基本的なモデルを持っていました-これらは線形ニューラルネットワークです（すなわち、活性化機能を持つネットワーク $$$f（x）= x$ ）1つの非表示レイヤー。 彼らは分析に役立ち、長い間それらを研究してきましたが、一般に線形ネットワークはあまり有用ではないため、これらの理論研究の結果は誰にとってもほとんど興味がありませんでした。



少なくとも、最近まで興味を持った人はほとんどいませんでした。 層サイズとデータプロパティに対するかなり弱い制限を使用して、Kawaji Kenji [8]は1989年の[9]の結果を展開し、L2損失を伴う特定の線形ニューラルネットワークにおいて

1. でも $$$E（\シータ）$ 非凸および非凹
2. すべてのローカル最小値はグローバルです（複数ある場合があります）
3. そして、他のすべての重要なポイントはサドルです
4. もし $$$\シータ$ -損失関数のnetwork点とネットワークの重みの行列積のランクは、ニューラルネットワークの最も狭い層のランクに等しく、次にヘッシアンは $$$E（\シータ）$ 少なくとも1つの厳密に負の固有値を持ちます。

積のランクが小さい場合、ヘッセ行列の固有値がゼロになる可能性があります。これは、厳密でない極小値に到達するかaddle点に到達するかを簡単に理解できないことを意味します。 機能と比較する $$$f（x）= x ^ 3$ ゼロで $$$f（x）= \ max（0、x ^ 3）+ \ min（0、（x + 1）^ 3）$ で $$$x = 0.5$ 。



その後、川口はReLuアクティベーションを使用したネットワークを考慮し、チョロマンスカの制限をわずかに緩和し[6]、ReLu非線形性とL2損失を含むニューラルネットワークについて同じステートメントを証明します。 （次の論文[10]では、同じ著者がより簡単な証明を与えています）。 計算[8]と残差学習の成功に触発されたHardt＆Ma [11]は、スキップ接続を使用した線形ネットワークのステートメントがさらに強力であることを証明します。特定の条件下では、ヘッシアンの負の固有値のない「悪い」臨界点さえありません（[ 12]ネットワークの「短絡」がランドスケープを改善する理由の理論的正当化、および[13]グラフの例 $$$E（\シータ）$ スキップ接続を追加する前後）。



蓄積された知識ベースは、Yun、Sra＆Jadbabaieの最近登場した作品[14]に要約されています。 著者は川口の定理を強化し、クロマンスカのように、 線形ニューラルネットワークの重みの空間を点のみを含む部分空間と、グローバル最小値のみを含む部分空間に分割します（必要十分条件が与えられています）。 さらに、科学者たちはついに、私たちが興味を持っている方向に一歩踏み出し、非線形ニューラルネットワークに対する同様のステートメントを証明しています。 後者は非常に強力な前提条件で行われますが、これらはクロマンスカの条件とは異なる前提条件です。

視覚化の概要

3番目のアプローチは、学習プロセスにおけるヘッセ行列の値の分析です。 数学者には、2次の最適化手法が長い間知られています。 機械学習の専門家はときどきそれらをいじります（数学者ではなく、メソッドで...数学者でも）が、切り捨てられた2次降下アルゴリズムでさえ特に人気がありませんでした。 これの主な理由は、二次導関数を考慮して、降下に必要なデータを計算するコストにあります。 正直に計算されたヘッセ行列は、メモリの重みの数の2乗を取ります。ネットワークに100万個のパラメーターがある場合、2次導関数の行列には $$$10 ^ 12$ 。 しかし、私はまだこの行列の固有値を何らかの形で計算したい...



同じ理由で、学習プロセスでヘッセ行列のダイナミクスを調べる作品はほとんどありません。 より正確には、Yann LeCunとこれに特化した会社[34]による1つの作品を見つけ、それでも比較的原始的なネットワークで動作します。 さらに、[3]と[12]には、関連するコメントとグラフがいくつかあります。



LeCun [34]：ヘッセ行列は、トレーニング全体を通してほぼゼロの値で構成されています。 最適化中、ヘッセのヒストグラムはさらにゼロに圧縮されます。 ゼロ以外の値は不均等に分布します。長いテールは正の側にスローされ、負の値はゼロ近くに集中します。 多くの場合、トレーニングが停止したように見えますが、小さな勾配のあるプールにたどり着きました。 ブレークポイントには、ヘッセ行列の負の固有値があります。





データが複雑になるほど、固有値の分布の正の裾が長くなります。







ネットワーク内のパラメーターが多いほど、両方向に固有値のヒストグラムが伸びます。







Dauphin et al。[3]：軸に沿ったグラフAおよびCについて $$$x$ トレーニングが停止した臨界点での負の値の相対的な部分 $$$y$ トレーニングサンプルのエラーを延期しました。 グラフBとDは、それぞれグラフAとCからの3点の2次導関数の行列の固有値のヒストグラムを示しています。 LeCunヒストグラムと一致していることに注意してください。



addle点からの脱出方向の数とその中のネットワークの品質との相関関係がはっきりと見えます。



Orhan＆Pitkow [12]：ヘシアンの縮退固有値と負の固有値の相対数を示します。 この記事は、[3]および[34]とまったく同じことを言っているわけではありませんが、一般的にグラフは間接的に2つの以前の作品の結果を確認します。







4番目の方法-直接的な景観分析 $$$E（\シータ）$ 投影の視覚化を使用します。 アイデアは簡単ですが、すでに述べたように、それを適用するのは簡単ではありません。 $$$\シータ$ 数百万の重みがあるかもしれません。 通常、2種類の視覚化が考慮されます。変更時の損失関数の値 $$$\シータ$ 曲線に沿った重みの空間と、点の近くの損失関数のグラフ $$$\ theta \ in \ theta_0 + a \ vec {v_1} + b \ vec {v_2}$ どこで $$$\ vec {v_1}$ そして $$$\ vec {v_2}$ -重み空間の断面平面を定義するいくつかのベクトル。 1次元投影の場合、通常、ネットワークの初期状態から最終状態への遷移（直接または学習曲線に沿って）、または2つの最終状態間の遷移が視覚化されます。 2次元状態では、学習曲線の最終部分のPCA分解で最も重要な2つのベクトルが通常使用されます。 多次元性に加えて、目的関数を視覚化する問題は、本質的に同じ最小値が非常に異なる重みを持つ可能性があるという事実によって複雑になります。 たとえば、線形ニューラルネットワークで1つの層の重みが $$$a$ 回、そして彼の後の次の-で $$$a$ 時間が増えると、結果として得られる重みのセットとそれらの周囲の空間の領域は非常に異なりますが、学習された特徴は本質的に同じになります。 分析のための追加の測定値は、最小化のタイプまたはそれが取得された特定の種類の最小化のパラメーターです。 $$$\シータ$ 。



これらの作品の1つは[16]です。 その中で、研究者はSGD、Adam、Adadelta、およびRMSPropを使用した起動エンドポイント間のギャップを調べます。 他の多くの作品と同様に、異なるアルゴリズムが特徴的に異なる最小値を見つけることがわかります。 また、この記事の著者は、トレーニング中にアルゴリズムのタイプを変更すると、 $$$\シータ$ コースを別の最小値に変更します。 2番目のボーナスとして、研究者はバッチ正規化エンドポイント間のランドスケープがランドスケープにどのように影響するかを調べ、最初にバッチ正規化を行うと、結果の最小値の品質は初期化ポイントにあまり依存せず、2番目に最終的な $$$\シータ$ 「壁」は目的関数のランドスケープに表示されます-非常に大きな値を持つ狭いセクション $$$E（\シータ）$ （これがどこから来て何をすべきかは明らかではありません）。 いずれにせよ、損失の「丘」は上のグラフの低域の間に見えますが、なんらかの複雑な表面ではありません。







今、私たちは重みの空間における2つの最小値の間であることが証明されている研究グループにもっと興味を持っています $$$\ theta_1$ そして $$$\ theta_2$ ほとんどの場合、損失関数が超えない長さ全体に沿って曲線を描くことができます $$$\ max（E（\ theta_1）、E（\ theta_2））+ \ epsilon$ のために $$$\イプシロン$ ゼロから特定の境界で分離されていますが、損失関数の典型的な値よりもかなり小さい[17] [18] [19]。 このような曲線を一度に形成するには、いくつかの方法があります。原則として、単純なセグメントを $$$\ theta_1$ そして $$$\ theta_2$ リンクに分割され、その後、勾配降下でそれらを接続するノードがスケールのスペースを移動します。 たとえば、このような曲線を使用すると、より優れたネットワークのアンサンブルを収集できます[18]。 彼らの結果は、最小のクラスターが「多孔性」構造を持っていることを示しています。







同じ貯金箱には、国際的な科学者チーム[23]からの非常に最近の記事があります。 $$$\ theta_ {t}$ そして $$$\ theta_ {t + 1}$ そして、時々の勾配の方向の間の角度 $$$t$ そして $$$t + 1$ 。 トレーニングの開始時に、隣接するステップの勾配はほぼ一方向に向けられ、エラー関数は単調に減少しますが、ある時点から $$$E（\シータ）$ 間に $$$\ theta_ {t}$ そして $$$\ theta_ {t + 1}$ は、特徴的な最小値を示し始め、勾配間の角度は〜170度になる傾向があります。 確かに、勾配降下はわずかな勾配で「walls」の壁から「跳ね返る」可能性が非常に高いです！ データセット全体を使用して勾配降下を実行すると、画像がよりきれいになります。 ミニバッチを使用すると、認識を超えて画像が歪められますが、これは論理的です。 学習率は、角度のグラフには影響しませんが、batch'eyのサイズには非常に影響します。 研究者は、極小値の交点を見つけませんでした。







これまで、見つかった最小値の品質はその深さにのみ依存すると考えられていました。 ただし、多くの研究者は、最小値の幅も重要であることに注意しています。 正式には、さまざまな方法で定義できます。 さまざまな定式化は行いません（まだ見たい場合は[20]を参照してください）、ここで主なアイデアを理解するだけで十分です。 以下に図を示します。







左側の黒いグラフの最小値は広く、右側のグラフは狭くなっています。 なぜそれが重要なのですか？ トレーニングデータの分布は、テストデータの分布と完全には一致しません。 最小と仮定することができます $$$E ^ {*}（\シータ）$ テストデータでは、元の関数の最小値とわずかに異なるように見えます $$$E（\シータ）$ 特に $$$\シータ$ 低値は互いに相殺される可能性があります。 しかし、そのような歪みが広範囲にわたってひどいものでない場合、狭い歪みは認識できないほど変化する可能性があります。 再び、上の図に目を向けてください。 黒いグラフがオリジナルであることを受け入れる場合 $$$E（\シータ）$ 赤はテスト用であるため、これがどのような問題につながるかをすぐに確認できます。



実際には、大きなバッチを使用した勾配降下法では、トレーニングセットでは体系的にわずかに優れた結果が得られますが、テストセットでは失われます。 これは、多くの場合、小さなバッチがターゲット分布の推定にノイズを発生させ、解決できないことによるものです。 $$$\シータ$ 最小限[21]。 上の写真とほぼ同じことが起こります。機能は絶えず変化し（今回は意図的に）、谷の代わりに隆起が形成されます。 このような「攪拌」と狭いくぼみの $$$\シータ$ 捨てられますが、広くはありません。 [21]の著者は、小さなサブサンプルサイズでトレーニングする場合も次のように主張しています。 $$そうでない場合よりも、初期化の観点から非常に遠くに実行されます。このような指標は、「勾配降下アルゴリズムの研究能力」という用語で説明されており、良好な結果を達成するためにも好ましいと考えられています。悲しいかな、それほど単純ではありません。上記の問題に直面しています。最小値の幅はパラメーター化に依存します[20]。ReLuアクティベーションを使用するネットワークでは、2つの重みセットの例を作成するのに十分簡単です。$\シータ$



$$$\theta_1$ そして $$、本質的に同一のネットワークですが、$\theta_2$$$ -狭い最小値、$\theta_1$$$ -広いです。より具体的な例は[13]で見ることができます。正則化をオンにすると、loss'a補間グラフの狭い低域と広い低域が置き換わります。 22]。非常に著名な科学者はヘッセ行列のもっともらしいヒストグラムを示していますが、品質の向上はほとんど目に見えません。$\theta_2$

クロス比較

では、何がありますか？







クロマンスカ[5]、川口[8]、およびユン[14]の理論的研究は互いに一致しています。線形ニューラルネットワークは単純な特殊なケースであり、複雑なランドスケープの内部ゾーンの代わりに、クリーンなグローバルミニマムを取得することは論理的です（「あちこち」に「サドルゾーン」があるにもかかわらず）。[14]では、入力関数に対してより強い条件が設定されています。



理論と実践の関係：

1. 極小の部分空間の複雑な景観に関するクロマンスカの主張は、極小間の低エネルギー曲線を構築する作業と一致しています。 $$$E(\theta)$ [17][18][19], , , c snapshot-[24]. [19] , «» , — [5].
2. Chromanska «» , , [3]: loss'.
3. [23], «» .
4. ( loss' ?), , [25]. , / .
5. [12] [11], [8] [14], residual learning , [13].
6. , SGD , Adam [26][27]. SGD , . , 100 , 100 . , , , .
7. , , . «» : -, « » , , [19], -, [32] ( [31]), -, , [33]. (optimal brain damage, ).

私の意見では、声明は、周囲の最小値と同じ一般化能力を持っているため、グローバルな最小値を探すべきではないことを証明していません。経験的経験から、同じ最小化器の異なる開始によって得られたネットワークは、異なる要素でミスを犯すことが示唆されています（たとえば、[16]またはネットワークアンサンブルに捧げられた研究の不協和グラフを参照）。学習した機能の分析でも同じことが言えます。 [25]では、最も有用な機能のほとんどが安定して学習されるが、補助的な機能の一部は学習されないという観点が守られています。すべてのまれなフィルターを組み合わせる必要がありますか？繰り返しますが、同じモデルの異なるバージョンで構成されるアンサンブル[24]およびニューラルネットワークでの重みの冗長性[28]を思い出してください。自信を呼び起こすどういうわけか、モデルを起動するたびにベストを取り、モデル自体を変更せずに予測を大幅に改善することができます。一連の低地の地形が実際に勾配降下に対して不可避的に通過できない場合、到達するとSGDから進化戦略[31]または同様のものに切り替えることができるように思えます。



ただし、これらは単なる実証されていない考えでもあります。たぶん、確かに、黒の百万次元のハイパースペースに黒猫がいないのを探してはいけません。損失で小数点第5位を争うのは愚かなことです。これを明確に理解することで、科学界は新しいネットワークアーキテクチャに集中するようになります。ResNetは優れていますが、なぜ他の何かを思い付かないのですか？また、データの前処理と後処理を忘れないでください。可能であれば、変換$$は、分布の基になる折り畳みを「むき出しにする」ために、無視しないでください。一般的に、「損失関数のグローバルな最小値を見つける」ことをもう一度思い出す価値があります。$X$



$$「出力で適切に機能するネットワークを取得します。」グローバルな最小値の追求では、ネットワークを完全な障害状態に再訓練することは非常に簡単です[35]。私の意見では、科学コミュニティはどこへ進むべきでしょうか？$\neq$

1. 勾配降下の新しい修正方法を試してみる必要があります。これは、methods点で地形を十分に横断できます。できれば、ヘッセ行列を使用した1次のメソッドであれば、どんなバカでもできます。このテーマに関しては、見栄えの良い移植片に関する研究がすでに行われています[29] [30]が、この研究分野にはまだ多くの低品質の果物があります。
2. 低域の部分空間についてもっと知りたいです。その特性は何ですか？十分な数の極小値を受け取った後、グローバルな、または少なくともより良いローカルな位置がどこにあるかを推定することは可能ですか？
3. 理論的研究は主にL2-loss'eに集中しています。クロスエントロピーが景観にどのように影響するかを見るのは興味深いでしょう。
4. 広い/狭い低域の状況は明確ではありません。
5. グローバルミニマムの質については疑問が残っています。

読者の中に、すぐに機械学習の卒業証書を守る学生がいる場合、最初のタスクを試してみることをお勧めします。見方がわかれば、健康的なものを見つけるのがずっと簡単になります。入力データを変えてLeCun [34]の仕事を再現しようとすることも興味深いです。



今のところすべてです。科学界のイベントをフォローしてください。



生産的な議論をしてくれたOpen Data Scienceコミュニティのasobolevに感謝します。