深層神経進化の時代へようこそ

Uber AI Labsチームを代表して、Joel Lehman、Jay Chen、Edoardo Conti、Vashisht Madhavan、Felipe Petroski Such、Xingwen Zhangも含まれています。



多数のレイヤーと数百万の接続を持つディープニューラルネットワーク（DNN）トレーニングの分野では、通常、確率的勾配降下（SGD）がトレーニングに使用されます。 多くの人が、勾配を効率的に計算するSGDの能力は例外的な機能であると考えています。 ただし、ニューラルネットワークが進化アルゴリズムを使用して最適化される場合、 neuroevolutionをサポートする5つの記事のセットを公開します。 この方法は、強化学習（RL）タスク用のディープニューラルネットワークのトレーニングにも有効です。 Uberには 、機械学習がパフォーマンスを改善できる多くの領域があり、幅広い強力な学習アプローチ（神経進化を含む）の開発は、より安全で信頼性の高い輸送ソリューションの開発に役立ちます。

ディープニューラルネットワークをトレーニングするための競争力のある代替手段としての遺伝的アルゴリズム

DNNの効果的な開発のために発明した新しい手法を使用すると、非常に単純な遺伝的アルゴリズム（GA）がピクセルからアタリを再生するための400万以上のパラメーターで深い畳み込みネットワークを訓練でき、多くのゲームで現代のアルゴリズムを凌thatすることがわかりました強化学習（RL）（DQNやA3Cなど）または進化戦略（ES）、および並列化の向上により高速化されています。 この結果は、非勾配ベースのGAがこのような大きなパラメーター空間で適切にスケーリングされるとは予想されなかったため、また、GAを使用して高度なRLアルゴリズムを達成または超えることは考えられなかったため、予想外です さらに、 ノベルティ検索などのGA機能を強化する最新のGA機能強化もDNNスケールで機能し、Qラーニング（DQN）などの報酬最大化アルゴリズムに先立って、（複雑なローカル極値を持つ）不正なタスクの解決策を見つけるのに役立つことを示します）、ポリシーの勾配（A3C）、ESおよびGA。





このGA戦略は、フロストバイトで10500ポイントを獲得します。 このゲームのDQN、AC3、ESスコアは1000未満です。





GAは小惑星でうまく機能します。 平均してDQNおよびESより優れていますが、A3Cより優れています。

勾配計算を使用した安全な突然変異

別の記事では、勾配を神経進化と組み合わせて、リカレントで非常に深いニューラルネットワークの学習能力を向上させ、100層以上のDNNの進化を可能にする方法を示します-これは、神経進化のおかげで以前に可能であったレベルをはるかに超えています。 これを行うには、重みに関連するネットワーク出力の勾配を計算します（つまり、従来のディープラーニングのような誤差勾配ではありません）。これにより、ランダムな突然変異のキャリブレーションが最も敏感なパラメーターをより正確に処理できるようになり、それにより大規模なネットワークにおけるランダムな突然変異の主な問題が解決されます。





どちらのアニメーションも、1つのネットワークの一連の突然変異を示しています。これは、迷路をバイパスする必要があります（左下隅から始まり、左上に出口があります）。 通常、正常な変異はフィニッシュラインに到達する能力を失いますが、安全な変異は基本的にそれを保持しますが、多様性を維持しながら、安全な変異の重要な利点を示します。

ESはSGDとどのように関係していますか？

私たちの記事は、 OpenAI （ロシア語翻訳： habrahabr.ru/post/330342 ）のチームが最初に指摘した 、 以前に形成された理解を補完します 。これは、神経進化のさまざまな進化戦略が、深層RL問題に対する深層ニューラルネットワークの最適化に十分に競合できることです。 ただし、これまでのところ、この結果のより広範な意味については議論の余地があります。 ESのさらなる革新の前提条件を作成し、MNISTでSGDによって計算された各ミニバッチの最適なグラジエントにESを使用したグラジエント近似が実際にどれだけ接近しているか、そしてそれがどれだけうまくできるかを調べる包括的な研究で、SGDとの関係を詳細に研究します。 勾配近似を改善するのに十分な処理能力が提供される場合、ESはMNISTで99％の精度を達成できることを示します。計算の並列化の程度が増加するにつれて、理想的な勾配情報になります。

ESは単なる伝統的な有限の違いではありません

コンパニオンスタディは、ES（十分に大きな摂動パラメーターを持つ）がSGDとは異なる動作をするという理解を経験的に確認します。これは、SGDが1つの戦略の報酬を最適化する一方で、確率分布（探索空間内のクラウド） （サーチスペース内のポイント）。 この変更により、ESはサーチスペースのさまざまなエリアを幸運にも不幸にも訪問することになります（両方のケースが示されています）。 パラメーターの摂動の​​母集団に対する最適化の追加の結果は、ESがSGDで達成できない堅牢性を獲得することです。 ESがパラメーターのポピュレーションを最適化することに注意して、ES メソッドとベイジアンメソッド間の興味深い関係も強調されます。





TRPOによって研究されたステップの重みのランダムな摂動は、ESを使用して発見された同等のステップ品質のランダムな摂動よりも安定性の低い歩行をもたらします。 元の訓練された歩行者は、各9フレームの合成画像の中心にいます。





従来の有限差分（勾配降下）は、フィットネス関数が低い値を持ち、ESがそれを容易に横切る狭いギャップを横切ることができず、一方で高い値を持つ領域に到達します。





ESはフィットネス関数の価値が高い狭い「ゴージ」で失速しますが、従来の有限差分（勾配降下）は問題なく同じように進み、前のビデオとともに、これら2つの異なるアプローチの違いとトレードオフを示します。

ES検索機能の改善

深い神経進化の刺激的な結果は、以前に神経進化のために開発されたツールのセットが、現在、深い神経ネットワークの学習を改善するための候補になっていることです。 ESの最適化能力とスケーラビリティを、神経進化に固有の方法と組み合わせた新しいアルゴリズムを導入することにより、この可能性を模索しています。 このような集団ベースの研究は、深層RL研究における最近の研究を含む、RLの単一薬剤の伝統とは異なります。 私たちの実験は、この新しい研究スタイルを追加することで、いくつかのAtariゲームやMujocoシミュレーターでのヒューマノイドの動きを制御するタスクなど、不正なローカル最適を回避するために調査する必要がある多くの分野でESパフォーマンスが向上することを示しています。





ES





響きのあるES





生涯賞



ハイパーパラメーターを使用すると、ESは酸素の予備を補充するためのブーストを含まないローカル最適にすばやく収束します。これは一時的に報酬をキャンセルするためです。 しかし、感知すると、エージェントは酸素のために上昇することを学習し、したがって、将来的にはるかに高い報酬を受け取ります。 サリマン他 2017年には、ESバリアントがこれらの特定のローカル最適値に遭遇したことは報告されていませんが、サウンドのないESは、記事に示されているのと同じ方法で、いくつかのローカル最適値で無期限にブロックされる可能性があることに注意してください





ES





響きのあるES





生涯賞



エージェントの仕事は可能な限り実行することです。 ESはトラップを回避するためのトレーニングを受けません。 ただし、検知の可能性を受け取ったエージェントの1人は、トラップをバイパスするように訓練されています。

おわりに

深層ネットワークへの移行に関心のある神経進化の研究者には、いくつかの重要な考えがあります。まず、そのような実験には過去よりも多くの計算能力が必要です。 これらの新しい記事で説明されている実験では、一度に実行するたびに数百または数千のプロセッサを使用することがよくありました。 ただし、そのような計算の大食いは障害として解釈されるべきではありません。 結局のところ、大規模な並列コンピューティングセンターでのスケーリングの進化の単純さは、神経進化がおそらく私たちに来る世界での使用に最も適していることを意味します。



新しい結果は、低次元の神経進化で以前に観察されたものとは非常に異なるため、特に高次元空間での検索の結果についての長年の仮定に効果的に反論しています。 深層学習で発見されたように、特定の複雑度のしきい値を超えると、局所最適化の影響を受けにくいという意味で、検索は実際に高次元でより単純になるようです。 ディープラーニングの方向はこの考え方に精通していますが、その結果は神経進化に同化し始めたばかりです。



神経進化の再現は、最新の計算能力と組み合わされた古いアルゴリズムが驚くほどうまく機能する別の例です。 神経進化コミュニティで開発された多くの方法がすぐにDNNスケールで利用可能になり、それぞれが複雑な問題を解決するためのさまざまなツールを提供するという点で、神経進化の実行可能性は興味深いです。 さらに、私たちの研究が示すように、神経進化はSGDのようには見えないため、機械学習ツールへの興味深い代替アプローチを提供します。 深層神経進化は、深層学習と同じようにルネッサンスを経験するのだろうか。 もしそうなら、2017年は時代の始まりを示すかもしれません、そして私たちは今後数年で何が発展するのか楽しみにしています！



以下は、これまでに公開した5つの記事とその重要なポイントの注釈です。

• 深層神経進化：遺伝的アルゴリズムは、強化学習で深層ニューラルネットワークを学習するための競争力のある代替手段です
  
  
  • 複雑なRL問題でうまく機能する、単純で伝統的な人口ベースの遺伝的アルゴリズムを使用してDNNを開発します。 アタリ、ジョージア州は、Qラーニング（DQN）と勾配戦略に基づく進化戦略と強化深層学習アルゴリズムと同様に機能します。
  • Deep GAは、従来の進化アルゴリズムを使用して以前に取得した最大のニューラルネットワークである、400万を超える自由なパラメーターを持つネットワークの作成に成功しました。
  • 場合によっては、勾配に従うことがパフォーマンスを最適化するための最良の選択ではないことは興味深いことです。
  • DNNとノベルティ検索の組み合わせは、強化最大化戦略（GAおよびES）が失敗する大規模な空間での複雑な問題を解決するために、欺and的で疎な強化関数を持つタスク用に設計されたプローブアルゴリズムです。
  • Deep GAは、ES、A3C、およびDQNよりも優れた並列性と高速動作を示し、数千バイトの数百万のパラメーターを持つDNNを表す最新のコンパクトなコーディング手法の使用も可能にします。
  • Atariのランダム検索結果が含まれます。 驚くべきことに、いくつかのゲームでは、ランダム検索は着実にDQN、A3C、およびESを上回っていますが、GAを超えることはありません。
  
  
  
  
  
  ただし、驚くべきことに、ランダム検索で見つかったDNNはFrostbiteでうまく機能し、GAではなくDQN、A3C、およびESを超えています。
  
  
• 出力勾配によるディープおよびリカレントニューラルネットワークの安全な突然変異
  
  
  • 勾配による安全な突然変異（SM-G）は、特定の接続重みの変化に対するネットワークの感度を測定することにより、大規模で深いネットワークでの突然変異の効率を大幅に改善します。
  • 従来のディープラーニングと同様に、誤差または損失の勾配ではなく、重みに対する出力勾配を計算し、ランダムではあるが安全なプローブステップを可能にします。
  • 両方のタイプの安全な突然変異は、定義の分野で追加の試みまたはキックバックを必要としません。
  • 結果：SM-Gオプションを使用した場合のみ、ディープネットワーク（100層以上）および大規模なリカレントネットワークを効率的に生成できます。
  
  
  
• OpenAIの進化戦略と確率的勾配降下の間の関係について
  
  
  • ESによって計算された近似勾配を、さまざまな条件下で設定されたMNISTのSGDによって計算された正確な勾配と比較することにより、ESとSGDの関係を開きます。
  • さまざまな人口規模のESから予想されるパフォーマンスを予測する高速プロキシを開発します。
  • ESのパフォーマンスを加速および改善するためのさまざまな方法を紹介および実証します。
  • 限られたES障害は、並列インフラストラクチャでの実行を大幅にスピードアップします。
  • ミニバッチのないESは、SGD用に開発されたミニバッチアプローチをES用に設定された別のアプローチに置き換えることにより、勾配推定を改善します：完全なトレーニングシーケンスのランダムサブセットは、アルゴリズムの各反復でES母集団の各メンバーに割り当てられます。 このES固有のアプローチは、最初のアプローチに比べてESの精度が高く、学習曲線はSGDの場合よりもはるかにスムーズです。
  • ミニバッチなしのESバージョンは、テスト実行で99％の精度を達成します。これは、教師によるこの教育タスクでの進化的アプローチの最高の宣言されたパフォーマンスです。
  • 一般的に、ESがRLと競合できる理由を示すのに役立ちます。ドメインでのテスト中に取得した勾配情報は、教師とのトレーニング中に取得した情報よりも情報量が少なくなります。
  
  
  
• ESは単なる従来の有限差分近似ではありません
  
  
  • ESと従来の有限差分法の重要な違い、つまりESがソリューションの最適な分布を最適化すること（1つの最適なソリューションではなく）が強調されています。
  • 1つの興味深い結果：ESで見つかったソリューションは、パラメーターの摂動に対して耐性がある傾向があります。 たとえば、ヒューマノイドのステップモデルは、GAまたはTRPOを使用して検出されたモデルよりも、パラメーターの摂動に対する耐性が大幅に高いことを示しています。
  • もう1つの重要な結果：ESは、従来の方法がトラップに陥る、またはその逆のいくつかの問題を解決することが期待されています。 単純な例は、ESと従来のグラディエントフォローとのダイナミクスのこれらの違いを示しています。
  
  
  
• ノベルティエージェントの集団による強化による深層学習のための進化戦略の研究の改善
  
  
  • ESの詳細な調査を促進する機能を追加します
  • 研究エージェントの集団を通じて小規模な進化型ニューラルネットワークのスクリーニングを促進するために発明されたアルゴリズム、特に新規性（NS）および品質（QD）を検索するアルゴリズムをESとハイブリッド化して、スパースまたは欺ceptに関する作業の効率を高めることができることを示していますスケーラビリティを維持しながらRLタスク。
  • 結果として得られる新しいアルゴリズムであるNS-ESおよびNSR-ESと呼ばれるQD-ESバージョンは、ESが遭遇する局所的な最適性を回避し、トラップを迂回することを学習するシミュレートされたロボットから高次元のものまでのタスクで高いパフォーマンスを達成することを確認しますAtariピクセルゲームのタスク。
  • 人口調査アルゴリズムのこの新しいファミリをディープRLツールキットに追加します。