昨年12月、アメリカのデータサイエンスの同僚とのやりとりで、待望の新しい機械学習の第一人者であるAndrew Ngの 「機械学習の渇き：ディープラーニング時代のエンジニアのための戦略」についての議論の波がありました。 この本は2016年の夏に発表され、今ではようやくいくつかの章が登場しました。









Habraコミュニティの注目に、現在利用可能な14の最初の7章の翻訳を提示します。 これは本の最終版ではなく、ドラフト版であることに注意してください。 これには多くの不正確さがあります。 アンドリューウンはここに彼のコメントとコメントを書くことを提案します 。 著者は、明白に思えるものから始めます。 さらに複雑な概念が予想されます。

1.機械学習戦略はなぜですか？

機械学習（ML）は、インターネット検索、スパム対策、音声認識、推奨システムなど、無限の数の重要な製品とサービスの基盤です。 あなたとあなたのチームは機械学習アルゴリズムを備えた製品に取り組んでおり、開発を迅速に進めたいと考えています。 この本はこれに役立ちます。



猫好きの人に猫の写真の連続ストリームを提供するスタートアップを作成するとしましょう。 ニューラルネットワークを使用してコンピュータービジョンシステムを作成し、スマートフォンで撮影した写真の中の猫を検出します。











しかし、残念ながら、アルゴリズムの精度は十分に高くありません。 多大なプレッシャーにさらされているため、「猫検知器」を改善する必要があります。 どうする？



あなたのチームにはたくさんのアイデアがあります。例えば：



•より多くのデータを収集する：猫の画像をより多く撮影します。

•より多様なトレーニングサンプルを収集します。たとえば、珍しいポーズの猫、珍しい色の猫、さまざまなカメラ設定で撮影した写真などです。

•モデルをより長くトレーニングし、勾配降下の反復をより多く使用します。

•より大きなニューラルネットワークを試してください。より多くのレイヤー/リンク/パラメーター。

•小規模なネットワークを試してください。

•L2などの正規化を追加します。

•ネットワークアーキテクチャの変更：アクティベーション機能、非表示レイヤーの数など。

•...



可能な選択肢の中から選択が成功した場合、猫の写真を検索するための主要なシステムを作成することが可能になり、これが会社を成功に導きます。 選択が失敗した場合、あなたは月を失います。 そのような状況で行動する方法は？

この本はその方法を説明します。 ほとんどの機械学習タスクでは、試行するのが良いこととそうでないことを示す重要な手がかりが残されています。 このようなヒントを見ることができると、数か月から数年の開発時間を節約できます。

2.この本を使用してチームを支援する方法は？

この本を読んだ後、機械学習アルゴリズムを使用してプロジェクトの開発方向を設定する方法がわかります。 ただし、同僚は、この方向またはその方向を選択した理由を理解できない場合があります。 チームに品質メトリックを単一の数値パラメーターとして定義させたい場合がありますが、同僚は1つのインジケーターのみを使用することに同意しません。 彼らを説得する方法は？ だからこそ、この本の章を短くしました。ただ印刷して、同僚が有用だと思う重要な情報を1〜2ページ読むことができるようにします。



タスクの優先順位を少し変更すると、チームのパフォーマンスに大きな影響を与える可能性があります。 チームがそのような変更を行うのを手伝うなら、あなたがスーパーヒーローになれることを願っています。

3.何を知っておくべきですか？

Courseraで「機械学習」コースを学んだか、教師付き学習アルゴリズムを使用した経験がある場合は、本のテキストを理解するのに十分です。 教師による指導方法に精通していることを前提としています。xの値によって、すべてのxについてyを取得できる関数を見つけ、一部（x、y）のラベル付きトレーニングサンプルを取得します。 この種のアルゴリズムには、たとえば、線形回帰、ロジスティック回帰、ニューラルネットワークが含まれます。 機械学習には多くの分野がありますが、実際の結果のほとんどは教師学習アルゴリズムを使用して達成されています。



ニューラルネットワーク（NN）とディープラーニングについてよく話します。 概念の一般的な理解のみが必要です。 上記の概念に慣れていない場合は、まずCourseraの機械学習コースに関する講義のビデオをご覧ください。

4.どのような大きな変更が機械学習の進歩に貢献していますか？

多くのディープラーニング/ニューラルネットワークのアイデアが長年にわたって空中にありました。 なぜ今、それらを適用し始めたのですか？ 近年の進歩に最も貢献したのは、次の2つの要因です。



•データのアクセス可能性：現在、人々は常にデジタルデバイス（ラップトップ、スマートフォンなど）を使用しており、彼らのデジタルアクティビティは膨大な量のデータを生成します。

•計算能力：ほんの数年前、現在利用可能な膨大なデータセットを利用するのに十分な大きさのニューラルネットワークを大量にトレーニングすることが可能になりました。



通常、トレーニング用のデータを蓄積していても、ロジスティック回帰などの「古い」アルゴリズムの品質指標は一定レベルに達します。 一定の制限から、アルゴリズムの品質は、トレーニングサンプルの増加とともに改善しなくなります。 同じタスクで小さなニューラルネットワークをトレーニングすると、結果が少し良くなります。 ここで、「小さな」ニューラルネットワークとは、少数の隠れ層、リンク、およびパラメーターを持つネットワークを意味します。 最終的に、より大きなネットワークをトレーニングすると、より良い結果を得ることができます。











著者注：このグラフは、NNが従来のMLアルゴリズムよりも優れていることを示しています（少量のトレーニングデータの場合を含む）。 これは、大量のデータの場合ほど正確ではありません。 小さなサンプルの場合、手動で設計された機能に応じて、従来のアルゴリズムの方が良い場合も悪い場合もあります。 たとえば、トレーニング用のサンプル/ユースケースが20個しかない場合、ロジスティック回帰を使用するかニューラルネットワークを使用するかは重要ではありません。一連の記号は、アルゴリズムの選択に比べてはるかに大きな効果をもたらします。 しかし、トレーニング用のサンプルが100万個ある場合は、ニューラルネットワークを使用することを好みます。



したがって、最良の結果が得られます。



1.非常に大きなニューラルネットワークがトレーニングされるとき（図の緑の曲線上にあるように）;

2.トレーニングに大量のデータが使用される場合。



また、多くの革新が絶えず現れるネットワークアーキテクチャなど、他の多くの詳細も重要です。 ただし、アルゴリズムの品質を向上させる最も信頼性の高い方法の1つは、（1）大きなNNをトレーニングすること、および（2）トレーニングにより多くのデータを使用することです。 実際には、パラグラフ（1）および（2）に従うことは非常に困難です。 この本では、このプロセスの詳細について説明します。 まず、従来のMLアルゴリズムとNNアルゴリズムの両方に役立つ一般的なアプローチから始め、次に、深層学習システムを構築するための最も効果的な戦略を選択します。

5.サンプルはどうあるべきですか？

翻訳者注：Andrew Eunは、「開発セット」という用語を使用して、モデルパラメーターが設定されているサンプルを指します。 現在、このサンプルはしばしば「検証セット」と呼ばれる検証サンプルです。 実際、「検証」という用語は、このサンプルが適用されるさまざまなタスクに対応しておらず、「開発セット」という名前は現状との一貫性があります。 しかし、「開発セット」の適切な翻訳が見つからなかったため、「開発選択」または「開発選択」と書きます。 このサンプルを「チューニング」と呼ぶのが賢明かもしれません（ kfmnに感謝）。



猫の写真を使って例に戻りましょう。 したがって、モバイルアプリケーションを開発している場合、ユーザーはさまざまな写真をアプリケーションにアップロードし、猫の写真を自動的に見つけます。 あなたのチームは、Webサイトから猫（陽性サンプル）と「非猫」（陰性サンプル）の写真をダウンロードすることにより、大きなデータセットを作成しました。 次に、このデータセットをトレーニング（70％）とテスト（30％）のサンプルに分割しました。 サンプルデータを使用して、テストおよびトレーニングサンプルのオブジェクトに対して適切に機能する「猫検出器」が作成されました。 しかし、この分類子がモバイルアプリケーションに実装されたとき、その作業の品質が非常に低いことがわかりました。 どうしたの？



ユーザーがアプリケーションにアップロードする写真は、トレーニングセットを構成するWebサイトの画像とは異なるように見えます。ユーザーは、スマートフォンで撮影した写真をアップロードします。これらの画像は解像度が異なり、鮮明度が低く、シーンは完全に照らされません。 トレーニングサンプルとテストサンプルはWebサイトの画像で構成されているため、アルゴリズムは、アルゴリズムが開発されたデータの実際の分布に一般化されていません。 スマートフォンの写真には要約されていません。



「ビッグデータ」の時代以前は、機械学習の一般的なルールは、70％/ 30％のデータセットをトレーニングサンプルとテストサンプルにランダムに分割することでした。 このようなアプローチは機能する可能性がありますが、トレーニングセット内のデータの分布が問題が最終的に解決されるデータの分布と異なる場合、タスクの数を増やすことは悪い考えです。



通常、3つのサンプルを定義します。



•学習、学習アルゴリズムを実行します。

•パラメータの構成、機能の選択、および学習アルゴリズムに関するその他の決定に使用される開発（開発セット）の場合、このようなサンプルはホールドアウト相互検証セットと呼ばれることがあります。

•テスト。アルゴリズムの品質が評価されますが、それに基づいて、使用するトレーニングアルゴリズムまたはパラメーターについて決定を行いません。



テストサンプルと開発用サンプルを作成するとすぐに、チームはトレーニングアルゴリズムのさまざまなパラメーターなど、多くのアイデアを試して、何がより効果的かを確認し始めます。 これらのサンプルを使用すると、モデルがどの程度うまく機能しているかをすばやく評価できます。 つまり、テストおよび開発サンプルの目標は、機械学習の開発における最も重要な変更にチームを向けることです。 したがって、以下を実行する必要があります。作業サンプルとテストサンプルを作成して、将来受信する予定のデータに対応し、システムが適切に機能するようにします。 言い換えると、特に将来的にトレーニングサンプルのデータ（Webサイトの画像）とは異なるデータ（スマートフォンの写真）が予想される場合は、テストサンプルに使用可能なデータの30％だけを含めるべきではありません。



モバイルアプリケーションの配布をまだ開始していない場合は、ユーザーがいないため、将来予想されるデータを正確に収集する方法はありません。 しかし、それらを概算してみることができます。 たとえば、友人や知人に携帯電話で写真を撮って送ってもらうよう頼みます。 モバイルアプリケーションを公開したら、実際のユーザーデータを使用して作業（開発）およびテストサンプルを更新できます。



将来の予想に近いデータを取得する方法がない場合は、おそらくWebサイトから画像の操作を開始できます。 ただし、このタスクの一般化能力が低いシステムを作成することはリスクであることを明確に理解する必要があります。



開発とテスト用の2つの強力なサンプルの作成にどれだけの時間と労力を費やすかを評価する必要があります。 トレーニングセット内のデータの分布がテストセット内の分布とまったく同じであると盲目的に仮定しないでください。 トレーニングに必要な幸運なデータではなく、最終的に適切に作業する必要があるものを反映するテストケースを選択してください。

6.開発（開発）およびテストサンプルは、同じソースから取得し、同じ分布にする必要があります。

「猫」モバイルアプリケーションの写真は、最大のアプリケーション市場に対応する4つの地域に分割されています。米国、中国、インド、およびその他の地域です。 ランダムに選択された2つのセグメントのデータから作業選択を作成し、残りの2つのセグメントのデータをテスト選択に入れることができます。 そうだね 間違いなし！ これら2つのサンプルを定義すると、チームは作業サンプルの品質の改善に集中します。 したがって、このサンプルは、解決する問題全体ではなく、その一部を反映する必要があります。2つだけでなく、すべての市場でうまく機能する必要があります。



作業サンプルとテストサンプルのデータ分布の不一致には別の問題があります。チームが開発サンプルで適切に機能するものを作成し、テストサンプルで適切に機能しないことを確認する可能性があります。 結果は多くの失望と無駄な努力になります。 これを避けてください。



あなたのチームが、開発用のサンプルではうまく機能するが、テスト用のサンプルでは機能しないシステムを開発したとします。 両方のサンプルが同じソース/ディストリビューションから取得された場合、何が問題であったかについてかなり明確な診断があります：作業サンプルに過剰適合します。 明らかな解決策：作業サンプルのデータ量を増やします。 ただし、これら2つのサンプルが互いに一致しない場合、「間違った方向に進む」可能性のある多くのことがあります。 一般に、機械学習アルゴリズムを使用したアプリケーションで作業することは非常に困難です。 作業サンプルとテストサンプルの不一致は、疑問に追加の不確実性をもたらします。作業サンプルの作業の改善は、テストサンプルの改善につながりますか。 このような不一致があると、何が機能しないのかを理解するのが難しく、優先順位を付けるのが難しくなります。最初に試すべきことです。



サンプルがサードパーティの会社/組織から提供されているときにタスクに取り組んでいる場合、作業サンプルとテストサンプルの分布は異なる可能性があり、この状況に影響を与えることはできません。 この場合、スキルよりも運がモデルの品質に大きな影響を与えます。 データを処理するために1つの分布を持つデータのモデルをトレーニングすること（また、高い汎化能力を備えた）は、別の分布を持つことが重要な研究課題です。 ただし、研究ではなく実用的な結果を得ることが目標である場合は、同じソースからのデータを使用し、作業サンプルとテストサンプルに均等に配布することをお勧めします。

7.テストおよび開発サンプルのサイズはどのくらいですか？

作業サンプルは、試行しているアルゴリズムの違いを検出するのに十分な大きさでなければなりません。 たとえば、分類子Aが90.0％の精度を提供し、分類子Bが90.1％の精度を提供する場合、100サンプルの作業サンプルでは、​​0.1％の変化を見ることができません。 一般に、100個のサンプルの動作範囲は小さすぎます。 一般的な方法は、1,000〜10,000サンプルをサンプリングすることです。 10,000個のサンプルを使用すると、0.1％の改善が見られます。



著者のメモ：理論的には、統計的なテストを実行して、アルゴリズムの変更が作業サンプルに大きな変化をもたらしたかどうかを判断できますが、実際にはほとんどのチームはこれを気にしません（科学記事を書かない限り）、そのようなテストも見つかりません中間の進捗を評価するのに役立ちます。



広告、検索、レコメンデーションシステムなどの開発済みの重要なシステムについては、企業の利益に直接影響するため、0.01％の改善さえ達成しようとするチームを見ました。 この場合、わずかな変化を判別できるように、作業サンプルは10,000よりもはるかに大きくなければなりません。



テストサンプルのサイズはどうですか？ システムの品質を高い信頼性で評価するのに十分な大きさでなければなりません。 人気のあるヒューリスティックの1つは、使用可能なデータの30％をテストサンプルに使用することでした。 これは、非常に少量のデータ（100〜10,000サンプルなど）がある場合に非常にうまく機能します。 しかし、「ビッグデータ」の時代、トレーニング用のサンプルが100万を超えるタスクがある場合、これらのサンプルの絶対サイズが大きくなっても、作業サンプルとテストサンプルのデータの割合は減少します。 アルゴリズムの品質を評価できるボリュームよりもはるかに大きな作業サンプルやテストサンプルを用意する必要はありません。