AWS DeepLearning AMI-使用する価値がある理由(および方法)

時々、良いものが無料で届きます...







AMIとは何ですか?



AMIが何なのかわからない人のために、これに関する公式文書を引用させてください。







Amazon Machine Image(AMI)は、クラウドで仮想サーバーインスタンスを実行するために必要なデータを提供します。 インスタンスを起動するときにAMIを構成し、必要な数のインスタンスをAMIから実行できます。 必要な数の異なるAMIから仮想マシンインスタンスを実行することもできます。

これで記事の残りの部分を理解するのに十分なはずですが、 AMIに関する公式ドキュメントに時間をかけることをお勧めします。







ディープラーニングという用語を以前に突然聞いていない場合...

ディープラーニングは、多くの非線形変換で構成されるアーキテクチャを使用して、データの高レベルの抽象化をモデル化しようとする一連の機械学習アルゴリズムです。

ディープラーニングは、データの表示を選択する幅広い機械学習方法の一部です。 観測(たとえば、画像)は、ピクセルごとの値の強度のベクトル、または(より抽象的な形式で)プリミティブ、特定の形状の領域など、多くの方法で表すことができます。

一方、深層学習は流行語またはニューラルネットワークのブランド変更に他ならないという意見があります。 Wiki







AWS DeepLearning AMI(別名DLAMI)とは何ですか?なぜ使用する必要がありますか?



ニューラルネットワークのトレーニング(トレーニング)は、CPUを使用するかGPUを使用するかの2つの方法で実行できます。 GPUを使用した学習は、CPUを使用した学習よりも速度(および結果としてコスト)の点で優れた結果を示すことは誰にとっても秘密ではないため、すべての最新の機械学習システムはGPUをサポートしています。 ただし、GPUを最大限に活用するには、このGPUを使用するだけでは不十分です。それでも、「しゃがむ」必要があります。







  1. GPU自体を取得します。
  2. そのドライバーを構成します。
  3. GPUのすべての機能を使用できるライブラリを見つけます。 ライブラリは、1および2のドライバーおよびハードウェアと互換性がある必要があります。
  4. 以前に見つかったライブラリを使用してコンパイルされたニューラルネットワークが必要です。


では、これら4つの問題すべてを解決するために何をする必要がありますか? 2つのオプションがあります。







  1. ネットワークのソースコードとGPUを操作するためのライブラリをダウンロードし、必要な構成ですべてを自分でアセンブルします(実際には、思ったよりも行うのがさらに困難です)。
  2. GPU対応のフレームワークアセンブリを見つけて、必要なものをすべてインストールし、それがうまくいくことを望みます。


どちらの場合も長所と短所がありますが、これらのオプションには大きなマイナス点が1つあります。どちらもユーザーの技術的な知識が必要です。 これが、GPUでニューラルネットワークをトレーニングしたくない人が多い主な理由です。







DLAMIはこの問題をどのように解決できますか? はい、それは簡単です。事実、DLAMIはすぐに必要なものすべてを含む最初の無料ソリューションです。









ところで、Alはすぐに使えるフレームワークのリストです。









DLAMIは、P2やG2などのAWS GPU互換マシンで使用できます。







画像







ところで、 新しくリリースされたG3で遊んでみてください。







DLAMIを使用する必要がある理由と理由についての質問に対する回答が得られたことを願っています。 次の質問への答えを議論しましょう...







DLAMIでどのように正確に車を作成できますか?



これを行うには、最初に望ましいDLAMIオプションを選択する必要があります。









DLAMIのタイプを決定したら、DLAMIに基づいてマシンを作成する方法に進みます。









EC2コンソールは、実際には、従来の作成の2つの方法で作成できます。









デフォルト設定を使用したEC2コンソールの作成の高速化:









更新の問題



議論する必要のある予約が1つあります。 すべてのフレームワークはゼロから構築されるため、それらを取得して最新バージョンにアップグレードすることはできません。GPUサポートを使用して構築されていない(またはCUDAバージョンと互換性がない)フレームワークのバージョンを取得するリスクがあります。 だからあなた自身の責任でパッケージを更新してください!







パッケージをアップグレードするだけでなく、新しいAMIに切り替える必要があるため、フレームワークの新しいバージョンに切り替えるのが難しくなります。 また、新しいAMIへの移行は苦痛を伴う場合があります。 したがって、仮想マシンの新しいインスタンスを作成するときは、これに留意してください。データを保存するために別のEBSを作成することをお勧めします。 さて、またはリポジトリにデータを保存します。







実際には、これは研究目的で継続的に使用されていないマシンにとってそれほど大きな問題ではないことがわかりました。 さらに、DLAMIには、通常、かなり最近のバージョンのフレームワークが含まれています。








All Articles