ディープラーニングを開始した方法

こんにちは、こんにちは。



ご存じのとおり、ディープニューラルネットワークのトレーニングには、GPUを搭載したマシンを使用することが最適です。 教育プログラムには常に実用的なバイアスがあるため、各参加者がGPUを備えた独自の仮想マシンを使用し、授業中の問題や1週間の実験室作業を解決できることが不可欠でした。 インフラストラクチャパートナーを選択して計画を実施し、参加者の環境を準備する方法については、投稿で説明します。

Microsoft Azure Nシリーズ

今年の初めからディープラーニングの教育プログラムを開始する計画がありましたが、8月にプログラムの直接設計に切り替えました。 ほぼ同時期に、Microsoft AzureはGPU仮想マシンがプレビューでプラ​​ットフォームに登場したことを発表しました。 Microsoftはビッグデータのメインプログラムのインフラストラクチャパートナーであるため、これは私たちにとって朗報でした。 動物園を繁殖させないという考えがあり、11月末には既製のソリューションを使用します（プレビューではありません）。 11月中旬に、Microsoftがプレビューを終了し、GPUをクラウドエコシステム内で利用可能にすることを急いでいないことが明らかになりました。 私たちは緊急に他の何かを探す必要があるという事実に直面しています。

IBM Bluemix

少し後に、IBM Bluemixインフラストラクチャ（以前のSoftlayer）に基づくクラウドプラットフォームとのこの分野での協力にすぐに同意し、IBMはこのプログラムのインフラパートナーになりました。 悲しいかな、落とし穴がないわけではありません。 IBM Bluemixの可能性を体験したのはこれが初めてです。 当初、参加者ごとにGPUを備えた既製の仮想マシンを入手する予定でした。 しかし、Bluemix GPUはベアメタルサーバー（専用の物理サーバー）でのみ利用可能であり、希望の構成でデザイナーとして注文して数時間で入手できるため、2つのIntel Xeon E5プロセッサーを搭載したSupermicroプラットフォームに基づく強力な物理サーバーになりました-2690v3、128 GBのメモリと2つのNVIDIA Tesla M60カード（各カードにMaxwell世代の2つのGM204GLチップと16 GBのビデオメモリがあります）に、選択したハイパーバイザー（VMware、XenまたはHyper-V）を事前インストールできます悪くない！ この軽快な鉄を必要な数のvirtualokとすべてに分割できました。 はじめからこの段階を計画していませんでした。 これは、私たちがかなり長い間解決してきた主な問題が生じた場所です。



実際の作業のために、プログラムの参加者は、NVIDIA CUDAおよびGNU / LinuxベースのオペレーティングシステムをサポートするGPUを備えた仮想マシンを必要としました（ほとんどの場合、タスクにUbuntu 14.04 LTSを使用します。 したがって、そもそも、Linuxゲストシステムへのビデオカードの「パススルー」、またはゲストOSの（より興味深い）仮想GPUサポートのいずれかをサポートする仮想化プラットフォームを選択する必要がありました。



まず、VMware Vsphere 6をこの市場の主要なソリューションの1つと見なすことにしました。 幸いなことに、このハイパーバイザーと必要なすべてのライセンスのインストールは、IBM SoftLayerコントロールパネルから直接利用できます。つまり、ハイパーバイザーのインストールは、マウスを数回クリックするだけで実行されます（専用サーバーで作業していることを忘れないでください）。 VMwareは、GRID Virtual GPU（vGPU）テクノロジーのサポートを主張しています。つまり、ビデオアダプターの1つのコアを複数の仮想コアに分割し、そのようなGPUをゲストシステムに接続することが可能です。 NVidiaの対応するドキュメントに、すべてが詳細に説明されています。 この技術は主に、Windowsベースのゲストシステムに3Dグラフィックスアクセラレーションが必要なVDIソリューションで使用することを目的としていますが、このケースではあまり適していません。 NVidiaのドキュメントのより詳細な調査により、vGPUを使用する場合、vGPUプロファイルの概念、つまり実際にはビデオアクセラレータの単一コアをいくつのvGPUに分割できるかが明らかになります。 vGPUプロファイルは、割り当てられるビデオメモリの量、サポートされるディスプレイの最大数などを定義します。 したがって、さまざまなプロファイルを使用して、NVidia Tesla M60を1〜32の仮想マシンの数に分割できます。興味深い。



しかし！ このドキュメントをより詳しく読むと、ゲストLinuxシステムでのCUDAサポートはGRID M60-8Qプロファイルでのみ利用可能であることがわかります。これは基本的にTesla M60 GPUチップの1つを転送するだけです（Tesla M60は2 xチップ）1つの仮想マシンに。 その結果、CUDAを操作するための2枚のTesla M60カードがある場合、LinuxゲストOS用に最大4台の仮想マシンを取得できます。



それとは別に、vGPUを使用するには、NVidiaからの追加ライセンスが必要であり（ 基本はこちら ）、ハイパーバイザーおよびゲストシステムのドライバーを取得するには、これらのライセンスを取得する必要があることに言及する価値があります。 また、ゲストシステムのドライバーにはNVidiaライセンスサーバーが必要です。NVidiaライセンスサーバーは個別にインストールする必要があり、Windowsオペレーティングシステムでのみサポートされます。 さらに、vGPUは、使用したVsphere 6 Enterprise Plusリリースでのみサポートされます。



その結果、vGPUを放棄し、ビデオカードをゲストシステムに単に「転送」することが決定されたため、4 GBの仮想マシンを取得できます。各仮想マシンには、8 GBのビデオメモリを備えた1つのTesla M60チップがあります。 vSphereはPCIパススルーをサポートしているので、問題はないはずですが、明らかになりました。



Teslaカードは、仮想マシンのパススルー用に構成されています。 PCIデバイスがマシンの1つに追加されましたが、マシンの起動時に「PCIパススルーデバイスID無効」というエラーが表示され、Windowsクライアントを使用してデバイスを再追加すると、この問題はvSphere Webインターフェイスにのみ表示されることが判明しましたが、別の、より一般的な、「VMの起動中...一般エラー」のようなものが表示されます。 エラーの原因を少し調べてから、さまざまなオプションを試しました。

• VTがオンかどうかを確認しました
• IOMMUが有効になっています
• .vmxファイルに追加しようとしました：
  
  
  
  -firmware = "efi"
  
  -pciPassthru.use64bitMMIO = "TRUE"
  
  -efi.legacyBoot.enabled = "TRUE"
  
  -efi.bootOrder = "legacy"

しかし、すべて無駄です。 PCIパススルーは機能しませんでした。 時間がますます短くなっていることを考えると、調査を中止してCitrix XenServerを試してみることにしました。 このハイパーバイザーはVDIソリューションに広く使用されています。 さいわい、SoftLayerコントロールパネルから、ワンクリックでハイパーバイザーの再インストールを開始し、XenServerを選択できます。 Bluemixプラットフォームでは、自動化されたインストールと構成にかなりの時間がかかりました（この例では約8時間）ことに注意してください。 したがって、この手順に必要な時間を置くことが重要です。 さらに、この話はかなり退屈で、すべてがすぐに「箱から出して」機能しました。 この場合、パススルーモードで同じオプションを使用できました。 2つのTesta M60アダプターからの4つのGM204GLチップのそれぞれは、個別の仮想マシンに投入され、仮想ネットワークをセットアップし、Tesla M60 for Linuxの標準NVidiaドライバーをインストールし、すべてが起動しました。 Citrix XenCenterを使用してXenServerを構成すると便利です。GUIで転送されるビデオカードは次のようになります。







そのため、管理者はnvidia-smiユーティリティを使用して、Pythonプロセス（参加者がKerasおよびCaffeライブラリを使用）がGPUメモリのほとんどを使用していることを確認できます。







これらのすべての予定外の調査に関連して、プログラムの最終日までに正常に機能する仮想マシンをカットすることができました。 その結果、必要な機器なしで放置する余裕がなかったため、男たちはAWSプラットフォームのg2.2xlargeインスタンスに1週間を費やし、スライスされたIBM Bluemix仮想マシンは、プログラム終了後さらに1週間、参加者にボーナスとして与えることを決定しました。ディープラーニング。

AWSとIBM Bluemixの比較

どのソリューションが生産性と公園の維持コストの点でより効果的かを比較することにしました。



たとえば、インフラストラクチャを2週間使用し、参加者が16人の場合、両方のオプションにかかる費用を計算します。 各参加者に個別の仮想マシンを提供したかったため、ユースケースはあまり標準的ではありません。



AWS：0.65ドル* 24時間* 15日*参加者16人= 3,744ドル



IBM Bluemix：2961.1ドル/月/ 2（2週間）* 4 = 5,922.2ドル（2xM60のサーバー） 構成リンク



または、g2.2xlargeに近いものを使用する場合：

$ 2096.40 /月/ 2（2週間）* 4 = $ 4192.8（2xK2（GK104）GPUを備えたサーバー-AWSのアナログ） 構成リンク



私たちのバージョンでは、お金の差は大きく、ほぼ2千ドルです。最新のGPUを使用すると、2番目のケースのパフォーマンスが高くなります。

AWS：1 gpu、8コア、15 gbラム（GRK K520に基づくGK 104）

IBM：1 GPU、12コア、32GB RAM（M60に基づくGM 204）



より多くのコア、より多くのメモリ、より現代的な次世代GPU、そしてパフォーマンス自体はさらに高くなっています。 手書きの数字を認識するLeNetネットワークを1万回の反復でCaffeを使用してトレーニングし、小さなベンチマークを実施しました。 AWS仮想マシンでは、45.5秒かかりましたが、IBM仮想マシンでは26.73秒で、1.7倍高速です。 より長い期間、これはより重要になる可能性があります：14時間対24時間。 または、2週間で6日間節約でき、他のことを学ぶのに費やすことができたでしょう。



IBMの同僚は、ビデオストリーミングという別のユースケースを共有しました。 AWSは同じ16個のg2.2xlargeマシンを使用しましたが、IBMはWindowsゲストVM用に2xM-60サーバーを1台しか持っていませんでした。 パフォーマンスは同等で、同じ数のビデオストリームを配信しました。 同じ2週間、IBMは1,422.72ドルを費やしますが、AWS構成では2,000ドル以上安くなります。 そのため、タスクによっては、この構成またはその構成の方が収益性が高い場合があります。 また、IBMの同僚は、AWSでそのようなサーバーを1台レンタルする場合でも、数万ドルのサービスを大量に消費する場合にのみ自動的に同じ割引が適用されると、より有利な条件を提供できると示唆しました。



また、Bluemixプラットフォームでのみ、現在利用可能なMaxwell世代GPUがあることに注意することも重要です。 執筆時点では、他のパブリッククラウドプラットフォームには類似物がありませんでした。 その場合、 ここでコンフィギュレーターへの直接リンク。



比較では、プラットフォームとプラットフォームを比較するというトピックには触れません。 これらのサービスはまったく異なるアプローチです。 IBM Bluemixは、インフラストラクチャサービス（Softlayer）の提供に重点を置いていると同時に、顧客にPaaS Bluemixサービス（分析、ビッグデータ、仮想コンテナーなど）を提供しています。 AWSは、KVMハイパーバイザーであるAzureに基づく仮想サービスとPaaSに重点を置いており、AzureはMicrosoftスタック全体に集中しています。



明らかに、異なるプロバイダーのさまざまなソリューションの直接価格を比較することは完全に公平ではありません。この価格で得られるものを理解する必要があります。 たとえば、詳細を調べてドキュメントを調べると、AWSとAzureはテクニカルサポートへの呼び出しごとに料金を請求しますが、IBM Bluemixは請求しません。 サービスが地理的に分散した異なるデータセンターにある場合、AzureとAWSの場合、クライアントはデータセンターネットワーク内のトラフィックに対して支払いますが、IBM Bluemixでは、ネットワーク内のトラフィックは顧客などに対して無料です。 それでも、機能的、実用的、法的な面であらゆる種類のニュアンスを見つけることができます。 私たちの意見では、最もパーソナライズされたソリューションが必要であり、重要なワークロードについて話している場合、Bluemixの選択が最適です。 リソースを完全に管理および管理します。また、可能な限りすぐに使用できる（最小限の管理が必要な）複数のワークステーションが必要で、パフォーマンスが重要でない場合は、すべてのサービスが透過的です。AzureとAWSは理想的です。

結果

一番下の行は、私たちが経験したすべての困難にもかかわらず、ディープラーニングの最初の打ち上げは成功したとみなすことができるということです。 調査結果によると、次の結果が得られました。



1.コースへの期待は現実とどの程度一致しましたか？

1から10のスケールで：1-期待は完全に満たされていない、10-コースは私の期待をすべて上回った。







2.プログラムから受け取った主な結果は何ですか？







3.獲得した知識とスキルをどのように適用する予定ですか？







4.プログラムの形式はどれくらい好きでしたか：実験室での仕事を伴うフルタイムの2日間？







5.このプログラムを友人に勧める可能性はどのくらいありますか？







これらのデータに基づいて、ディープラーニングの最初の立ち上げは成功したと考えています。 私たちにとって重要な指標は、参加者が結果にほとんど満足しており、プログラムを友人に推薦する準備ができていることを示しています。 私たちはこの形式にあまりヒットしていないようです。 パイロットの打ち上げについて結論を出し、次のセットに修正します。 アイデアがあります！