Jupyterの内部で1時間あたり0.25ドルで16コアと30 GB

あなたがあまり幸運でなく、職場でスクリプトでダウンロードできるn核モンスターがない場合は、この記事が役立ちます。 また、スクリプトを一晩中実行することに慣れている場合（そして午前中にどこかでブラケットを忘れて、6時間の計算がなくなったことを読んでいる場合）-最終的にAmazon Web Servicesに慣れる機会があります。







この記事では、EC2サービスを開始する方法を説明します。 本質的に、これはJupyterノートブックを操作し、Anacondaライブラリを構築するためのAWSスポットインスタンスの半自動レンタルに関する段階的な手順です。 たとえば、Kaggleコンペティションでおもちゃのポピーをまだ使用している人にとっては便利です。







おそらく、アマゾンウェブサービスのウェブサイトに最初にアクセスしたすべての人の反応は、提供されている豊富なサービスと仮想マシン（インスタンスと呼ばれる）に戸惑うことでしょう。

このチュートリアルでは、AWSコンピューティングインスタンスを安価にレンタルし、お気に入りのノートブックを使用するためにJupyterサーバーをすばやくセットアップする方法を紹介します。 Anacondaのアセンブリと機械学習のタスクに焦点を当てますが、ビットコインのマイニングも含め、サーバーをさまざまな目的に使用できることは明らかです:)



モチベーション ：Jupyterノートブックからコンピューティングリソースへのアクセスを自宅のコンピューターよりも真剣に（5〜7分以内に）取得したい。

一般的に、 このための良いチュートリアルがあります 。 あなたが読んでいる記事は、追加された無料の翻訳です。 また、車を借りるたびに実行されるスクリプトを作成します。 そして、ここに急いでいる人のための結果があります。



16コアと30 GBのRAMを備えた3.4xlargeのスポットインスタンスをリースします。

「スポット」とは、本質的に私たちがオークションに参加し、機械を使用して1時間の価格を設定し、需要が増加するまでオークションにアクセスできることを意味します。 需要が上昇し、市場価格が設定した価格を超えると、車は突然「逃げ出し」ます。 多くの人がスポットインスタンスを使用することを恐れているのはこのため（不安定性）です。ただし、「オンデマンド」インスタンスと比較して多くを節約できます。 同じ自動車ですが、より「安定した」モードでは 、約0.85ドル/時間の費用がかかりますが、4分の1しか消費しません。



今、車の種類について。 AWSのドキュメントで詳しく説明されているため、タイプC-コンピューティング用に最適化されたマシンを選択してください。

レンタカー

開始するには、アマゾンウェブサービスにサインアップしてください。 ここでは手順を説明しません。すべては通常どおりで、電話とメールで確認するだけで十分です。 アカウントにクレジットカードを添付する必要がありますが、支出が怖い場合は、m4largeインスタンス（2 CPU、8 Gb RAM）を1時間あたり0.05ドルで利用できます。



AWSコンソールに移動し、サービスでEC2（Elastic Compute Cloud）を見つけます







[スポットリクエスト]セクションで、[スポットインスタンスのリクエスト]をクリックします。







仮想マシン上にあるOSのタイプを選択します。 一般的に、Windowsはより高価です。* Nixの中で、どちらを選択するかはそれほど重要ではありません。Ubuntuにしましょう。







次のタブでは、実際のインスタンスを選択できます。 ここで、タッチし、比較し（ ここで詳細を説明します ）、c3.4xlargeにスクロールします。







次に、最も重要なことは、仮想マシンを使用するための1時間あたりの価格を設定することです。 選択した地域の現在の価格が表示されます。







スクリーンショットよりも価格がはるかに高い場合は、現在の地域で急増していることを意味します-地域を変更します（名前の隣の右上隅）。 これまでのところ、フランクフルト地域の使用に成功していますが、統計を調べて、どの地域がより安く、安定した価格であるかを確認することもできます。



特定の地域のインスタンスの現在の市場価値の1.5倍の価格を設定することをお勧めします。 この状況では、価格は少し変動しますが、めったにあなたが宣言した価格を超えることはありません。 したがって、この方法では、車が「脱落」することはほとんどありません。



次に、ストレージを接続します。 Amazonは30 GBを提供しているので、30個すべてを使用してみませんか...







インスタンスのタグ付けはスキップできます。 そして、ポートを構成します。 ここでの主なことは、Jupyterサーバーに使用するポートを開くことです。 「規則の追加」をクリックし、「カスタムTCP規則」オプションを残して、ポート8888を指定します。また、HTTPおよびHTTPSプロトコルを追加し、ポートをリッスンできるユーザーを言います。 右側のDAW My IPを選択するだけです。







次のステップでは、SSHプロトコルを介してリモートでマシンに接続するときに私たちを識別するキー（pemファイル）を作成します。 好きなように呼び出すことができます-ダウンロード後の主なことは、それがどこにあるかを知ることであり、決して（!!!） GitHubまたは他のどこかにオンラインでアップロードすることです。 このファイルを銀行カードのパスワードのように扱います。 Amazonは、定期的にpemファイルを更新することをお勧めします（各リージョンに2つ持つことができ、同じキーを2回ダウンロードすることはできません）。







最後に、すべてを確認し、インスタンスが開始するまで数分待ちます。EC2の[インスタンス]タブで何かが表示されていることに気付きます。







表示されたインスタンスを選択して、[接続]をクリックします。 アマゾンは次に何をすべきかの指示を与えます。



Windowsの下に座っている場合、この記事を読むことは終わりません（通常、チュートリアルのこの場所では、「Windows？Good luck！」を読むことができます）。 Puttyを使用して接続する方法に関するAmazonの指示を読むだけです。

* NIXの場合、次の2つのコマンドを実行します。

chmod 400 <PEM-file name>.pem ssh -i <PEM-file name>.pem ubuntu@<HOST>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最初の方法では、通過する全員があなたのpemファイルにアクセスできるわけではありません。 2番目は、実際には一意のホストで仮想マシンに接続しています。

機械設定

すべてが順調に進んだ場合、ユーザーとしてのubuntuはリモートマシンのターミナルに到達します。

スクリプトは何でも実行できますが、Jupyterで機械学習タスクのインスタンスを設定することに焦点を当てます。 わかりやすくするため（およびrm-rf /のスタイルですべてが冗談なしに行われたことを確認するため）、すべてのコマンドを以下に説明しますが、一般的には2回目以降はbashスクリプトでこれを実行します。



Minicondaをダウンロードしてインストールします。 Anacondaよりもはるかに簡単です。必要なライブラリをインストールします（ちなみに、Seabornをポップしていませんが、Anacondaですべて問題ありません）。 私たちは短時間でマシンを使用し、数時間を超えることはありません。そのため、完璧主義なしに、すべてをホームディレクトリにインストールします。

 wget -c http://repo.continuum.io/miniconda/Miniconda-latest-Linux-x86_64.sh bash Miniconda-latest-Linux-x86_64.sh -b -p ~/miniconda export PATH=~/miniconda/bin:$PATH
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、必要なすべてのライブラリをインストールします。

 conda install -y numpy scipy pandas scikit-learn jupyter
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

たとえば、 Vowpal Wabbit （大規模なサンプルではより高速で、MapReduceの実装よりも高速と見なされることのある高速線形モデル）を提供することが可能です。

 sudo apt-get -qq install vowpal-wabbit
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Gitも害はありません-必要なリポジトリをすぐにダウンロードできます（このチュートリアルではAmazon S3の使用を検討していません）。

 sudo apt-get -qq install git
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

パスワードを使用してJupyterにログインするための証明書を作成しましょう-これははるかに安全です。 次に、手動で作成します。この作成された証明書がスクリプトで2回使用されます。

 openssl req -x509 -nodes -days 365 rsa:2048 -keyout jupyter.pem -out jupyter.pem
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ユーザー情報の要求が表示されます。 原則として、これは必要ありません。



Jupyterサーバーにログインするためのパスワードを作成します。

Ipythonからpasswd関数を使用できます

 python >>> from IPython.lib import passwd >>> passwd('Sample password')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

パスワードのハッシュが表示されます。 コピーしてください。

 'sha1:d0c0b7eb515e:f0e59fcd04aec7bb50886084ae8e1fa9a273f88e'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最後に、設定ファイルで使用するポートとアクセスを許可するアドレスを指定した後、IPythonプロファイルを作成してサーバーを起動します。 ハッシュ化されたパスワードを指定します。 パスワードは異なります-自分のパスワードを挿入する必要があります。

 ipython profile create nbserver printf "\n# Configuration file for ipython-notebook.\n c = get_config()\n # Notebook config\n c.NotebookApp.ip = '*'\n c.NotebookApp.password = u''sha1:d0c0b7eb515e:f0e59fcd04aec7bb50886084ae8e1fa9a273f88e''\n c.NotebookApp.open_browser = False\n c.NotebookApp.port = 8888\n" >> ~/.ipython/profile_nbserver/ipython_notebook_config.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リモートマシンでのみ最後に行うことは、IPythonサーバーの起動です。

（なぜIPythonがJupyterではないのですか？.. certfileが明示的に指定されているのはなぜですか？答えは単純です：crutches.Jupyterは設定ファイルを表示したくないので、その中の証明書ファイルの設定を表示したくありませんでした。 、構成ファイルと証明書を明示的に指定せずに）。

 ipython notebook --config="~/.ipython/profile_nbserver/ipython_notebook_config.py" --certfile=jupyter.pem
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてが順調に進んだ場合、最後に次のように表示されます。

 [I 10:09:08.774 NotebookApp] Serving notebooks from local directory: /home/ubuntu [I 10:09:08.775 NotebookApp] 0 active kernels [I 10:09:08.775 NotebookApp] The Jupyter Notebook is running at: https://[all ip addresses on your system]:8888/ [I 10:09:08.775 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

利益

HOST ：8888のブラウザに移動します。ここで、HOSTは以前のようにインスタンスのアドレスです。 注意！ プロトコルは正確にHTTPSである必要があり、証明書の確認も必要になる場合があります。 （たとえば、Chromeでは、「詳細」を確認してサイトへの移行を確認する必要があります）。



パスワードを入力します（もちろん、ここではハッシュではなく「通常」）。Jupyterのファイルシステムという素晴らしい画像が表示されます。







新しいノートブックを作成し、ボンネットの下に豊富な核を楽しんでいます。







次に、ターミナル（リモートマシンではなくコンピューター）に戻って、データセットをインスタンスにドロップします。 Kaggleコンペティション「 Forest Cover Type Prediction 」から発言してください。

 scp -i <PEM-file name>.pem <LOCAL_PATH_TO_DATA> ubuntu@<HOST>:/~
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、機械学習について話すのは興味深いことですが、ここでは生データでランダムなスクレーンフォレストを実行します。





n_jobsパラメーターに注意してください-ここでは、16個のコアすべてを使用しています。

最大深さ15の1000ツリーが5秒で学習-4コアと4 GBのメモリを搭載したMacBook Airの3倍の速度。 もちろん、大きなサンプルでは、​​違いはより重要になります。

同じスクリプト

プロセスは自動化できます。 botoというPython Amazon SDKを使用して、スクリプトを使用してスポットインスタンスのバックアップを作成することもできます。 ただし、ここでは、起動後にJupyterで作業するためにマシンを準備するスクリプトを見ていきます。



これらはすべてGithub リポジトリにあります 。



合計で、3つのファイルが必要になります。

• config.txtに、pemファイルへのパス、新しく発行されたインスタンスのホスト、および先ほど作成したJupyterサーバーにアクセスするためのハッシュされたパスワードを書き込みます。
  
  

   pemfile='<PEM-file>.pem' host='<HOST>' jupyter_password='<JUPYTER_PASSWORD>'
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  
• remote_setup.shで、リモートマシンで実行するすべてのものを追加します。
  
  
  
  

   # Installing Miniconda wget -c http://repo.continuum.io/miniconda/Miniconda-latest-Linux-x86_64.sh bash Miniconda-latest-Linux-x86_64.sh -b -p /home/ubuntu/miniconda export PATH=/home/ubuntu/miniconda/bin:$PATH #Installing neccesary libraries conda install -y numpy scipy pandas scikit-learn jupyter #Can add whatever you want to install #sudo apt-get -qq install vowpal-wabbit #sudo apt-get -qq install git ipython profile create nbserver printf "\n# Configuration file for ipython-notebook.\n c = get_config()\n # Notebook config\n c.NotebookApp.password = u'"$1"'\n c.NotebookApp.ip = '*'\n c.NotebookApp.open_browser = False\n c.NotebookApp.port = 8888\n" > ~/.ipython/profile_nbserver/ipython_notebook_config.py ipython notebook --config="~/.ipython/profile_nbserver/ipython_notebook_config.py" --certfile=jupyter.pem
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  
• launch_remote_setup.shスクリプトは、リモートマシンで必要なパラメーターを指定してremote_setup.shを実行するだけです。
  
  
  
  

   source 'config.txt' scp -i $pemfile ./ipython.pem ubuntu@$remote_host:~ ssh -i $pemfile ubuntu@$remote_host 'bash -s' < remote_setup.sh $jupyter_password
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

目的のディレクトリで、次を実行します。

 sh launch_remote_setup.sh
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

5-7分、それで終わりです！ Jupyterサーバーで作業できます。



もうお茶を注ぐところだった。 しかし！ 非常に重要なポイント！

作業の最後に、インスタンスを停止します。

EC2->インスタンス->アクション->インスタンス状態->終了。



停止ではなく終了です（スポットの場合のみ使用可能です）。 ただし、インスタンスをオンデマンドで起動する場合、停止してもマシンの電源が完全に切れるわけではなく、データ交換の費用がかかる可能性があります。







最後に、少しの財政について話し合うことができます。 現在のアカウントは、あなたの名前をクリックし、「請求とコスト管理」をクリックすることにより、Amazonでチェックされます。

平日4時間使用する場合、1時間あたり0.25ドルは約25ドルです。 その後、誰もが彼がそのような費用の準備ができているかどうかを自分で決めます。



GitHub Student Developer's Packを宣伝することもできます -私は個人的にAmazonの証明書を110ドルで入手しましたが、今でも使用しています。 さらに、本格的な科学プロジェクトの場合は、Amazonから助成金を取得できます。

おわりに

今のところすべてです。 一部の人にとっては、Amazon Web Services EC2のジャンプスタートだったと思います。 夜は車を休ませましょう！



PS。 コメント/ヒント/共有体験/プルリクエストは大歓迎です。