こんにちはHabr！ 過去1.5年間、信頼できるクラウドホスティングを必要とするプロジェクトに取り組んできました。 これまで、私は10年以上Webプログラミングに携わってきました。ホスティングを構築することを決めたとき、私はこの分野で比較的表面的な知識があり、現在はシステム管理者ではありません。 Ansibleのスクリプトセットを実行するだけで、5分以内に普通のプログラマーが行うことができます。これは私があなたのために特別に準備し、GitHubに投稿しました 。



私の目標は、独自のクラウドホスティングが必要な場合に構築するものがわかるように、ツールのリストと共通の理解を提供することです。 使用するツールを選択するとき、私はシンプルさ、高品質のドキュメント、安定性に焦点を合わせました。 本番環境でこれらすべてを使用する前に、必ずシステム管理者に相談する必要があります（ 「ベータ」ステータスの一部のコンポーネントを使用しています（2015年6月） ）。

内容

• パート0： 仮想化
• パート1：Ansible、Docker、Docker Swarm
• パート2： サービスの発見
• パート3： 領事、登録者、領事テンプレート
• ...

ホスティングを所有する理由

主な理由-私は必要な経験を得たかった。 私はますますプログラミングから離れ、管理上の問題を抱えています。 優れた起業家は、可能な限りすべてのポジションで自分自身で仕事を進め、すべてがどのように機能するか、それを管理する方法、どのような人と何を要求するか、仕事と自分自身を評価する方法を理解する必要があります。



2番目の理由は、私のプロジェクトの詳細であり、個人データのプライバシーに関連しています。 誰かが自分のデータを単純に信頼する理由はありません。 私はこの問題について非常に心配しており、あまり注意が払われていないことを心配しています。



ロシアの現実におけるスタートアップの目標とベンチマークの最後の理由。 ここでの主な目標は、お金を稼ぎ、プラスになることです。 利益はありません-スタートアップはありません。損失を出す趣味があります。 したがって、3番目の理由はコストです。 定期的に処理するトラフィックは約9 TB、データは約5 TBです。これはすべて月額$ 100かかります（ AWSでどれくらいかかるかを計算できます） 。 来月は同じ費用がかかることを知っており、自分のお金でプロジェクトを構築します。

準備する

最初に行うことは、1つのデータセンターに3台のサーバーを配置することです （サーバー間のpingが最小限になるように、サーバーはできるだけ近くに配置する必要があります ）。 これらが仮想専用サーバー（ テスト時 ）であるか、本物であり、どのプロバイダーからレンタルするかは関係ありません。 DigitalOceanに注文し、Debian 8.1 x64のインストールを選択し、SSHキーの追加を指示しました。







インストールが完了し、3台のベアサーバーを自由に使用できます。

アンシブル

既に理解したように、 Ansibleを使用してサーバーを構成します。 それが何であり、どのように使用するかわからない場合は、Habréでこれらの質問に対する答えがあります。

1. Ansible管理システム
2. アンシブル
3. Ansible-やってみましょう

誰も公式ドキュメントをキャンセルしていません（ ドキュメントを英語で読むことに問題がない場合は、この特定の情報源をお勧めします ）。



Ansibleは唯一の構成管理システムではありません（ Puppet 、 Chef 、 Saltなどがあります ）。



上で書いたように、ツールを選択する際の優先事項の1つは単純さです。 クライアントを管理対象マシンにインストールする必要はありません（ すべてがSSHを介して動作します）、スクリプト言語は非常にシンプルで、プロジェクトには最新の詳細なドキュメントがあり、モジュールコードはPythonで記述されています（ Pythonはスタートアップの主な言語であるため、私たちにとって利点です ）。





この段階で、Ansibleをクライアントマシンにインストールする必要があります（ 手順 ）。 私にとって、OS X 10.9では、このために2つのコマンドのみを実行する必要がありました。

» sudo easy_install pip #       PIP » sudo pip install ansible
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてが正常であることを確認します。

 » ansible --version ansible 1.9 configured module search path = None
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Docker

これは、間違いなく、ここ数年で出会った最高のツールの1つです。 Dockerはクラウドホスティングの中心となり、本当に素晴らしい機会を提供します。



「箱から出してすぐに」クラウドで即座に実行できる既製の膨大な数の画像にアクセスできます。 異なるバージョンの必要なサービスを同時に個別に実行したり、互換性をテストしたり、Webアプリケーションの依存関係を満たしたりする機会があります。



Webアプリケーションの最初のバージョンで20個のコンテナーを起動し、2番目のバージョンで2個のコンテナーを起動してそれらの間で負荷を分散し、訪問者の10％のみを新しいバージョンで表示し、作業とユーザーレビューの安定性を評価します。



クライアントマシンにDockerをインストールする必要があります。将来のDockersクラスターを管理するために必要になります。 これを行う最も簡単な方法は、Kitematic GUIクライアント （ Mac OS X 10.9+およびWindows 7+ 64ビットで使用可能 ）をダウンロードし、メインメニューに移動し、[Install Docker Commands]を選択してDockerコンソールコマンドをインストールすることです。







公式のドキュメントから代替のインストールオプションを見つけることができます（ 適切に作成され、タイムリーに更新されています ）。 次のように、すべてが順番どおりであることを確認します。

 » docker version Client version: 1.6.2 Client API version: 1.18 Go version (client): go1.4.2 Git commit (client): 7c8fca2 OS/Arch (client): darwin/amd64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Docker swarm

最後に、私たちは最も興味深いことに到達し、ホスティングの「曇り」を実現しました。 奇妙なことですが、Habr上のDocker Swarmに関する情報は見つかりませんでした。



Docker Swarmは、複数のDockerホストを1つの仮想ホストに結合し、エレガントにします。 Docker Swarmは、 Docker APIと互換性のあるREST APIインターフェイスを提供します 。 したがって、Docker APIで機能するすべてのツール（Docker クライアント、Dokku、Compose、Krane、Flynn、Deis、DockerUI、Shipyard、Drone、Jenkinsなど ）は、Docker Swarmではなく、その背後にあるのは、1台のマシンだけでなく、Dockersのクラスターであると疑っています。



クラウドを構築して、Docker Swarmが実際にできることを見てみましょう。

降りる

この時点で、クライアントコンピューターにAnsibleとDockerをインストールする必要があります。 鍵認証とDebian 8.1 x64を搭載した3台のサーバーが搭載されている必要があります （ 他の配布パッケージを使用して、スクリプトに小さな変更を加えることができます ）。 Ansible用のスクリプトセットを用意しました。これはすべての作業を実行するため、それほど時間は必要ありません。



一連のスクリプトをダウンロードするか、リポジトリを複製します。

 » git clone https://github.com/vkozlovski/ansible-cloud-hosting » git checkout v1.x » cd ansible-cloud-hosting
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ステージファイルを開き、その中のIPアドレスをサーバーのIPに置き換えます。

 [cloud] 188.166.16.70 debian_release=testing hostname=debian1 188.166.99.31 debian_release=testing hostname=debian2 128.199.59.102 debian_release=testing hostname=debian3
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Docker SwarmがDockerノードに接続できるようにするには、外部からアクセスできる必要があります（ デフォルトでは、HTTPのポート2375およびHTTPSのポート2376で ）。 また、クラスターを管理できるように、Docker Swarm Managerを外部で使用可能にする必要があります。 HTTPはこれらの目的には適していません（ インターネットユーザーではなく、自分用にクラウドを構築しています ）、HTTPSまたはTLSが残っています（ 詳細については、 公式ドキュメントを参照してください ）。



動作の原則は次のとおりです。独自の証明機関（ 以下、CA ）を作成し、Dockerサーバーとクライアントの証明書に署名します。 その後、ドッカー「デーモン」は、「デーモン」証明書と同じCAによって署名された証明書を持つクライアントからの接続を受け入れます。 Dockerクライアントは同じチェックを実行し、同じCAによって署名された証明書を持つDockerサーバーにのみ接続します。 Docker Swarm Managerは同じスキームを使用します。 これにより、ミニクラウドの認証とセキュリティが確保されます。



必要なことは、CAのキーを生成することだけです（ 残りはすべて自動的に行われます ）。 プロジェクトのルートディレクトリから次のコマンドを実行するだけで（ 指定したパスワードを覚えておく必要があります ）、質問に対する回答を記入します（ 特定の要件はありません。任意のドメインを指定できます ）。

 » openssl genrsa -aes256 -out certs/ca/ca-key.pem 4096 » openssl req -new -x509 -days 365 -key certs/ca/ca-key.pem -sha256 -out certs/ca/ca.pem
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ファイル内のいくつかの変数の値を入力するために残ります。





変数certs.ca.passwordには、証明機関の秘密キーを生成したときに指定したパスワードが含まれている必要があります。



docker_swarm.token変数には、次のコマンドで生成できる将来のクラスターの識別子が含まれている必要があります。

 » docker run --rm swarm create 6856663cdefdec325839a4b7e1de38e8
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

docker_swarm.manager変数には、Docker Swarm Managerを起動するホストのIPアドレスが含まれている必要があります（ サーバーのいずれかのIPアドレスを指定します ）。



Ansibleスクリプトは、 サポートユーザーを作成し、そのユーザーをsudoグループに追加し、SSH経由でログインする権限をルートに拒否する必要があることを示しています。 ssh.users []。Password変数の値は、上記で指定したユーザーのパスワードハッシュにする必要があります。 それを取得するには、任意のLinuxマシンで次のコマンドを実行する必要があります（ SSH経由でサーバーの1つに移動して実行できます ）。

 » mkpasswd --method=SHA-512 Password: $6$n0lQGWy2s5437ns1$nczULrrTw5r.TmhEI/xBz5xYEHWyMbtbQhAJoWshv0rFjSoRxLYZh0zDoMwVM.ZFnChx7ym.4.r182EOIn9Ec/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ssh.users []。Keyの値は公開キーである必要があり、デフォルトでは〜/ .ssh / id_rsa.pubです。





完成した構成ファイルの例を以下に表示できます。





これで、待望のクラウドの構築を開始する準備ができました。

 » ansible-playbook -i stage site.yml -u root
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ルート認証機能をオフにし、 サポートユーザーも追加したため （ これはAnsibleスクリプトで説明されています）、以降のすべての起動は-s （ sudo ）および-Kフラグ（ sudoのパスワードを要求する ）で実行する必要があります

 » ansible-playbook -i stage site.yml -u support -s -K
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

検証と使用

新しく作成したクラウドをテストする準備ができました。

 » docker -H tcp://188.166.16.70:8000 --tlsverify=true --tlscacert=certs/ca/ca.pem --tlscert=certs/docker/cert.pem --tlskey=certs/docker/key.pem info Containers: 4 Images: 3 Storage Driver: Role: primary Strategy: spread Filters: affinity, health, constraint, port, dependency Nodes: 3 debian1: 188.166.16.70:2376 └ Containers: 2 └ Reserved CPUs: 0 / 1 └ Reserved Memory: 0 B / 519.2 MiB └ Labels: executiondriver=native-0.2, kernelversion=3.16.0-4-amd64, operatingsystem=Debian GNU/Linux stretch/sid, storagedriver=aufs debian2: 188.166.99.31:2376 └ Containers: 1 └ Reserved CPUs: 0 / 1 └ Reserved Memory: 0 B / 519.2 MiB └ Labels: executiondriver=native-0.2, kernelversion=3.16.0-4-amd64, operatingsystem=Debian GNU/Linux stretch/sid, storagedriver=aufs debian3: 128.199.59.102:2376 └ Containers: 1 └ Reserved CPUs: 0 / 1 └ Reserved Memory: 0 B / 519.2 MiB └ Labels: executiondriver=native-0.2, kernelversion=3.16.0-4-amd64, operatingsystem=Debian GNU/Linux stretch/sid, storagedriver=aufs Execution Driver: Kernel Version: Operating System: CPUs: 3 Total Memory: 1.521 GiB Name: ID: Http Proxy: Https Proxy: No Proxy:
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

やった！ 私はこの大きな記事をほぼ終了し、クラウドの構築を正常に完了しました。



必要な場合は、Dockerホストのいずれかに個別に接続できます。





しかし、私たちはこれまでずっと行きませんでしたね？ クラウドでNginxのいくつかのインスタンスを実行してみましょう。

 » docker -H tcp://188.166.16.70:8000 --tlsverify=true --tlscacert=certs/ca/ca.pem --tlscert=certs/docker/cert.pem --tlskey=certs/docker/key.pem run -d -p 80:80 --name nginx1 nginx bb49018b697fca975d10a5ec31ad2fed65ed12b3ad8fbd61e64474187d8bc6ed » docker -H tcp://188.166.16.70:8000 --tlsverify=true --tlscacert=certs/ca/ca.pem --tlscert=certs/docker/cert.pem --tlskey=certs/docker/key.pem run -d -p 80:80 --name nginx2 nginx 2bd86ff97c35d431e9db7f0571d65e17893aefd1d18b1b52194c100a22a49937
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

私たちはチェックします：





Nginxのインスタンスをさらに2つ実行してみましょう。

 » docker -H tcp://188.166.16.70:8000 --tlsverify=true --tlscacert=certs/ca/ca.pem --tlscert=certs/docker/cert.pem --tlskey=certs/docker/key.pem run -d -p 80:80 --name nginx3 nginx 622b4e199c700cae663bf2e2f326918f94a0cd016c27dc9ff39f4ec4abf7bdb1 » docker -H tcp://188.166.16.70:8000 --tlsverify=true --tlscacert=certs/ca/ca.pem --tlscert=certs/docker/cert.pem --tlskey=certs/docker/key.pem run -d -p 80:80 --name nginx4 nginx FATA[0001] Error response from daemon: unable to find a node with port 80 available
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

3番目のインスタンスは開始されましたが、4番目のインスタンスは開始されませんでした。FATA[0001]デーモンからのエラー応答：ポート80が使用可能なノードが見つかりません 。 Docker Swarm Schedulerは、空き80番目のポートを持つホストがないことを確認します。



クラスタで現在実行されているコンテナを確認し、Nginxの各コピーが異なるマシンで実行されていることを確認できます。

 » docker -H tcp://188.166.16.70:8000 --tlsverify=true --tlscacert=certs/ca/ca.pem --tlscert=certs/docker/cert.pem --tlskey=certs/docker/key.pem ps 1 ↵ CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 622b4e199c70 nginx:latest "nginx -g 'daemon of 5 minutes ago Up 5 minutes 128.199.59.102:80->80/tcp, 443/tcp debian3/nginx3 2bd86ff97c35 nginx:latest "nginx -g 'daemon of 16 minutes ago Up 16 minutes 188.166.16.70:80->80/tcp, 443/tcp debian1/nginx2 bb49018b697f nginx:latest "nginx -g 'daemon of 17 minutes ago Up 17 minutes 188.166.99.31:80->80/tcp, 443/tcp debian2/nginx1 148eef0bbe02 library/swarm:latest "/swarm manage --tls 2 hours ago Up 2 hours 188.166.16.70:8000->2375/tcp debian1/docker-swarm-manager 3545322d27b7 library/swarm:latest "/swarm join --addr= 2 hours ago Up 2 hours 2375/tcp debian2/docker-swarm faaa78cbedba library/swarm:latest "/swarm join --addr= 2 hours ago Up 2 hours 2375/tcp debian3/docker-swarm 0fee12f6a473 library/swarm:latest "/swarm join --addr= 2 hours ago Up 2 hours 2375/tcp debian1/docker-swarm
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Docker Swarmの可能性はそこで終わりではなく、始まるだけです（ これはこことここで読むことができます ）。



記事の冒頭で書いたように、私の目標は、ツールのリストと共通理解を提供して、何を基に構築するかを理解し、それが達成されることを願っています。



次のパートでは、Service Discoveryとは何か、クラウドで負荷を分散する方法、およびそのためのツールについて説明します。



以上です。 ご清聴ありがとうございました。 あなたの雲と幸運に安定！



Twitterで私をフォローしてください。私はスタートアップでの仕事、私の間違いと正しい決断、Python、そしてWeb開発に関連するすべてについて話しています。



PS 会社で開発者を探しています 。詳細は私のプロフィールにあります 。