ビッグデータの2回目の請求、マーケットプレイス、サンドボックス：クラウドの環境をテストするにはどうすればよいですか？

ソフトウェア開発会社には、実稼働環境に近いテスト環境が必要です。 これは、リリースサイクルが長いボックス版ソフトウェアに特に当てはまります。

テスト環境の構築に関する多くの問題は、クラウドに配置することで解決されます。 クラウドベースのMail.Ruクラウドソリューション （MCS）プラットフォームでのテストオプションについて説明します。 しかし、私たちが言うことの一部はどのクラウドにも当てはまります。

テスト環境のセットアップの難しさ

クラウド内のテスト環境の機能について説明する前に、ソフトウェアのテストプロセスで企業が直面する困難について説明します。

異なるGitブランチ-異なる環境

ソフトウェア開発に関わるほとんどの企業は、バージョン管理システムを使用しています。 これらの中で最も一般的なのはGitで 、87％の開発者が使用しています（RhodeCode はTwitterで投票しています ）。



Gitのベストプラクティスは、機能ブランチと呼ばれるもので、新しい機能ごとに個別のブランチがリポジトリに割り当てられます。 このアプローチにより、開発者は「ひじを押す」ことなく、変更をより独立させることができますが、個々の機能をテストするために多くの専用環境を展開する必要があります。

コンピューティングリソースの十分に活用されていない

物理サーバーの25％はゾンビであり、電力を消費しますが、何の役にも立ちません。 また、多くのIT専門家は 、自社にインストールされているサーバーの15〜30％が何をしているのか言うことができません 。



だからここに。 ここでのテスト環境用のオンプレミスハードウェアは、他のハードウェアと何ら変わりはなく、原則として適切に処理されていません。 それ以外の場合はできません。 サーバー機器のフリートを購入すると、消費量とテスト環境の数が増えた場合に、リソースによって再割り当てされます。 その結果、テスト環境は「万が一に備えて」夜間および週末にアイドル状態になり、消費電力と冷却の費用を支払うだけです。

プライベートクラウドでの仮想化の単純なアプリケーションでは、柔軟性のない拡張性や機器の十分に活用されていない問題を解決できません。

難易度設定

テスト環境と開発環境は、ほんの数台の仮想マシン以上のものです。 通常、アプリケーションサーバー、データベースサーバー、メッセージキューサーバー、キャッシュサーバーが含まれます。



開発者が独自にこのようなインフラストラクチャを作成および構成することは困難です。適切な専門知識がない場合、これには数日かかる場合があります。 経験豊富な管理者にとっては、これは簡単ですが、一般的には面白くないです。 さらに、官僚主義が重なっており、テスト環境を作成するためにリソースを割り当てるプロセスには時間がかかる場合があります。



別の問題は、フルタイムのシステム管理者が特定のテスト環境を展開する専門知識を持たないことが多く、会社が外部から高価なコンサルタントを引き付けることを余儀なくされることです。 例として、Hadoop、Spark、HDFS、またはAirflowに基づくビッグデータのサンドボックスがあります。 このような環境の展開には、BigData分野の資格を持つスペシャリストから少なくとも1週間、通常のシステム管理者から少なくとも1か月かかります。 Kubernetesクラスターに関する同様のストーリー：実稼働構成に近いテストクラスターの構築には、少なくとも数日かかります。



その結果、会社はコンサルタントを引き付けるために第三者に頼らざるを得ません。 ただし、 ビッグデータの専門家を見つけることは非常に難しく 、そのようなシステムの管理者はほとんど指先で数えることができます。 はい、DevOpsエンジニアはテスト環境を展開するすべてのタスクを処理できますが、すべての企業がそれを持っているわけではありません。 実際、2016年、求人検索サイトIndeed.com は 、企業が他のどの専門家よりも長い期間DevOpsエンジニアを探していると指摘しました。

クラウドがこれらの問題を解決する方法

消費されたリソースの2回目のみの請求と即時のスケーリング

クラウドサービスの最も明らかなプラスは、任意の期間（1つのサーバーまたはクラスター全体）のクラウドインフラストラクチャをレンタルできることです。 Mail.Ru Cloud Solutions （MCS）プラットフォームでは、課金は1秒あたりです。実際に使用されたコンピューティングリソースに対してのみ支払う必要があります。



ベアメタル、プライベートクラウド、およびほとんどのロシアのクラウドプロバイダーとは異なり、MCSは停止した仮想マシン（RAM、CPU）に対してリソースを請求しません。使用済みのディスク領域のみを支払う必要があります。 たとえば、20個のCPU、40 GBのRAM、1 TBのHDDのテスト構成のコストは24,800₽/月で、ディスクスペースのコストは7,000₽/月です。 たとえば、自動化ツールを使用してそのような環境を21:00に停止し、9：00に展開する場合、15 900 payを支払うことになります（24時間レンタルの場合の1.5倍）。



私たちの経験では、オンプレミスインフラストラクチャでのテストと比較して、クラウドでのテストによる総節約額は60〜70％に達します。



クラウド内のリソースを即座に増減できるため、適切なタイミングで環境を迅速に展開し、リースされた容量をほぼ100％活用できます。 テスト環境の展開時間は、オンプレミスに比べて数日、または数か月も短縮されます。

開発者自身が割り当てたリソース

開発者は、セルフサービスポータルを使用して、管理者に連絡することなく、クラウドでテスト環境を構成し、それらにリソースを割り当てることができます。 この単純なアクションでさえ、製品の市場投入までの時間を数週間短縮できます。

テスト環境を自動的に作成および破棄するためのAPI

クラウドを使用すると、 ジャストインタイムモデルで短命の環境を作成できます。 REST APIとCLI を使用して、テスト環境を一括でデプロイし、停止、更新、削除できます。 このようにして、テスト環境のライフサイクル全体を構成し、数百の環境を健全に保つことができます。 インスタントクラウドスケーリングと秒単位の課金により、柔軟性と運用コストの削減が実現します。





クラウドテスト環境のもう1つの利点は、CI / CDツールとの統合です。 これらのソリューション（Jenkinsなど）には、ビルド中にMCSクラウドにテスト環境を動的に作成できるプラグインが含まれています。 機能テストまたは回帰テストを実行する直前にテスト環境をアクティブ化できます。 テストが成功した場合、何かが間違っていれば、環境は自動的に崩壊します。開発者が回帰の理由を再接続して理解できるように、環境は保存されます。

テスト環境用のプレハブビルディングブロック

テスト環境をMail.Ru Cloud Solutionsプラットフォームにすばやく展開

PaaSは、たとえば、クラウド内のKubernetesコンテナーおよびデータベースを支援します。 Kubernetesは、数百のアプリケーションを含むサービスカタログを開発しています。



カタログから、ActiveMQ、RabbitMQ、Kafkaクラスター、ログ監視および分析システム、さまざまなCMSおよびデータベースを数分で展開できます。 カスタマイズされたアプリケーションテンプレートのみを含む一般的なDocker Hubとは異なり、 Kubernetes Service Catalogには統合を簡素化する高レベルのテンプレートがあります。 テンプレートから、事前に構成されたアプリケーションコンポーネント（メッセージキュー、サービス検出、データベース、アプリケーションサーバー、CI / CDツール、キャッシュサーバー、ブロックチェーンツールなど）をデプロイできます。デプロイされる仮想マシンを構成する必要はありません。





Kubeappsマーケットプレイスで利用可能なアプリケーション。

ビッグデータのサンドボックス

MCSでは、ビッグデータアプリケーション用のテスト環境を展開できます。 PaaSサービスBig Dataを使用して、Hadoop、Spark、HBase、およびAirflowのクラスターを作成できます。 展開プロセスは完全に自動化されており、自己構成に比べて数週間の時間を節約できます。



ここでの追加の利点は、秒単位の請求とインスタントスケーリングです。 拡張可能なテスト環境を短時間で作成できるため、分析ITインフラストラクチャを維持するための企業のコストが削減されます。 節約は、オンプレミスと比較して80％に達する可能性があります。

Infrastructure-as-a-Codeとの統合

VMWareベースの独自のソリューションとは異なり、MCSクラウドプラットフォームは、OpenStackオープンソフトウェアに基づいて構築されており、Terraform、Ansible、Puppet、Chefなどのさまざまなツールと完全に統合されています。



Terraformは、Infrastructure-as-Code（IaC）の精神に基づいて構築されており、インフラストラクチャをセットアップするプロセスがコードを記述し、開発者に馴染みのあるものとして配置されます。 TerraformはVMwareと完全に統合されていないため、プライベートクラウドでの使用は困難です。 MCSクラウドでは、企業はTerraformの既製の例を使用できます（これらはGitHubリポジトリにあります ）。





Terraformを使用してテスト環境を作成します。

私を覚えて

• クラウドでのテストはIT業界で自然な慣行になりつつあり、すでに州立大学から大規模IT企業まで、さまざまな組織で適用されています。
• クラウドでテスト環境を構築すると、APIを介した即時のスケーラビリティと自動化の可能性により、費用を節約できます。これにより、レンタルしたインフラストラクチャをほぼ100％使用できます。
• クラウドプラットフォームの追加サービスとKuberntetesコンテナーのテンプレートは、構成する必要のない既製のビルディングブロックです。
• ビッグデータ処理ツールなど、構成が困難なサービスは、事前に構成されたテンプレートとしてクラウドで簡単にレンタルできます。 設定に飛び込むことなく、数週間節約できます。
• MCSはOpenStack上に構築され、Terraformおよびその他のDevOpsツールと完全に統合されています。

これらのツールはすべて、Mail.Ru Cloud Solutionsプラットフォームで無料で試すことができます。 11月末まで、 このリンクをILOVEHABRプロモーションコードとともに使用して、1000ルーブルをアカウントに追加し、test-test-testすることができます。