Apache CloudStackによるパブリック仮想マシンのレンタルサービスの提供に3年間成功

2014年半ば、OpenQRMプラットフォームからパブリック仮想マシンレンタルサービス（以下VPSサービス）のサービスを移行する必要があると判断しました。 OpenQRM開発者は一般に奇妙なことに開発に近づき、一連のbashスクリプト、PHPコード、および一連の松葉杖から製品を作成したと言わざるを得ません。 一般的に、ユーザーは不満を抱いており、サービスはまあまあで、利益よりも多くの損失をもたらしました。 オペレーターサービスを提供する当社の子会社は小規模な地域企業であり、その時点で大規模なVPSサービスを作成することを検討していなかったことに注意してください。主なタスクは、次の要件を満たす安定した信頼できる製品に切り替えることでした：

• VPSサービスのニーズに合わせた展開と構成の容易さ。
• 使用準備とかなり広いユーザーベース。
• エラー診断の簡素化。
• 便利なユーザーインターフェイス。
• 仮想マシンを管理するためのAPI。

インフラストラクチャのサイズは大きく計画されていませんでした-その時点で、512〜1024 GBのRAM、128〜256コアのXeon E5-2670、10〜20 TBのストレージ、200以上の仮想マシンを使用する予定でした。 パブリックIPv4、IPv6サポートの直接割り当てによる仮想マシンの提供に提供されるサービスについては説明しませんでした。 仮想化テクノロジーとして、KVMに注目しました。 ストレージは従来のNFSv3です。



Apache CloudStack、OpenStack、Eucalyptusのいくつかの製品を比較分析し（マニュアルで展開してみました）、サービスを提供するためにApache CloudStack（以降ACS）を選択しました。 APIのないシステムの使用を検討しませんでした。 選択プロセスを過去にさかのぼって復元することはすでに非常に困難です。ACSを使用して機能するインフラストラクチャを1〜2日で受け取ったことがわかります。 当時は、このクラウドでまだ使用しているACSバージョン4.3でした（インフラストラクチャが安定しているため、さまざまなパーツの追加と交換に適切に対応し、ユーザーのニーズを満たすことができるため、現在のバージョンに更新しても意味がありません）。 執筆時点では、ACS 4.10のリリースが計画されていますが、このリリースには新しい機能を提供する多くの変更は含まれていません。 ここで小さな余談をする必要があります-ACSは多数の異なるサービスを提供し、最終的に1つまたは別のクラウドになります-負荷分散の有無にかかわらず、NATまたは直接IP割り当てを使用して、外部セキュリティゲートウェイを使用して、またはセキュリティサポートなしで、などが可能です。 一般に、同じ展開トポロジ、ハイパーバイザー、リポジトリ、ネットワークトポロジ内では、リリース4.3と4.10の間でほとんど変更がないことが判明する場合がありますが、他のトポロジではこれらの変更はかなりの量になる可能性があります。



最も単純な展開オプションを使用します-特別なネットワークサービスのない共通のアドレススペースを持つパブリッククラウド（これは、セキュリティグループのない基本ゾーンを持つACSと呼ばれます）。 この展開モデルでは、新しいものを発明することは非常に難しいため、ACS 4.10内ではIPv6のサポートのみを想定しています。



実際には、ACSは複雑な仮想サービスを提供するためによく使用され、この方向でより速く開発されています（これらはいわゆるアドバンストゾーンです）。したがって、アドバンストゾーンでは、IPv6のサポートが長い間存在しており、現在は基本ゾーンにのみ表示されています。 クラウドを使用してB2Bの大規模な顧客にサービスを提供する場合、または単に組織で実装するためのプライベートクラウドとして使用する場合は、必要な機能を確認する必要があります。リリース4.3から4.10で、機能セットにいくつかの大きな変更があります。 。 現時点では、このようなサービスを地域のクライアントに提供することはビジネス内ではわかりません（より正確には、購入する準備ができていないか、販売することができません）。したがって、基本ゾーンのACSがすべてです。



それで、3年間インフラストラクチャの運用がどのように進行し、どのような困難に直面しましたか。 ここで説明されているコメントに従えば、クラウドの操作はほとんど痛みを伴わない可能性があります。 したがって、ACSで3年間発見したことを以下に説明します。

在庫状況

それでは、稼働時間から始めましょう。1年以上稼働しているサーバーがあり、ACSが3年間「ピーク」に陥る不安定な瞬間は見つかりませんでした。 圧倒的な数のシステム障害は、電源の問題が原因でした。 運用中に、SLA 99.9％の違反を1回補償しました。

仮想ルーター

ACSの最悪で最も複雑な不透明なコンポーネントは、仮想ルーターです。 その役割は、DHCPサービス、直接および逆DNS、ルーティング、バランシング、静的NAT、VMテンプレートのパスワードとsshキーのサポート（cloud-init）、ユーザーデータを提供することです。 クラウドでは、DHCP、直接および逆DNSゾーン、VMテンプレートのパスワードとsshキーのサポート（cloud-init）、ユーザーデータにのみ使用されます。 このコンポーネントはフォールトトレラントですが、展開ではあまり意味がありません。ACSが事故の場合に自動的に生成し、機能に影響を与えないためです。



自明ではないネットワーク機能を備えた高度なゾーンを使用した場合、仮想ルーターが重要な役割を果たします。 一般に、ACS 4.3の仮想ルーターには多くの問題があり、そのうちのいくつかは4.9まで残っていましたが、最終的には4.10で変更して問題を解決する必要があります。 最初に発見した問題は、DebianのDHCPサーバーの問題です-記載されているバグのためにDHCP情報を提供しません（たとえば、 こちら ）。 さらに、ログのローテーションに問題がありました。これにより、仮想ルーターのファイルシステムがオーバーフローし、機能しなくなりました。 その結果、仮想マシン自体にかなりの数の変更を加え、スクリプトを修正し、他の機能との互換性を壊したかもしれませんが、正常に機能することを確認しました。 現在、クラウドはライフサイクルの最終段階にあるため、変更を加えることが実際的でない場合、1〜2か月ごとにこのコンポーネントを再起動します。 仮想ルーターを備えた数万のVMを備えた大規模なインフラストラクチャには、他の問題が存在することに注意してください 。たとえば、 ここで説明します 。 この問題が4.10で解決されたかどうかの分析はまだ行っていませんが、その解決に対するコミッターの熱意は高いようです（すでにCosmicフォークで確実に解決されています）。 Debian Linuxベースの仮想ルーターの代わりに、Juniper SRX、Citrix NetScalerを使用できることに注意してください。 現在、VyOSを使用して仮想ルーターを実装するイニシアチブがあります（このソリューションを必要とする深刻なプレーヤーはいないため、実装されないと思います）。

仮想化ホストでiptables、ebtablesルールを設定するためのスクリプト

仮想マシンが起動すると、ホストにあるACSエージェントはiptablesおよびebtablesルールを構成し、仮想マシンのネットワーク機能を制限します（MACの変更、外部IPの割り当て、不正なDHCPサーバー）。 不明な理由により、ACS 4.3では、このシナリオは正しく機能しませんでした-ルールが失われ、トラフィックがマシンへの送信を停止しました。 現在のテストクラウドACS 4.9.2では、この問題は解決されており、不便なことはありません。 一般に、Pythonスクリプトを書き直して、正しく動作するようにしました。 この問題に関しては、実験的な展開モードのためにACSを「壊した」という疑いがあり、そのため、このような動作が観察されたため、意識的な構成では問題が現れなかった可能性があります。

単一クラスターの複数のNFSプライマリストレージ

これは単なるヒューリスティックなルールであり、最終的に順守し始めました。 1つのクラスターに対して複数のリポジトリを使用しないでください（クラスターは、複数の仮想化ホストとリポジトリを組み合わせたACS階層エンティティであり、障害ドメインを割り当てる方法です）。 一般に、クラスター内で複数のストレージを使用しましたが、クラウドの安定性はすべてのストレージを1つに結合した後よりも低くなりました。 現在、クラウド全体で、Samsung Pro 850 SSD上のソフトウェアRAID6と定期的なバックアップを備えた大規模なサーバーを使用しています。

ACSユーザーセルフサービスインターフェイス

ACSインターフェースは非常に保守的で管理者向けであり、包括的なVM管理ツールを以前に使用したことがないユーザーを明らかに怖がらせ、その機能とさまざまなタスクの実行方法を説明するのにかなりの作業が必要です。 この意味で、AWS、DO、およびその他の主要なVPSサービスプロバイダーが提供するインターフェイスは、ユーザーに最高のUXを提供します。 その結果、サポートサービスは、電話で非常に長い時間、これまたはその非自明な操作を実行する方法（たとえば、実行中のVMからテンプレートを作成する方法）をユーザーに説明することを強制されます。

結論の代わりに

現時点では、これらはすべて、3年の運用後に重要であり、サービスの品質に大きな影響を与えると特定できる問題です。 もちろん、それらを解決するために管理者の介入を必要とする、その他のそれほど重要ではない問題、インシデント、および状況がありました。



現在、ACS 4.10（基本ゾーン、セキュリティグループ）を使用して、288個のXeon E5-2670コア、1536 GB RAM、40 TB SSDストレージに新しいクラウドを展開することを計画しています。 ユーザーに優れたサービスを提供するために、このような展開専用の代替インターフェイスの作成も開始しました。これは、オープンなCloudStack-UI製品として作成され、現在のクラウドの運用から得た経験を考慮しています。