AWS Cloud for DevExtremeのドローンCI

この記事では、 DevExtremeリポジトリ用にAmazon AWSとの継続的な統合を設定する方法について説明します。

数か月間、 GitHubのオープンリポジトリで DevExtremeを開発しています 。 最初から私たちとの継続的な統合は、CIプラットフォーム（Travis、Shippableなど）に依存しないようにDockerに基づいて構築されましたが、リポジトリの公開以来、目立ったものではなく、使い慣れたTravis CIを使用してテストを実行しました。 GitHubで自動テストの「実行」を行うのはごく一部であり、いわば、最初の行と、フォークおよびプルリクエストテクニックに対するTravisの機能で十分でした。

時間が経つにつれて、同僚はプルリクエストのキューについて不満を言い始めました（しかし、彼らは苦しみました）。 10月末にTravisがDocker Hubとの接続を失った 10月の終わりに何かをする時が来たという考えは、 DevExtreme 17.2のベータリリースの準備をしていました。

企業のAWSアカウントで実験するためのゴーサインを受け取ったので、私はDroneプロジェクトに2回目のチャンスを与えることにしました。 なぜ2番目ですか？ 「GitHubの出口で実行する」プロセスですでに試してみたからです。 その後、私たちのリポジトリはプライベートであり、ドローンは今日よりもさらに生であり、一時的な膝当てインフラストラクチャ、より正確にはジョブをアップグレードした後に残った古いワークステーションでそれを起動しました（IT部門はそれらをピックアップすることを約束しましたが、急いで）

その結果、美しいアドレスhttps://devextreme-ci.devexpress.com/DevExpress/DevExtremeで利用可能なスポットインスタンスのエラスティックCIインフラストラクチャを上げることができました。

開発内容を公開しましたが、その過程で得た経験を共有したいと思います。

ドローンについての2つの言葉

ドローン自体はHabréでよく説明されています 。 これは、下からのDocker、上からのDocker、およびDocker Dockerが駆動するGoの継続的な統合のシステムです。 Radio-Tの第570号で 、Umputoon（有名なDockerの愛好家）は、ドローンについて次のように述べています。

Droneアーキテクチャは、CIプラットフォームに典型的なものです。

• サーバーがあります。 Webベースのインターフェイスを提供し、Webフックをリッスンし、タスクキューを管理します。
• 実際に統合が行われるサーバーを見つけるエージェントを任意の数実行できます。
• Dockerはどこにでもあります。 これには長所と短所があります。 たとえば、ドローンとDockerのジャンクションで熊手を踏むと 、楽しい娯楽が保証されます。

AWS内部

すべては、 ドローンサーバーが実行されている小さなt2.microインスタンスで始まりました。

また、エージェントの場合、 自動スケーリンググループが確立されました（以降、 ASGと呼びます）。 私は、彼らのために仕事があったときだけ、エージェントを維持したかった。 これは、最近EC2の1秒あたりの関税率が高いという事実に照らして特に魅力的です 。

スケーラー

「ASGキャパシティの管理方法」という質問が生じたときに、興味深いことが始まりました。 標準の「プロセッサ負荷の場合に追加」手段は適切ではありません。 Droneキューを監視し、キューが大きくなったらエージェントを追加し、キューが解決したらエージェントを静かにオフにする必要があります。

このため、ユーティリティのコードネームはscalerです。 .NET Coreで（このような機会がある場合、C＃に抵抗できません）。

スケーラーは、次の単純なループを実装します。

• Drone REST APIを介してキューを読み取ります。
• 実行中+保留中の合計が実行中のエージェント数に密度係数「エージェントあたりのジョブ」を乗じた値を超える場合、AWS REST APIを使用して容量を増やします（特定の制限まで）。
• その逆の場合、ソフト終了のリクエストを最も古いエージェントに送信します。

主なニュアンスは、容量を取得して削減することはできないということです。 これが行われると、エージェントインスタンスはまだビジー状態の間に返済される可能性があり、これはいわゆるゾンビビルドの形成まで否定的な結果につながります 。

この点で、ASGはScale Inインスタンスからの保護を起動し、容量が明らかに減少することはありません。 エージェントが退職の候補になるとすぐに、スケーラーは彼をグループから除外し（デタッチ）、 SSMを介してこのコマンドシーケンスを送信します 。 SIGINT



シグナルは、新しいタスクを引き受けてはならず、既存のタスクの完了を待ってから終了することをエージェントに理解させます。 したがって、エージェントは脇に置き、平和的に彼の業務を完了し、電源を切ります。 グループの例外は、容量削減フラグが設定された状態で行われます。これにより、キューがいっぱいになり始めると、ASGはすぐに新しいエージェントを追加する準備ができます。

ASGの容量を管理することに加えて、スケーラーは追加のチェックと松葉杖でハングアップします。

• Stopped状態のエージェントにTerminateを送信します 。
• それは何らかの理由で疑わしく長生きするエージェントを消します。
• それは長い間到達可能性チェックに達していないエージェントを消します。
• ドローン側のゾンビの形成を監視し、それらを殺します （最も楽しい場所です！）
• エージェントが少なくとも数分間作業できるようにします。 これは、対応するスポットリクエストが「フルフィルド」状態に移行するために必要です。 侵入の結果、ASGはインスタンスが既に実行されているスポットリクエストをキャンセルしようとすることがありますが、ステータスはまだ更新されていません。

インスタンス：オンデマンドvs. スポット

最初は、エージェントはオンデマンドのc4.xlargeインスタンスを使用していました。 それぞれに最大4つのエージェントがあります（1コアあたり1エージェントの割合）。

システムが多かれ少なかれ動き始めるとすぐに、「スポットインスタンスのリクエスト」チェックボックスをオンにして設定を試しました。 それはうまくいくことが判明した。 スポットインスタンスは常に存在し、「テイクアウェイ」されるインスタンスを見たことはありません（スポット価格=オンデマンド価格）。

それらの動作は引き続き観察する必要があり、場合によっては、スポットでのASGとオンデマンドでのASGの自動切り替えにねじ込まれます。

キャッシュ

継続的な統合では、同じDockerイメージとNPM / NuGetパッケージを繰り返しダウンロードします。 外部トラフィックを減らし、イメージおよびパッケージレジストリにアクセスできない期間を軽減するために、S3でキャッシングを実装しました。

Drone用の既製のドローン-s3-cacheプラグインがありますが、十分な設定がなかったため、私はそれを使用しませんでした。 ディレクトリnode_modulesおよびdotnet_packagesをダウンロード/復元するには、単純なdrone-cache.shスクリプトを使用します。

S3バケット「devextreme-ci-cache」は、VPC内から匿名で書き込むことができるように構成されています。 これは、秘密鍵に煩わされる必要がないため便利です。 ただし、この構成では、アーカイブを匿名で読むことができます。 パッケージキャッシュについては、これは恐ろしいことではありませんが、VPCによって読み取りが制限されるようにポリシーを構成することはできませんでしたが、同時に許可されたユーザーから権利を奪いません。 同様の状況については、StackOverflowでこことここで説明します 。 このセットアップに関するアイデアや経験がある場合は、コメントでお知らせください！

キャッシュ内のアーカイブは、フォークブランチによって区別されます。 設定された有効期限ライフサイクルルールのおかげで、期限切れのオブジェクトはS3から自動的に削除されます。

Dockerイメージをキャッシュするために、 レジストリはDroneサーバーの横にあるプルスルーキャッシュモードで動作し、S3にBLOBを格納します（ 構成 ）。 レジストリはエージェントのセキュリティグループ内でのみ使用でき、エージェント自体はこのミラーを使用するように構成されています 。 非アクティブな画像/レイヤーは、7日後に自動的にキャッシュから削除されます。

Https

システムが実行可能であることが明らかになったとき、ドローンサーバーはnginxの後ろに隠れていました 。 ウェブサイトチームは、Elastic IP Droneサーバーをアタッチしたサブドメイン「devextreme-ci.devexpress.com」を親切に提供してくれました。 サブドメインの場合、 自動更新を使用してLet's Encryptを使用してHTTPSを構成しました。

小計

Droneは、GitHubのDevExtremeリポジトリのAWSクラウドに4週間あります。 チームは幸せです。 「ドローンはどうですか？」という質問に対して 基本的に、彼らは「火事！速い、口ひげを生やしたのではない」と言います（おおよそ口ひげ=トラビス）。 もちろん、AWSのリソースはTravis CIとは異なり、無料ではありません。新しいCIのコストはまだわかりませんが、[ TODOはこのアミューズメントを正当化するために何を書くかを考えています ]。

真剣に、真実は一緒に働くのがより楽しくなりました。 急いでプルリクエストが流れているとき、CIキューを待機している間、私たちはもう座っていません（信じられません）。 同時に、AWSリソースのコストは使用の強度に直接依存します。 非アクティブな期間（たとえば、年末年始など）には、1つのt2.microインスタンスのみが実行され、エージェントがオフになり、キャッシュがクリアされます。 一言で言えば、私たちは自分たちの利益のためにクラウド技術を使用していると信じたいです。

ドローンを試しましたか？ あなたの印象は？ クラウドに継続的に統合するために、それまたは他のプラットフォームを展開しましたか？ コメントで教えてください！