🤫 🐚 💵 ヘルムの秘密-Kubernetesの欠落部分 🦎 📜 🕌

この記事では、BaseCRM Kubernetesインフラストラクチャでシークレットを管理する方法について説明します。

私たちの目標は、最小限の労力でBaseCRM KubernetesクラスターでHelm Chartsを使用することです。これには、パラメーター値とシークレットの管理のみが含まれます。 HelmまたはKubernetesには公式の秘密管理ツールがないため、修正することにしました。

はじめに

Kubernetesは、Googleによって開発されたプラットフォームであり、クラスター内のコンテナ化されたアプリケーションの展開とスケーリングを自動化するためのコミュニティサポートが充実しています。これは、次世代のPaaSインフラストラクチャを構築するために設計された、ポータブルで信頼性の高い自己修復システムです。

Kubernetesに加えて、Kubernetesの公式パッケージマネージャーであるHelmを使用します。 Charts対応のテンプレートシステムにより、Kubernetesで実行されているさまざまな種類のアプリケーションの管理に役立ちます。

Helm Chartsは、Kubernetesクラスター内の再利用可能なアプリケーションテンプレート（複数のサブチャートを持つ最も複雑なテンプレートを含む）を識別、インストール、および更新するために必要です。 Helm Chartsを使用すると、複数のバージョンのチャートを簡単に管理できるだけでなく、直接的なマニフェストを使用してそれらを停止できます。

Helmを使用すると、複数のクラスターでのKubernetes PaaS展開での再利用に適した複雑なアプリケーションチャートでチャートテンプレートの一部を使用できます。 CI / CDを使用すると、Kubernetesクラスターにアプリケーションスタックを簡単に展開したり、Helmを手動で起動して全世界をゼロから展開したりできます。

どのような問題を解決しようとしていますか？

インフラストラクチャセキュリティには、パスワードとアクセストークンが必要です。同時に、明確なルールに従ってインフラストラクチャに簡単にアクセスし、分散する必要があります。また、変更のロギング、シークレットのバージョン管理、ロギング、さらにはシークレットの値の変更に関する警告でさえ干渉しません。同時に、Kubernetesクラスターを再作成できるようにしたいのですが、変更する必要のない資格情報があります。

複数のコピー、暗号化されていないディスク、シークレットのローテーションで問題が発生する一方で、VPNのGitにシークレットを保持する人もいます。他の人はそれらをクラスタに直接登録し、何かが起こったときにこのデータをクラスタで失います。

一方、Kubernetesを秘密のリポジトリであるHashicorp Vaultサービスと統合することは可能です。この場合、クラスターはKubernetesシークレットの受信時にこのサービスを参照します。

Vaultサービスを使用せずにKubernetesクラスターにアプリケーションをデプロイします。これは、セキュリティ上の理由からKubernetesクラスターの一部であってはなりません。 Vaultインフラストラクチャを必要とせずに、ローカルで作業し、アイドル実行を実行する機能が必要です。

これをどうやってやるの？

Baseの基礎から、私たちはAnsibleを使用しています。また、Helmを使用してKubernetesクラスターを展開することも決定しました（このトピックはおそらく別の記事に値するでしょう）。秘密の管理の問題に直面して、Ansible vaultによく似たhelm-secretsプラグインを思いつきました。当時、私たちはPGPを使用して、秘密ファイル全体を暗号化しました。

それは単純な決定でしたが、最初から最終的なものではないことは明らかでした。すぐに、各YAMLシークレットの個別管理に切り替えることにしました。

まず、要件のリストを作成し、要件を満たすツールを検索しました。 Mozilla SOPSを見つけることができました。この機能は、プラグインの秘密管理システムのバックエンドとして適切でした。

残されたのは、ヘルムシークレットの最初のバージョンを使用して、SOPSバックエンドとHelmフロントエンドの間にシンプルなレイヤーを書くことだけでした。

これはまさに私たちがやったことであり、同時に私たちの仕事の結果を公衆と共有することを決定しました。 helm-secretsプラグインのリリースをご覧ください。

以下にその機能のリストを示します（ここにリストされているよりもさらに多くの機能があります）。

helmプラグインとの簡単な統合とインストール。
Helm YAML構造の暗号化サポート。
個々の値の暗号化-これにより、暗号化されたファイルでもdiffを使用できます。
git diffの場合、オンザフライ復号化が提供されます。
helm install / upgrade / rollbackコマンドの場合、helm-wrapperコマンドはオンザフライの復号化とクリーンアップを提供します。
PGPやAWS KMSなどの複数キー管理ソリューションは、同じシークレットファイルで同時に使用できます。
暗号化されたファイルの場合、単純なキーの追加/削除がサポートされています。
AWS KMSキーのアクセス許可管理システムとの連携は、暗号化を必要とせずにサポートされます。
.sops.yamlファイルの再帰的検索を使用して、秘密ファイルを保存するためにディレクトリツリーをパーティション分割します。
暗号化されたファイル構造から個々の要素を抽出します。
ファイルの一部の暗号化。

システムはCI / CDのフレームワーク内で機能し、Gitリポジトリの特定のサブディレクトリへの隔離されたアクセスを持つ複数の開発チームにサービスを提供します。異なるKMSキーとPGPマスターキーを予備として使用して、秘密を暗号化します。

タスクの実行を自動化および高速化するために、Makefileは内部チャートリポジトリで使用されます。

仕組み

ヘルムのインストール

ヘルムプロジェクトページの指示に従います。

helm-secretsプラグインのインストール

helm plugin install https://github.com/futuresimple/helm-secrets

使用例

helm-secretsリポジトリは、このプラグインの使用例と、ヘルムチャート値を保存するための対応するディレクトリ構造を提供します。 kubernetesチャートも同様の構造をしています。

この例では、helm-secretsリポジトリーのtest.sh

ファイルが使用されます。

 example/helm_vars/ ├── .sops.yaml ├── projectX │ ├── .sops.yaml │ ├── production │ │ └── us-east-1 │ │ └── java-app │ │ ├── secrets.yaml │ │ └── value.yaml │ └── sandbox │ └── us-east-1 │ └── java-app │ ├── secrets.yaml │ └── value.yaml ├── projectY │ ├── .sops.yaml │ ├── production │ │ └── us-east-1 │ │ └── java-app │ │ ├── secrets.yaml │ │ └── value.yaml │ └── sandbox │ └── us-east-1 │ └── java-app │ ├── secrets.yaml │ └── value.yaml ├── secrets.yaml └── values.yaml

この例を見てみましょう。

2つのPGPキーがあります（KMSキーも使用できます）。
- projectx用。
- プロジェクティ用の別の。
他のすべての秘密はプロジェクト内で管理され、プロジェクトごとに1つのキーが使用されます。
キーは互いに分離されており、これらのキーのいずれかによって復号化できるのは、helm_varsのルートにあるグローバルsecrets.yamlファイルのみです。
暗号化/復号化の再帰深度ルールはすべて、.sops.yamlファイルにあります。

暗号化、復号化など

暗号化前の例/ helm_vars / secrets.yaml

 global_secret: global_bar

暗号化：

 helm-wrapper secrets enc example/helm_vars/secrets.yaml

その結果、暗号化されていないキーと暗号化された値を持つファイルを取得します。

キーを含むセクションの後には、秘密の構造を暗号化または復号化するために必要なsopsデータがあります。

sopsバージョン、lastmodifiedまたはunencrypted_suffixなどのメタデータもあります。 Mozilla SOPSプロジェクトのWebサイトで sopsファイル形式について読むことができます。

 global_secret: ENC[AES256_GCM,data:pTyPdC6YA+z84Q==,iv:aF5hb9CS8Au0B3RWADPtP8fXYzYakU7JJ8ZxzJgHRF0=,tag:c3pCyOf0NpQU7VPL/72XPg==,type:str] sops: .… …. …. unencrypted_suffix: _unencrypted version: 2.0.9

今復号化：

 helm-wrapper secrets dec example/helm_vars/secrets.yaml

そして結果：

 global_secret: global_bar

これで、たとえば、複数の秘密ファイルでキーを検索する場合など、復号化せずにそのようなファイルを操作できます。 git diff configを使用してそれらを即座に復号化することもできます。これにより、特にこの機能をサポートしていないアプリケーションと比較して、作業がさらに快適になります。

また、より高度なAWS KMSのおかげで、シークレットのアクセス許可をより柔軟に管理できます。

さらに、単純なプラグインコマンドを使用してシークレットを表示および編集すると、毎日の作業が簡単になります。

 helm-wrapper secrets view example/helm_vars/secrets.yaml

復号化後、秘密ファイルは標準出力に表示されます。

 helm-wrapper secrets edit example/helm_vars/secrets.yaml

edit

コマンドで、復号化されたファイルがエディターで開き、変更が暗号化された形式で自動的に保存されます。

これらの機能は、ほとんどすべてのシナリオで暗号化されたデータの処理を大幅に促進します。

ヘルムの例

Kubernetesクラスターに何かをデプロイしましょう。

プロセスを簡素化し、より透明にするために、ヘルムラッパーを作成しました。このヘルム用のbashで作成されたバインディングは、指定されたすべてのシークレットを自動的に復号化し、復号化されたデータを使用してヘルムを使用した展開手順を完了します。エラーが発生した場合、または手順が正常に完了した場合、シークレットを含むすべての一時データが削除されます。

helloworldのようなアプリケーションの実際の例：

 AWS_PROFILE=production helm-secrets upgrade --install --timeout 600 --wait helloworld stable/java-app --kube-context=production --namespace=projectx --set global.app_version=bff8fc4 -f helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/secrets.yaml -f helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/values.yaml -f helm_vars/secrets.yaml -f helm_vars/values.yaml >>>>>> Decrypt Decrypting helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/secrets.yaml >>>>>> Decrypt Decrypting helm_vars/secrets.yaml Release "helloworld" has been upgraded. Happy Helming! LAST DEPLOYED: Fri May 5 13:27:01 2017 NAMESPACE: projectx STATUS: DEPLOYED RESOURCES: ==> extensions/v1beta1/Deployment NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE helloworld 3 3 3 2 1h ==> v1/Secret NAME TYPE DATA AGE helloworld Opaque 10 1h ==> v1/ConfigMap NAME DATA AGE helloworld 2 1h ==> v1/Service NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE helloworld 100.65.221.245 8080/TCP 1h NOTES: Deploy success helloworld-bff8fc4 in namespace projectx >>>>>> Cleanup helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/secrets.yaml.dec helm_vars/secrets.yaml.dec

リストからわかるように、CI側で実行してアプリケーションをデプロイする特別なチームがあります。この例では、Javaアプリケーション用の内部ユニバーサルチャートを使用します。これには、構成マップ、シークレット、サービス、およびデプロイメントのテンプレートが含まれています。

これはすべて、helmコマンドの-fオプションを使用して指定されたファイルの値から生成されます。暗号化されたシークレットがそのようなファイルで見つかった場合、スクリプトはその場で暗号化を解除し、ヘルムは何も認識しません。

AWS KMSを使用する場合、AWS_PROFILEという名前を指定する必要があります。

エラーが発生した場合、クリーニングが実行されます。

 AWS_PROFILE=production helm-wrapper upgrade --install --timeout 600 --wait helloworld stable/java-app --kube-context=wrongcontext --namespace=projectx --set global.app_version=bff8fc4 -f helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/secrets.yaml -f helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/values.yaml -f helm_vars/secrets.yaml -f helm_vars/values.yaml >>>>>> Decrypt Decrypting helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/secrets.yaml >>>>>> Decrypt Decrypting helm_vars/secrets.yaml Error: could not get kubernetes config for context 'wrongcontext': context "wrongcontext" does not exist >>>>>> Cleanup helm_vars/projectx/sandbox/us-east-1/java-app/helloworld/secrets.yaml.dec helm_vars/secrets.yaml.dec

このアプローチは、秘密を実際に使用する場合、最高レベルのセキュリティを維持しながら労力を最小限に抑えます。

gitで安全に使用する

シークレットを復号化した場合（手動で復号化した場合）、まだ2つのレベルのセキュリティがあります：.gitignoreを使用した復号化ファイルの除外と、コミットファイルがSOPSを使用して暗号化されているかどうかを確認するフックの追加

これはすべて、ヘルムシークレットドキュメントにも含まれており、CI / CDプロセスによって検証されます。

おわりに

Helm-secretsは、SOPSバックエンドの単なるラッパーであり、このプラグインのコマンドは他のツールに置き換えることができます。

また、このプラグインを使用して、公開gitリポジトリを介してシークレットを配布し、Kubernetesに統合されたVaultingサービスをシークレットの処理プロセスに追加して、ソリューションを完成させます。

小規模なインフラストラクチャの場合、helm-secretsプラグインで十分です。ぜひお楽しみください。

プロジェクトに機能を追加するか、単に議論する場合は、 https：//github.com/futuresimple/helm-secretsにアクセスしてください。

参照：

原文： HELM SECRETS-A MISSING PIECE IN KUBERNETES 。

ヘルムの秘密-Kubernetesの欠落部分