MoleculeとJenkinsを使用したAnsibleロールのテストと継続的統合

Ansibleがプラクティスに入った後、Ansibleのコードの量、特にロールが非常に急速に増加し始めました。 バッキング、フロント、プロキシ、データベース、監視、ログの収集などの役割など-それらは多数あります。 特定のプロジェクトに固有の役割もありますが、多くは共通の問題を解決し、同じソリューションを2回作成しないようにプロジェクトチーム間で共有したいと考えています。



多くのコードに加えて、古くからありふれた問題が現れます：変化への恐怖。 人々は、「エイリアン」の役割に変更を加えたくないので、それを台無しにすることを恐れて、代わりに独自のコピーを作成します。 導入された問題が長すぎて検出される恐れがあるため、コードが現在開発の焦点にない場合、コードのリファクタリングは実行されません。 結論：悪いコードは雪だるま式のように成長します。



おなじみの問題には、自動テストとCIというおなじみの解決策があります。 しかし、Ansibleはあまりにも具体的なテクノロジーです。 手動でロールを仮想マシンにロールし、何も「落ちていない」ことを確認することを除いて、Ansibleコードをチェックするために何かをすることは可能ですか？ Moleculeプロジェクトの存在を知るまで、それは不可能だと思いました。



Moleculeを使用すると、Ansible-codeの「脆弱性」に関するすべての問題が完全に排除されます。 テスト駆動開発の支持者であれば、Moleculeを使用して、「テストを書いた-テストに失敗した-コードを書いた-テストに合格した」というサイクルでAnsibleを開発できます。 そうでない場合は、既存のコードに単に「Moleculeをねじ込む」だけで、単一のテストを作成しなくても、コーディング標準への準拠、トリガー、べき等性に関する役割をチェックするシステムを既に取得しています。



Moleculeについて知ったときに最初に出た質問は、テストプロセスでどこで役割を果たしますか？ 答えは可能です。 最も単純なのは、MoleculeマシンでDockerが使用可能な場合、ロールはDockerコンテナーにデプロイされ、テスト実行中に破棄されることです。 ただし、Vagrant、Azure、EC2、GCEなど、Moleculeの他のドライバーを使用できます。



今-順番にすべてについて。

設置

Ansibleと同様に、MoleculeはPythonで記述され、チームによって配置されます

pip install molecule
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

微妙な違いがあります：2018年3月の時点で、暗号化とpyopensslパッケージをpipで手動で更新する必要がありました。そうしないと、Moleculeの起動とパフォーマンスに問題がありました。 Dockerドライバー（推奨）を使用する場合は、Dockerとdocker-py pipパッケージもインストールする必要があります。



開発用マシンとして、WindowsとCygwinを使用します。Ansibleはこのマシンで正常に動作します。 残念ながら、Cygwin、Windows Docker、Moleculeと友達になれなかったため、LinuxでのみMoleculeを使用しています。

プロジェクトの初期化

ロールがoldroleと呼ばれる場合、Moleculeをロールに追加するには、コマンドを実行する必要があります

 molecule init scenario -r oldrole
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

完全に新しい役割を作成するには、完了する必要があります

 molecule init role -r newrole
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらのコマンドはフォルダーとファイルを作成します。最も興味深いのは分子フォルダーです。 実際、私はこのコマンドを一度だけ使用したようです。 次に、個々の設定とテストを転送するために、ファイル構造を他の役割に手動でコピーしました。

行こう

初期化後、プロジェクトのルートでコマンドを実行します

 molecule test
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、最初のリリースではありませんが、Moleculeがあなたの役割で何をしようとしているか、どこで問題が発生するかがすぐにわかります。 コンソールへの出力には、計画された実行スクリプトが含まれます。

 --> Test matrix └── default ├── lint ├── destroy ├── dependency ├── syntax ├── create ├── prepare ├── converge ├── idempotence ├── side_effect ├── verify └── destroy
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ご覧のとおり、Moleculeは、静的コード分析からその実行結果に基づくインフラストラクチャテストの実行まで、ロールを包括的にチェックするための既製のテンプレートスクリプトを提供しています。 もちろん、設定の助けを借りて、このスクリプトを変更したり、特定の手順のみを実行したりできます。



実行結果が「失敗」し、コンソールに十分な情報がない場合は、実行してみてください

 molecule --debug test
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

-これにより、結論がより詳細になります。



テストをデバッグする過程で、テスト環境にログインして何が間違っているのかを確認したい場合があります。 これを行うには、コマンドを実行すると便利です

 molecule test --destroy=never
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

-したがって、テスト環境は削除されません。Dockerを使用している場合、通常どおりログインできます。

 docker exec -it instance /bin/bash
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

静的解析

「Ay-yy-yy、YAMLファイルの先頭に3つのマイナス記号を付けるのを忘れました！ そして、ここでは空の行にスペースがあります！」最初のステップでそのようなメッセージのほとんどがあります。 幸いなことに、それらの多くは警告であり、スキャン全体を停止しません。 しかし、もっと重要な手がかりがあります。 たとえば、この段階で、システムは、コマンドモジュールを回避できる場合にシェルモジュールを誤って使用していることを示したり、特別なget_urlモジュールを使用できる場合にwgetコマンドを使用したりする場合があります。 また、テストがある場合（およびPythonでテストを作成する必要がある場合）、システムはPythonコードに対してflake8静的アナライザーを実行します。

役割の開始

静的分析の段階で重要なコメントが見つからなかった場合、システムはノードを作成し、Ansible自体を使用してロールを起動します。 彼女がこれを行う方法は、 molecule/default/molecule.yml



ファイルで定義されています。 私の場合、次のようになります。

 --- dependency: name: galaxy options: role-file: requirements.yml driver: name: docker lint: name: yamllint platforms: - name: instance image: solita/ubuntu-systemd:latest command: /sbin/init privileged: True volumes: - "/sys/fs/cgroup:/sys/fs/cgroup:rw" provisioner: name: ansible lint: name: ansible-lint scenario: name: default verifier: name: testinfra lint: name: flake8
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テスト済みの役割を他の役割を事前にインストールしないとインストールできない場合、分子システムに必要な依存関係をダウンロードするように依頼する必要があります。 これは、依存関係とrequirements.yml



ファイルの設定を通じて行われます（このファイルの詳細については、Galaxyヘルプを参照してください ）。



driver



セクションで、使用するドライバーを選択します（可能なオプションについては、 こちらを参照してください ）。



platforms



セクションで、ロールをロールするプラットフォームを選択します。 dockerの場合、基本的なdockerコンテナーを指定します。ここでは、上記の例に特に注意を払ってください。 役割がsystemdに基づいてサービスを作成する場合、dockerコンテナーでそれらを実行できるようにするには、例に示すように特別なsolita / ubuntu-systemdイメージを使用し、具体的に構成する必要があります。 異なるプラットフォーム（たとえば、異なるLinuxディストリビューション）で役割をテストする場合は、ここでいくつかの値を指定できます。



構成ファイルの他のセクションの目的は、 ドキュメントに記載されています （たとえば、ここでは、実行マトリックスを再定義し、静的アナライザーを構成できます）。



編集する必要があると思われる次のファイルはplaybook.yml



です。 これは、ノードでロールをロールするために実行される通常のAnsibleプレイブックであり、ロールの1つでは次のようになります。

 --- - name: Converge hosts: all roles: - role: ansiblebit.oracle-java - role: fluteansible tasks: - name: mkdir for score file: dest: /var/opt/flute/score state: directory mode: "0775" group: flute - name: copy flute config file copy: src: flute.xml dest: opt/flute/flute.xml mode: "0644" - name: start flute service service: name: flute state: started
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここで処方する

1. ロールのインストールに先行するすべてのもの（この場合、ansiblebit.oracle-javaロール。requirements.ymlでも指定されているため、自動的にインストールされます）。
2. 実際にテストされたロール（この場合、 fluteansible
   
   
   
   ）をインストールします。
3. さらにチェックするために必要な追加の手順（この場合、構成ファイルをコピーし、サービスを実行して、インフラストラクチャテストでサービスが実行され、正しく実行されていることを確認できるようにします）。

「収束」と「べき等性」の手順

ステップ収束分子では、クリーンなテストノードでplaybook.yml



を実行するだけです。



次に、 --diff



ステップで、分子は--diff



オプション（詳細についてはAnsibleのドキュメントを参照）を使用して同じ--diff



「 --diff



」を実行し、再起動したときに同じ役割が実行されないようにします何かが変わる-結局、システムはすでに望ましい状態にあります。



原則として、Ansible-codeのべき等性は自動的に提供されますが、場合によっては（主にシェルコマンドの場合）、コマンドを繰り返さない条件を個別に指定する必要があります。

ステップを確認する

ここで最も興味深いことが起こっています。 デフォルトでは、Moleculeはtestinfraシステムを使用して、ロールをロールした後にテストノードの現在の状態をチェックします。 テストはPythonで記述され、 molecule/default/tests/test_default.py



。 テストプロシージャ名は " test_



"で始まる必要があります。



システムの状態に関して確認したいほぼすべてのことを、testinfraの数行のコードで簡単に行うことができます。 たとえば、いくつかのコマンドを起動できることを確認したい場合、その実行結果とコンソールへの出力を確認するには、次のようにします。

 def test_jython_installed(host): cmd = host.run('jython --version') assert cmd.rc == 0 assert cmd.stderr.find(u'Jython 2') > -1
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サービスが実行されていることの確認は次のとおりです。

 def test_service_is_running(host): assert host.service('flute').is_running
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ファイルの存在とその内容は、次のように確認できます。

 def test_log_files(host): err = host.file('/var/log/flute/std.err') assert err.exists assert err.contains('Flute started')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

testinfraの可能性は尽きることがありません;組み込みの機能に関する詳細なドキュメントはこちらです。

CI / CDパイプライン

静的チェックと自動テストが完了したら、次の自然なステップはCI / CDパイプラインを構築することです。



Ansibleロールのリリースは、Githubリポジトリのmasterブランチへの最新コミットのリリースを検討しているAnsible Galaxyをヒットすることです。 したがって、保護されたマスターブランチでバージョン管理にGitHubを使用する場合、マスターブランチへの各マージはリリースになります。 Moleculeテストが実行されるCIサーバーで、合併に必要な条件でコードのレビューと検証を行うと、安定した配信パイプラインが構築されます。



Jenkins Multibranch Pipelineを使用し、Jenkinsfileは2つのステップだけで構成されています。

 node { stage ("Get Latest Code") { checkout scm } try { stage ("Molecule test") { /* Jenkins check out the role into a folder with arbitrary name, so we need to let Ansible know where to find 'fluteansible' role*/ sh 'mkdir -p molecule/default/roles' sh 'ln -sf `pwd` molecule/default/roles/fluteansible' sh 'molecule test' } } catch(all) { currentBuild.result = "FAILURE" throw err } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実際には、1つの機能についてではなくても、話すことは何もありません。 Jenkins Multibranchは、プロジェクトの名前とは異なる名前のフォルダーにプロジェクトをダウンロードします（ fluteansible_PR-3-7YQKOAVNLO7P2S6Z4O6BLBAFYNYCTBDGTLQFWMXA35XGZZZMLQRA



）、Moleculeを正常に見つけるために必要です分子/デフォルト/ロールフォルダ内のプロジェクトのルートへのシンボリックリンクの形式のツールチップ。



この記事では、 Moleculeの別のJenkinsfileの例を見つけることができます。 この例では、作成者が怠けすぎず、分子スクリプトの各ステップをステージに分割し、正常に完了すると、タグをGitリポジトリに書き込みます。

おわりに

Ansibleはそれ自体が優れたシステムです。 しかし、Moleculeがあれば、コードを台無しにする恐れを感じることなく、Moleculeで奇跡を起こすことができます。 Moleculeの使いやすさとその機能により、MoleculeはAnsibleスクリプトを開発するための「必須」ツールになっています。



MoleculeとJenkinsを使用して開発されているロールの例は、 ここにあります 。