👂🏽 🙅🏽 👩🏻 リポジトリ内のテーブルのメタデータモデルアーティファクトのJenkinsビルドおよびローリングアーティファクトを自動化する方法 💅🏾 🎷 🚀

すべては、EDWEX、JSON、DDL構造を迅速かつ正確に形成し、リレーショナルデータベースのさまざまな輪郭上でそれらをロールする必要に直面したという事実から始まりました。等高線とは、DEV、TST、UAT、PRDなど、誰もがよく知っている略語のことです。

その時点で、ほとんどすべてを手動で行いました。DDLを生成し、Oracleデータベースのメタデータに基づいてedwexとjsonを収集しました。多くの入力パラメーターがあります。見逃した場合、エンティティを誤って形成します。そして、形成のプロセス全体が一貫しており、継続的であったため、エラーは最後にのみ検出されます。私たち全員がどのようにエラーを自動化し、克服するかについては、以下を読んでください。

インフラストラクチャについて少し

リレーショナルデータベースのテーブルにデータを入力する前に、ソース（Excelなどの任意の形式）からデータを受け入れる必要があります。社内メカニズムを使用するソースからのデータは、Hadoop（データレイク）に転送されます。 HiveにはHiveアドインがインストールされています。これにより、SQLのような構文を使用してファイルの内容を表示できます。

データレイクのデータをテーブル形式で転送するには、メタデータに基づいて形成されたJSONが必要です。データをExcel形式で解析するには、EDWEXファイルを作成する必要があります。 EDWEX（EDW_EXTRACTOR）ファイルは、名前を持つテーブルのセットと、メタデータに基づいて形成されるこれらの各テーブルのフィールドのセットを含むアーティファクトのセットです。モデルのバージョンとソースIDに応じて、フィールドのセットは異なります。 DDLの形成は、Hiveデータベースのテーブル自体を運用データレベルで作成し、Greenplumデータベースの詳細データと集計データのレベルで作成するために必要です。つまり、必要に応じて最初にデータがHiveに転送され、その後のデータ操作とそれに基づいてストアフロントを作成するためにフィルター処理され、Greenplumに転送されます。

Edwexアーティファクトの例

pack-テーブルのセットが含まれています

データ-フィールドのセットが含まれています

pack.edwex：

1 Table_1 User Table_1 bid between to_char($fromdt,'yyyymm') and to_char($actualdt,'yyyymm') 2 Table_2 User Table_2 curbid between to_char($fromdt,'yyyymm') and to_char($actualdt,'yyyymm') 3 Table_3 User Table_3 bid between to_char($fromdt,'yyyymm') and to_char($actualdt,'yyyymm')

data.edwex：

 1 1 CHARGE_ID NUMBER 38 0 1 2 SVC_ID NUMBER 38 0 1 3 VND_ID NUMBER 38 0 1 4 PRICE NUMBER 38 5 1 5 QUANTITY NUMBER 38 5 1 6 BASE NUMBER 38 5 1 7 TAX NUMBER 38 5 1 8 TOTAL NUMBER 38 5 1 9 TAX_RATE NUMBER 38 5 1 10 TAX_IN VARCHAR 1 1 11 CHARGE_KIND VARCHAR 3 1 12 PRIVILEGE_ID NUMBER 38 0 1 13 CHARGE_REF_ID NUMBER 38 0 1 14 EBID NUMBER 38 0 1 15 INVOICE_ID NUMBER 38 0 1 16 ZERO_STATE_ID NUMBER 38 0 1 17 USER_ID NUMBER 38 0 1 18 BID NUMBER 38 0 1 19 QUANTITY_REAL NUMBER 38 5 2 1 CURBID NUMBER 38 0 2 2 USER_ID NUMBER 38 0 2 3 VND_ID NUMBER 38 0 2 4 APPBID NUMBER 38 0 2 5 SVC_ID NUMBER 38 0 2 6 DEBT NUMBER 38 5 2 7 INSTDEBT NUMBER 38 5 3 1 INVOICE_ID NUMBER 38 0 3 2 INVOICE_DATE DATE 3 3 INVOICE_NUM VARCHAR 64 3 4 INVOICE_NUM_N NUMBER 38 5 3 5 BASE NUMBER 38 5 3 6 TAX NUMBER 38 5 3 7 TOTAL NUMBER 38 5 3 8 PREPAID VARCHAR 1 3 9 EXPLICIT VARCHAR 1 3 10 VND_ID NUMBER 38 0 3 11 ADV_PAYMENT_ID NUMBER 38 0 3 12 MDBID NUMBER 38 0 3 13 BID NUMBER 38 0 3 14 USER_ID NUMBER 38 0 3 15 ZERO_STATE_ID NUMBER 38 0 3 16 ACTIVE_SUM NUMBER 38 5 3 17 SPLIT_VND NUMBER 38 5 3 18 PRECREATED VARCHAR 1

JSON成果物の例

 Table.json: { "metadata": [ { "colOrder":"1", "name":"charge_id", "dataType":"DECIMAL", "precision":"0", "requied":"true", "keyFile":"" }, { "colOrder":"2", "name":"svc_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"3", "name":"vnd_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"4", "name":"price", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"5", "name":"quantity", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"6", "name":"base", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"7", "name":"tax", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"8", "name":"total", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"9", "name":"tax_rate", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"10", "name":"tax_in", "dataType":"STRING", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"11", "name":"charge_kind", "dataType":"STRING", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"12", "name":"privilege_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"13", "name":"charge_ref_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"14", "name":"ebid", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"15", "name":"invoice_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"16", "name":"zero_state_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"17", "name":"user_id", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"18", "name":"bid", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" }, { "colOrder":"19", "name":"quantity_real", "dataType":"DECIMAL", "precision":"0", "requied":"false", "keyFile":"" } ], "ctlPath":"  ctl", "errPath":"    ", "inPath":"    hdfs", "outSchema":" ", "outTable":" ", "isPartitioned":" ", "sourceId":"id  " }

DDLアーティファクトの例

テーブルscheme.GP_000001_TABLEをZ_GP_000001_TABLE_20180807に変更します。

テーブルスキームを作成します。GP_000001_TABLE

（

`charge_id` DECIMAL（38.0）、

`svc_id` DECIMAL（38.0）、

`vnd_id` DECIMAL（38.0）、

「価格」DECIMAL（38.5）、

「数量」DECIMAL（38.5）、

`base` DECIMAL（38.5）、

`tax` DECIMAL（38.5）、

「合計」10進数（38.5）、

`tax_rate` DECIMAL（38.5）、

`tax_in` STRING、

「charge_kind」STRING、

`privilege_id` DECIMAL（38.0）、

`charge_ref_id` DECIMAL（38.0）、

「ebid」DECIMAL（38.0）、

`invoice_id` DECIMAL（38.0）、

`zero_state_id` DECIMAL（38,0）、

`user_id` DECIMAL（38.0）、

「入札」10進数（38.0）、

`quantity_real` DECIMAL（38.5）、

`load_dttm` TIMESTAMP、

`src_id` SMALLINT、

`package_id` BIGINT、

`wf_run_id` BIGINT、

`md5` STRING

）

'\ t'で終了する行形式の区切りフィールド

INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'として保存

位置 'hdfsでの形成方法'

TBLPROPERTIES（ 'auto.purge' = 'true'、 'transient_lastDlastDdlTime' = '1489060201'）;

scheme.GP_000001_TABLE（ `charge_id`に挿入します、

`svc_id`、

`vnd_id`、

「価格」、

「数量」、

「ベース」、

「税」、

「合計」、

`tax_rate`、

`tax_in`、

`charge_kind`、

`privilege_id`、

`charge_ref_id`、

「ebid」、

`invoice_id`、

`zero_state_id`、

`user_id`、

入札

`quantity_real`、

`load_dttm`、

`src_id`、

package_id

`wf_run_id`、

`md5`）

「charge_id」を選択し、

`svc_id`、

`vnd_id`、

「価格」、

「数量」、

「ベース」、

「税」、

「合計」、

`tax_rate`、

`tax_in`、

`charge_kind`、

`privilege_id`、

`charge_ref_id`、

「ebid」、

`invoice_id`、

`zero_state_id`、

`user_id`、

入札

`quantity_real`、

load_dttm、

src_id

package_id、

wf_run_id、

scheme.Z_GP_000001_TABLE_20180807からのmd5;

テーブルscheme.GP_000001_TABLEをZ_GP_000001_TABLE_20180807に変更します。

テーブルスキームを作成します。GP_000001_TABLE

（

`charge_id` DECIMAL（38.0）、

`svc_id` DECIMAL（38.0）、

`vnd_id` DECIMAL（38.0）、

「価格」DECIMAL（38.5）、

「数量」DECIMAL（38.5）、

`base` DECIMAL（38.5）、

`tax` DECIMAL（38.5）、

「合計」10進数（38.5）、

`tax_rate` DECIMAL（38.5）、

`tax_in` STRING、

「charge_kind」STRING、

`privilege_id` DECIMAL（38.0）、

`charge_ref_id` DECIMAL（38.0）、

「ebid」DECIMAL（38.0）、

`invoice_id` DECIMAL（38.0）、

`zero_state_id` DECIMAL（38,0）、

`user_id` DECIMAL（38.0）、

「入札」10進数（38.0）、

`quantity_real` DECIMAL（38.5）、

`load_dttm` TIMESTAMP、

`src_id` SMALLINT、

`package_id` BIGINT、

`wf_run_id` BIGINT、

`md5` STRING

）

'\ t'で終了する行形式の区切りフィールド

INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'として保存

位置 'hdfsでの形成方法'

TBLPROPERTIES（ 'auto.purge' = 'true'、 'transient_lastDlastDdlTime' = '1489060201'）;

スキームに挿入します。GP_000001_CPA_CHARGE（ `charge_id`、

`svc_id`、

`vnd_id`、

「価格」、

「数量」、

「ベース」、

「税」、

「合計」、

`tax_rate`、

`tax_in`、

`charge_kind`、

`privilege_id`、

`charge_ref_id`、

「ebid」、

`invoice_id`、

`zero_state_id`、

`user_id`、

入札

`quantity_real`、

`load_dttm`、

`src_id`、

package_id

`wf_run_id`、

`md5`）

「charge_id」を選択し、

`svc_id`、

`vnd_id`、

「価格」、

「数量」、

「ベース」、

「税」、

「合計」、

`tax_rate`、

`tax_in`、

`charge_kind`、

`privilege_id`、

`charge_ref_id`、

「ebid」、

`invoice_id`、

`zero_state_id`、

`user_id`、

入札

`quantity_real`、

load_dttm、

src_id

package_id、

wf_run_id、

scheme.Z_GP_000001_TABLE_20180807からのmd5;

自動化する方法

この問題を解決するために、次を使用しました。

Jenkins-CIプロセスを実装するためのオーケストラおよびツールとして。
Python-機能と単体テストを実装します。
SQL-メタデータデータベースにアクセスします。
シェルスクリプト-ディレクトリ間でアーティファクトをコピーし、Jenkinsサーバーで実行されているマルチジョブプロジェクトでスクリプトを作成します。

まず、最初に多数のソースを使用するため、シェルスクリプトを開始パラメーターとして使用して、ソースのIDをSQL関数に渡して識別します。結果のSQL関数は、メタデータデータベースで自動的に実行されます。使用可能なメタデータに基づいて、これらの関数は、ソーステーブルごとに新しいSQL関数のリストを持つファイルを形成します。これにより、後で実行可能プログラムで呼び出すことができます。生成された関数の実行結果は、DDL、JSON、またはEDWEX値の出力パラメーターへの転送です。

ここでPythonが接続され、すべての実行可能機能と単体テストが作成されます。単体テストを使用してアーティファクトをローリングするためのモジュールを開始する前に、正しいパラメーターの転送がチェックされ、Pythonスクリプトが実行されます。テストでは、入力パラメーターの正確さだけでなく、メタデータモジュール内の存在、作成されたファイルのサイズ、作成日も確認します。テストでは、作成された新しいアーティファクトの数と既存のアーティファクトの数も監視します。ローリング用に新しいファイルのみを取得し、既存のモデルを再インストールしないため、サーバーリソースの使用を最適化します。

そして、すべてのチェックに成功した後のみ、必要なアーティファクトを作成し、結果をサーバー上の必要なプロジェクトフォルダーに分解するpythonプログラムが実行されます。 Pythonは、生成されたjsonファイルをディレクトリに送るだけでなく、データが正しく読み込まれるようにData Lakeに構造を形成します。 DDLアーティファクトを生成すると、後で分析および再利用するために保存されるだけでなく、メタデータモジュールで指定された新しいモデルと構造を使用してデータベースにすぐにインストールすることもできます。これにより、手作業を伴うことなく、短時間で数百のテーブルを作成できます。

ジェンキンスはどこにいるの？

Jenkinsは、インターフェイスを使用してこれらすべてのプロセスを視覚的に管理する必要がある場合に参入します。

このツールが選択された理由は次のとおりです。

組み立てと設置の自動化のニーズを完全にカバー
自動テストのプロセスを実装して、成果物を組み立てるメカニズムを設計できます
あなたは簡単にジョブの立ち上げを管理し、プログラミングから遠く離れた人への実行を監視することができます
実行の結果がチームの誰でも理解できるように、ロギングメカニズムを設定できます。アセンブリの問題が明示的に示されるか、プロセスが成功します。

タスクを解決するために、いくつかのマルチジョブプロジェクトを作成しました。このタイプのプロジェクトは、1回の起動で他のワークステーションと並行して動作できるため使用されました。各ジョブは、その機能ブロックの実装を担当します。そのため、アーティファクトを取得するシーケンシャルプロセスを自律的な並行プロセスに置き換えました。 EDWEX、JSON、DDLの形成、HIVEでの構造の形成、データベースでのテーブル構造のインストールなど、すべてが個別に始まります。成果物の形成のさまざまな段階で結果を分析し、成功した場合は後続のアクションを開始します。

Jenkins部分は、多くのトリックなしで実装されます。 ストリングまたは実行パラメーターは、Pythonコードを開始するために入力に送信されます。 Stringパラメーターは、開始する前にstr型の値を入力するためのウィンドウです。実行パラメーターは、実行中に別のジョブにオンザフライで転送できます。これは、受け取った変数を取得する必要があるプロジェクトを示すだけで十分です。また、ノードは実行用の個別のパラメーターとして渡されます。ここでは、DEV、TST、UAT、PRDのランタイムへのパーティション分割が実装されています。変更された構造のバージョンを追跡できるように、別のジョブを使用して、受信したEDWEXファイルをリビジョン番号付きのSVNに転送しました。

Jenkinsのサンプルインターフェイス：

ジョブの実行結果は、必要なアーティファクトの作成とインストール、SVNへの転送、および単体テストの合格の成功とアーティファクトのアセンブリとインストールの結果を表示するHTMLレポートの形成です。ジョブは、手で個別に実行することも、以前に実行チェーンを構築していた自動モードで実行することもできます。

アセンブリおよびインストールメカニズムのアーキテクチャ

まとめると

アーティファクトの形成を自動化するために多くの作業が行われました。以前は、手動でサーバーに登り、シェルスクリプトを実行してから、長時間データを手で調べて編集する必要がありました。開始ボタンをクリックして、ソースシステムID、モデル番号、実行ループを指定します。 Jenkinsの助けを借りて、アーティファクトのアセンブリとインストールメカニズム全体を独立したステージに構造化し、分解することができました。成果物の形成とそれらの統合を開始する前に、必要なチェックが追加されました。受信したアーティファクトは自動的にSVNに転送されるため、システムアナリストとデータモデラーの関連チームとの作業が簡単になります。アーチファクト形成のアイドル起動を回避し、その正確性を確認するためにチェックが実装されています。

その結果、モデルのアーティファクトを組み立ててインストールする時間のかかるプロセスを数時間から数分に短縮しました。そして最も重要なことは、複雑なルーチンプロセスで必然的に発生する人的要因によるエラーの発生を排除したことです。

リポジトリ内のテーブルのメタデータモデルアーティファクトのJenkinsビルドおよびローリングアーティファクトを自動化する方法

インフラストラクチャについて少し

自動化する方法

ジェンキンスはどこにいるの？

まとめると

More articles: