PostgreSQLのliquibase移行を自動的に作成する

Liquibaseを使用すると、データベースオブジェクトが必要な状態にあるという自信が常に得られます。 データベース移行システムをこれほど人気にしているのはこの自信です。



今日は、liquibaseでの作業をもう少し便利にする方法をお伝えしたいと思います。 手動で移行を記述し、ターゲットデータベースがPostgreSQLである場合、この記事を読んでください。記事を読むのに費やした時間は、必ず利益をもたらすでしょう。











Liquibaseの動作に既に精通していることを望んでいるので、システムの仕組みを簡単に説明します。 データベースに変更を加えるには、移行ファイル（changeset）を作成する必要があります。このファイルへのリンクはchangelogファイルで指定する必要があります。その後、移行をターゲットデータベースに正常に適用できます。 このアプローチの否定できない明白な利点は、行われた変更をロールバックできることです。



私の意見では、liquibaseには重大な欠点が1つしかありません-変更の自動ロールバックは、移行がXMLファイルとして記述されている場合にのみ機能します。 この瞬間は、データベースに変更を加える開発者と変更を検査するデータベース管理者の両方の頭を覆い隠します。 XMLマークアップは、古くてよく知られているSQLとは異なり、読めるにはほど遠いです。 幸いなことに、Liquibaseを使用すると、移行をSQL​​に書き込むことができますが、厄介な欠点は1つだけです。自動ロールバックが機能しなくなり、ロールバックセクションを手動で記述する必要があります。



今日はこの誤解を修正し、liquibaseの移行ファイルを作成する方法を学びます。まずSQLで、次にロールバックセクションで、次にこれらのファイルが自動的に生成されます。 信じられない？ 次に、すべてを詳細に説明します。



次のように移行を作成します。2つのデータベースがあり、1つは開発の条件付きで、もう1つは戦闘（ステージ、テスト-好みの選択）です。 お気に入りのツールを使用して開発データベースに変更を加えた後、データベースを比較して移行を行い、それをターゲットデータベースに展開します（バトルと見なします）。



以下のすべてのコマンドは、Linuxシェルでの作業を考慮して表示されます。 移行ファイルセクションを生成するにはpgCodeKeeperが必要であり、ロールバックセクションを作成するにはシステムにsedが必要です。



2つのデータベースdbdevとdbprodがあることに同意しましょう。dbdevでは手動で変更を行い、dbprodではLiquibaseを使用して変更を取得します。



/ tmpに移行ディレクトリを作成します。ここですべての作業を行います。もちろん、希望するディレクトリを使用できます。 既にローカルコンピューターにPostgreSQLがインストールされているので、それを使用します。



仕事用のデータベースを作成します。

$ mkdir /tmp/migration $ cd /tmp/migration/ $ createdb dbdev $ createdb dbprod
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

PostgreSQL、Liquibase、およびpgCodeKeeperディストリビューション用のJDBCドライバーのダウンロード

 $ wget https://jdbc.postgresql.org/download/postgresql-42.1.3.jar $ wget https://github.com/liquibase/liquibase/releases/download/liquibase-parent-3.4.2/liquibase-3.4.2-bin.tar.gz $ wget http://pgcodekeeper.ru/cli/release/pgCodeKeeper-cli-3.11.4.201707170702.zip
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

liquibaseとpgcodekeeperを現在のディレクトリに解凍します。もちろん、選択したディレクトリに解凍します。

注意！ この記事の執筆以降、いくつかの変更がありました。 pgCodeKeeperのCLIバージョンは、github.com / pgcodekeeper / pgcodekeeper / releasesからダウンロードできます。

 $ tar xzvf liquibase-3.4.2-bin.tar.gz $ unzip pgCodeKeeper-cli-3.11.4.201707170702.zip
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

現在のディレクトリで、次の内容のliquibase-liquibase.propertiesの設定ファイルを作成します。

 driver: org.postgresql.Driver classpath: ./postgresql-42.1.3.jar url: jdbc:postgresql:dbprod username: user password: topsecret changeLogFile: db.changelog.xml
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらはLiquibaseの設定であることに注意してください。 移行を展開するdbprodデータベースへの接続を記述します。 ユーザー名とパスワードを自分の値に設定します。ユーザー名agsがあり、コマンドの出力の後続のメッセージでこの名前が検出されます。 現在のディレクトリで、次の内容のdb.changelog.xmlファイルを作成します。

 <?xml version="1.0" encoding="UTF-8"?> <databaseChangeLog xmlns="http://www.liquibase.org/xml/ns/dbchangelog" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-3.1.xsd"> </databaseChangeLog>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

liquibaseの使用準備ができているかどうかを確認します。

 $ ./liquibase status ags@jdbc:postgresql:dbprod is up to date Liquibase 'status' Successful
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

よくやった、半分の仕事は終わった、ほんの少し残っている。 pgCodeKeeperが機能するかどうかを確認します。

 $ ./pgcodekeeper-cli.sh jdbc:postgresql:dbdev jdbc:postgresql:dbprod
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

チームがメッセージを出さなかった場合-すべてが順調です。 postgresインスタンスが別のホストまたはポートで構成されている場合、またはパスワードアクセスが使用されている場合は、データベースに適切なJDBC URLを作成する必要があることに注意してください。 それを形成する方法は、 ここを読んでください 。



準備フェーズが完了し、ベースが作成され、ツールがセットアップされました-メイン部分に進むことができます。



dbdevデータベースにテーブルを作成します。

 [ags@saushkin-ag:/tmp/migration] $ psql dbdev psql (9.6.3,  9.5.7)  "help",   . (ags@[local]:5432) 16:08:43 [dbdev] =# create table users (id serial primary key, name text); CREATE TABLE : 20,708  (ags@[local]:5432) 16:09:16 [dbdev] * =# commit; COMMIT : 6,913 
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

pgCodeKeeperが違いを見つけることができるかどうかを確認します。

 $ ./pgcodekeeper-cli.sh jdbc:postgresql:dbdev jdbc:postgresql:dbprod CREATE SEQUENCE users_id_seq START WITH 1 INCREMENT BY 1 NO MAXVALUE NO MINVALUE CACHE 1; ALTER SEQUENCE users_id_seq OWNER TO ags; CREATE TABLE users ( id integer DEFAULT nextval('users_id_seq'::regclass) NOT NULL, name text ); ALTER TABLE users OWNER TO ags; ALTER TABLE users ADD CONSTRAINT users_pkey PRIMARY KEY (id); ALTER SEQUENCE users_id_seq OWNED BY users.id;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

はい、すべてが期待どおりに機能します。 移行を作成するためのスクリプトの準備migrate.sh

 #!/bin/bash FILENAME=${1:-changeset.sql} #    echo "--liquibase formatted sql" > $FILENAME echo "--changeset $USER:$FILENAME" >> $FILENAME echo "" >> $FILENAME #    ./pgcodekeeper-cli.sh jdbc:postgresql:dbdev jdbc:postgresql:dbprod >> $FILENAME echo "" >> $FILENAME #    (     ) ./pgcodekeeper-cli.sh jdbc:postgresql:dbprod jdbc:postgresql:dbdev | sed -e 's/^/--rollback /' >> $FILENAME
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトは1つのパラメーターを取ります。出力ファイルの名前です。ファイル名が指定されていない場合、changeset.sqlはデフォルトで受け入れられます。 次に、SQLファイルのヘッダーが形成されます。Liquibaseは、ターゲットデータベースに加えられた変更に関する情報を保存する必要があります。 次は、実際の移行ファイルの形成です。



チーム：

 ./pgcodekeeper-cli.sh jdbc:postgresql:dbdev jdbc:postgresql:dbprod >> $FILENAME
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

データベース間の違いを見つけ、データベースオブジェクトの構造をdbdevからdbprodに変換するためのファイルを作成し、出力ファイルに保存します。



チーム：

 ./pgcodekeeper-cli.sh jdbc:postgresql:dbprod jdbc:postgresql:dbdev | sed -e 's/^/--rollback /' >> $FILENAME
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

同じデータベース間の相違点を異なる方向でのみ検索するため、ターゲットデータベースは開発者になりつつあるため、変更を自動的にロールバックできます。 Liquibaseのロールバックセクションには--rollbackコメントが付いています。



移行の形成を確認します。 テストでは、出力ファイルとして/ dev / stdoutを使用します。

 $ chmod +x ./migrate.sh $ ./migrate.sh /dev/stdout --liquibase formatted sql --changeset ags:/dev/stdout CREATE SEQUENCE users_id_seq START WITH 1 INCREMENT BY 1 NO MAXVALUE NO MINVALUE CACHE 1; ALTER SEQUENCE users_id_seq OWNER TO ags; CREATE TABLE users ( id integer DEFAULT nextval('users_id_seq'::regclass) NOT NULL, name text ); ALTER TABLE users OWNER TO ags; ALTER TABLE users ADD CONSTRAINT users_pkey PRIMARY KEY (id); ALTER SEQUENCE users_id_seq OWNED BY users.id; --rollback ALTER TABLE users --rollback DROP CONSTRAINT users_pkey; --rollback --rollback DROP TABLE users; --rollback
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

まあ、ロールアップセクションとロールバックセクションの両方が形成されます。 このため、1行のSQL行を手動で記述する必要はありませんでした！ 移行ファイルの作成に関するすべての作業は自動的に行われました。



実際の移行ファイルを作成します

 $ ./migrate.sh 001_users.sql
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

db.changelog.xmlファイルを編集し、001_users.sqlファイルにincludeディレクティブを追加して、移行ログに接続します。

 <?xml version="1.0" encoding="UTF-8"?> <databaseChangeLog xmlns="http://www.liquibase.org/xml/ns/dbchangelog" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-3.1.xsd"> <include file="001_users.sql" /> </databaseChangeLog>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、変更をdbprodにロールします。変更をロールする前に、ターゲットデータベースにタグを配置して、将来ロールバックできるようにします。

 $ ./liquibase tag 001_before_users Successfully tagged ags@jdbc:postgresql:dbprod Liquibase 'tag' Successful $ ./liquibase migrate Liquibase Update Successful
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ステータスを確認する

 $ ./liquibase status ags@jdbc:postgresql:dbprod is up to date Liquibase 'status' Successful
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テーブルをロールする前の状態にロールバックする

 $ ./liquibase rollback 001_before_users Liquibase Rollback Successful
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ステータスをもう一度確認する

 $ ./liquibase status 1 change sets have not been applied to ags@jdbc:postgresql:dbprod Liquibase 'status' Successful
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プレロールを返す

 $ ./liquibase migrate Liquibase Update Successful
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

データベースの構造が異なっているかどうかを確認しましょう。 これで、ロールバックとロールバックを「試し」た後、dbdevデータベースとdbprodデータベースの状態が同じになります。 そうですか？

 $ ./pgcodekeeper-cli.sh jdbc:postgresql:dbdev jdbc:postgresql:dbprod ALTER TABLE databasechangeloglock DROP CONSTRAINT pk_databasechangeloglock; DROP TABLE databasechangeloglock; DROP TABLE databasechangelog;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

pgCodeKeeperは、dbdevにはdatabasechangeloglockとdatabasechangelogの2つのテーブルは存在しないと言っています。 これらのテーブルはliquibaseによって自動的に作成され、実行されたロールに関する情報が保存されます。 これらのテーブルがなければ、liquibaseは不可能です。 これらのテーブルが移行の形成中に干渉しないように、これらのテーブルの構造を開発データベースにコピーするか、pgCodeKeeperのリスト無視機能を使用できます。



オブジェクトを無視する機能を使用するには、現在のディレクトリに次の内容の.pgcodekeeperignoreファイルを作成します。

 $ cat .pgcodekeeperignore SHOW ALL HIDE REGEX "databasechangelog.*"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

今、チーム

 $ ./pgcodekeeper-cli.sh -I .pgcodekeeperignore jdbc:postgresql:dbdev jdbc:postgresql:dbprod
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

変更を表示しないでください。



それで、提案されたスキームに従って変更を加えるために何をする必要があるか：

1. 開発データベースに変更を加えます
2. スクリプトを使用して、移行を形成します
3. 移行を検査し、移行ログに接続します
4. 戦闘（テスト、ステージ）データベースへの変更を展開する
5. 必要に応じて、ロールバックを実行します

Liquibase移行ファイルの作成が自動的に実行できるようになりました。 移行はSQLで記述されており、重要なことに、ロールバックセクションも人間の介入なしに作成されます。 一番難しいのは、移行ファイル名を考え出すことです。



PS：Liquibaseには2つのデータベース間で差異セットを生成するためのメカニズムが組み込まれていますが、残念ながら、常にうまく機能するとは限りません。



PPS：記事の執筆以来、CLIリリースの配置が変更されました。現在は次のとおりです： github.com/pgcodekeeper/pgcodekeeper/releases



Eclipseの更新サイトはこちら： pgcodekeeper.org/update