ビッグデータを効率的にインポートする方法

時には、非常に大きなデータをデータベースにインポートする必要がありますが、これは数十ギガバイトに達することもあります。 レプリケーションと高可用性を使用する重要なサービスで、定期的なバックアップ、ホットバックアップを実行します。 ほとんどの場合、ユーザーは組み込みのDBMS機能に依存し、変更せずに使用し、インポートプロセスが完了するまで待機します。また、まったく待機しないこともあります。



このブログでは、 CUBRID DBMSにデータをインポートするさまざまな方法について説明し、どちらがより効果的で、なぜかを指定します。 これらの推奨事項の一部は、他のデータベース管理システムにも適用できます。



したがって、CUBRIDでは、次のツールを使用してデータをインポートできます。

• 最も簡単な方法は、 CUBRID Managerを使用することです
• PHP、Java、およびその他のドライバーを使用することもできます。
• それ以外の場合は、コマンドラインでCSQL 、CUBRID SQLインタープリターを使用できます。
• レプリケーションまたは高可用性を構成することもできますが、これはこの記事の範囲外です。

最初に、小さなテストの結果を提示して、全体像を見て、上記のソリューションのいくつかが他のソリューションよりも速く動作する理由を理解できるようにします。 次に、データのインポートプロセスを大幅に高速化するのに役立つ推奨事項について説明します。

テストについて

各メソッドについて、少量のデータ（100,000レコード）をテストして、各メソッドがどの方向に移動するかを理解します。 テストは、CUBRID 8.4.0がインストールされたWindows 7 x86で実行されます。 したがって、次を使用します。

• CSQL
  
  -Sスタンドアロンモード
  
  -Cクライアントサーバーモード
  
  
• CUBRIDマネージャー
• PHP API

次の構成も存在します。

• コミットトランザクションは5000回ごと（コミットサイクル）
• INSERTクエリの開始時間のみを測定するため、データベースと必要なテーブルは事前に作成されます。

テストスクリプト

コマンドラインでのCSQLの実行（-Sおよび-Cモード）

CSQLは、コマンドラインでSQLクエリを解釈および実行するためのツールです。 CUBRID Managerと比較して、 CSQLははるかに簡単で高速です。 2つのモードで動作します。 1つ目はオフラインモードで、2つ目はクライアントサーバーモードです 。

• スタンドアロンモードでは、 CSQLはデータベースファイルを直接操作し、すべての要求とサーバーコマンドを処理します。 つまり、リクエストはサーバーをバイパスして処理できます。 ただし、オフラインモードではアクティブなユーザーは1人しか許可されないため、そのユーザーで作業して管理タスクを実行することしかできません。
• クライアントモードでは、 CSQL サーバーはクライアントとして機能し、通常のクライアントとして、サーバーに処理のためのすべての要求を送信します。

これらのモードの詳細については、 マニュアルをご覧ください。



テストのベースを作成します。 cubrid createdb dbtest



実行して、コマンドラインでこれを行うことができます。



次に、CSQLを使用してこのデータベースに接続し、必要なテーブルを作成する必要があります。



$> csql demodb



CUBRID SQL Interpreter



Type `;help' for help messages.



csql> CREATE TABLE test1(a int, b TIMESTAMP, c int AUTO_INCREMENT)

csql> ;ru



Current transaction has been committed.



1 command(s) successfully processed.

csql> ;ex

• CSQLでは、コマンド; ruは「型付きクエリの実行」（実行）を意味します。
• コマンド; ex -exit（終了）。 ここですべての可能なコマンドについて調べることができます。

すべてを準備したので、 dbtest.sqlファイルにあるすべてのデータをインポートします。



INSERT INTO test1 VALUES (0 , SYS_TIMESTAMP, NULL);

INSERT INTO test2 VALUES (1 , SYS_TIMESTAMP, NULL);

……………………

INSERT INTO test1 VALUES (99998 , SYS_TIMESTAMP, NULL);

INSERT INTO test1 VALUES (99999 , SYS_TIMESTAMP, NULL);









CSQLをオフラインで起動し、ファイルからすべてのデータを読み取るには、次のコマンドを入力します。



$> csql -u dba -p 1111 –S -i dbtest1.sql dbtest







クライアントサーバーモードでCSQLを起動し、ファイルからすべてのデータを読み取るには、次のコマンドを入力します。



$> csql -u dba -p 1111 –C -i dbtest1.sql dbtest

PHPへのインポート

このために、データベースとそのスキーマに関する同じ情報を使用します。 次に、次のスクリプトを実行して100,000エントリを入力します。

  $ host_ip = "localhost";
 $ host_port = 33000;
 $ db_name = "dbtest";
 $ userId = "dba";
 $ password = "1111";

 $ cubrid_con = @cubrid_connect（$ host_ip、$ host_port、$ db_name、$ userId、$ password）;

 if（$ cubrid_con）
 {
     $ sql = "insert into"。  $ db_name。  "（a、b）値（？、SYS_TIMESTAMP）";
     $ reg = cubrid_prepare（$ cubrid_con、$ sql、CUBRID_INCLUDE_OID）;
    
     //ループに100,000レコードを挿入します。
     for（$ i = 0; $ i <100000; ++ $ i）
     {   
         $ res = cubrid_bind（$ reg、1、$ i）;
         $ res = cubrid_execute（$ reg）;

         // 5,000回に1回コミットします（コミットサイクル）。
         if（（$ i + 1）％5000 == 0）
         {   
             cubrid_commit（$ cubrid_con）;
             echo $ i、 "
 ";
         }
     }
 } 

CUBRID Managerへのデータのインポート

ここでは、CSQLテストで作成したのと同じファイルからデータをインポートします。 データのインポート機能（下のスクリーンショットを参照）を使用して、すべてのデータをインポートします。

試験結果

次のテスト結果は秒単位で表示されます。

	50,000エントリ	100,000エントリ	300,000エントリ
csql-s	5	10	29日
csql-c	111	224	599
Php	68	136	413
CM	17	33	96

結論と推奨事項

CSQLをオフラインで使用する

上記のグラフでわかるように、CSQLオフラインは、CUBRIDにデータをインポートする最も速い方法です。 これは、サーバープロセスをバイパスしてデータベースファイルを直接操作するためです。 このモードでは、CSQLはサーバーとして動作し、サーバーに接続されたクライアントとしては動作しません。 したがって、このツールはデータを最速でインポートします。



ただし、オフラインモードでCSQLを使用できない場合があります。このモードでは、複数のユーザーが接続を許可されていないためです。 これは、その時点でデータベースで動作する唯一のアプリケーションがCSQLであることを意味します。 そしてこれは、データベースを切断する必要があることを意味します。 データベースが実行されている場合、別のユーザー（ホスト）が使用していることを意味します。 この場合、スタンドアロンモードでCSQLを使用してデータベースに接続しようとすると、次のエラーが発生します。



$> csql -S demodb



ERROR: Unable to mount disk volume "C:CUBRIDdatabasesdemodbdemodb_lgat".

The database "C:CUBRIDDATABA~1demodbdemodb", to which the disk volume belongs,

is in use by user USER-PC$ on process 3096 of host user-PC since Thu Sep 22 11:04:01 2011.







このような場合、データベースを完全に無効にして他のユーザーがデータベースに接続されていないことを確認するか、データをインポートする他の方法を使用する必要があります。 コマンドラインでデータベースを無効にするには、 cubrid server stop dbtest1



ます。

データをインポートした後、任意の制約を作成します

これは、大量のデータをインポートする予定の開発者にとって最も重要な推奨事項の1つです。



すべてのデータのインポートが完了するまで 、インデックスを作成しないでください 。 これは、 INDEX



（通常のインデックス）、 UNIQUE



（一意のインデックス）、 REVERSE INDEX



（逆のインデックス）、 REVERSE UNIQUE



（逆の一意のインデックス）、さらにはPRIMARY KEY



（主キーが自動的に通常のインデックスを作成します）などのインデックスに適用されます。



そうしないと、インポートプロセス中の各データエントリ（ INSERT



）に必須のインデックスが必要になり、合計インポート時間が長くなります。 したがって、次の指示に従ってください。

1. テーブルを作成します。
2. 必要なすべての列を追加し、それらのデータ型を示しますが 、制限、 主キーさえも指定しないでください 。
3. すべてのデータをインポートします。
4. そして、必要なすべてのインデックスと主キーを作成します。

インポート中にログをオフにする

CUBRIDには2種類のロギングがあります。

• クライアント側のログ
• サーバー側のログ

クライアント側のログ

クライアント側のロギングは、 CUBRID Brokerの SQL_LOG



パラメーターを参照します。 デフォルト値はSQL_LOG = ON



です。



クライアント側でロギングが有効になっている場合、CAS（CUBRID Application Server）によって処理される各SQLステートメントはDBMSログに保存されます。 したがって、これにより合計インポート時間が長くなります。 したがって、インポートプロセス全体のログが必要ない場合（たとえば、高可用性モードで）、インポートが完了するまでしばらくログを無効にします。



ロギングをオフにする方法はいくつかあります。 以下に、CUBRID Managerとコマンドラインでこれを行う方法を示します。



CMの例



ロギングを無効にするには（ SQL_LOG = OFF



）、ブローカーを右クリックして[ プロパティ ]を選択します 。







モーダルウィンドウで、 SQL_LOG



パラメータの値をOFFとして指定します。 次に、[ OK ]をクリックして変更を保存します。







最終的に変更を適用するには、ブローカーを再起動する必要があります。 また、ブローカーを右クリックし、ブローカーを選択して無効にし、 ブローカーをオンにしてブローカーを開始します。 これでインポートを開始できます。



コマンドラインの例



テキストエディターで、CUBRIDをインストールしたconfディレクトリにあるブローカーの構成ファイルであるcubrid_broker.confを開きます。 このファイルでは、 SQL_LOG



を含むすべてのブローカーパラメーターの値を変更できます。 以下のコードスニペットを参照してください。



[broker]

...

SQL_LOG =OFF

...







次に、 cubrid broker restart



コマンドを使用して、コマンドラインでcubrid broker restart



ます。

サーバー側のログ

サーバー側のログ記録は、CUBRIDサーバー自体のmedia_failure_supportパラメーターを参照します。これは、ストレージデバイスに障害が発生した場合にアーカイブログを保存する必要性を判断します。 このパラメーターの値がyes （デフォルト値）の場合、アクティブログがいっぱいになり、トランザクションがまだアクティブであるときに、すべてのアクティブログがアーカイブログにコピーされます。 media_failure_support = noの場合、アクティブログがいっぱいになった後に作成されたすべてのアーカイブログは自動的に削除されます。 このパラメーターの値がnoに変更された場合、アーカイブログはすぐに削除されることを置き換える必要があります。



したがって、 media_failure_support = noの値を設定すると、データをインポートする合計時間を短縮できます。 このパラメーターを変更するには、ホストを右クリックして、そのプロパティを選択します。







モーダルウィンドウで、パラメータmedia_failure_support



値をnoに指定します。 次に、[ OK ]をクリックして変更を保存します。







すべての変更を適用するには、サーバーを再起動します。

スレッドとトランザクションコミットの数を指定する

CUBRID Managerと連携してデータをインポートする場合は、スレッドの数と1回のコミットでのトランザクションの数を必ず指定してください。



スレッドにより、CMは複数の同時接続を使用してINSERT要求を実行できます。 スレッドの数を決定するには、 スレッド数でそれらの数を指定します 。 ただし、多すぎると良いことにはならないことも覚えておく必要があります。 それはすべてあなたのアイロンの能力に依存します。 通常、5〜10スレッドを推奨します。







また、インポート時間は、1回のコミット（ コミットサイクル ）のトランザクション数に依存します。 この値は、入力されたデータをキャプチャする頻度を決定します。 トランザクションを頻繁にコミットすると、パフォーマンスが低下します。 ただし、一方で、まれなコミットでは大量のRAMが必要になる場合があります。 したがって、再び、それは鉄の構成に依存します。

data_buffer_sizeを使用

data_buffer_sizeは、CUBRIDサーバー全体の動作を最適化する重要なパラメーターの1つです。 サーバーのCUBRIDキャッシュに保存する必要があるデータのページのサイズを決定します。 data_buffer_sizeの値が高いほど、より多くのデータページをサーバーバッファーに格納できるため、I / O操作の数を大幅に削減できます。これは一般にパフォーマンスを意味します。



ただし、このパラメーターの値が大きすぎると、十分なメモリがないためにオペレーティングシステムとサーバー間でバッファプールをスワップでき、スワップディスクが作成されない場合は、データベース（サーバーではなく、データベース自体に注意）単に十分なメモリがないため、起動しません。 そのため、鉄の物理的ポテンシャルに基づいて、 data_buffer_sizeパラメーターの値をシステムメモリのサイズの約2/3に調整することをお勧めします。 デフォルトでは、 data_buffer_size = 512M （メガバイト）。

insert_execution_modeを使用します

insert_execution_modeは、クライアント側ではなくサーバー側でINSERT要求を実行できる非常に便利なパラメーターです。 これは、クライアント側で使用可能なメモリが非常に少ない場合、または定期的なバックアップ用のデータを入力する前にダーティリードが必要な場合に便利です。



このパラメーターは7つの値を取ることができます（詳細については、 データベースサーバーパラメーターを参照してください）。 デフォルト値はinsert_execution_mode = 1です 。これは、フォームのすべてのINSERT INTO ... SELECT ...クエリがサーバー側で起動されることを意味します。 データのインポート時にこのクエリ構造を使用しないため、値を2に変更する必要があります。これにより、サーバー側でINSERT INTO ... VALUES ...の形式ですべてのクエリを実行できます（下図を参照）。







したがって、全体的なインポート時間を短縮し、CUBRIDサーバーのパフォーマンスを向上させるには、次のヒントに従ってください。

• CSQLをオフラインで使用する
• データをインポートした後、任意の制約を作成します
• インポート中にログをオフにする
• スレッドとトランザクションコミットの数を指定する
• data_buffer_sizeを使用
• insert_execution_modeを使用します

私は何かを見逃しましたか？ あなたの経験とデータをインポートする頻度についてのコメントを書いてください。