PostgreSQL 8.3

Josh Berkus は 、PostgreSQL 8.3beta1のリリースを発表しました（ 公式のChangelogを参照）。 開発者はパッチ処理作業を完了するのに6か月以上かかりました（2007年4月1日に機能の凍結が行われたことを思い出してください）。 それで、今年、世界で最も開発されたオープンDBMSを私たちに喜ばせるものをあなたに伝える時が来ました。



リスト全体を4つの部分に分けます。 最初の、多くの最も重要な部分では、パフォーマンスに何らかの形で関連する変更をリストします。 2番目では、データベースプログラマ向けの新機能のリストを提供します。これは、既にそれほど脆弱ではないPostgreSQLの「機能」のセットをさらに拡張するように設計されています。 3番目の部分は、データベース管理者向けの革新に専念します。 最後に、最後に、Postgresサテライトプロジェクトであるオープンソースプロジェクトについて説明します（つまり、独自の開発サイクルがあります）。

性能

そもそも、今日（安定ブランチが8.2、現在のバージョンは8.2.5）PostgreSQLは、オープンソースの選択肢だけでなく、主要な商用DBMSとのパフォーマンスの面でも競合しています。 Oracleなど。 これはもはや空のフレーズではありません。サンが実施したテストの結果を見てください。 もう遅い象はいません！ 豊富な種類のインデックス、システムのチューニング、非常に大きなボリュームと負荷の操作、複製およびスケーリングシステムの適切な選択の幅広い可能性-これらはすべて、現代の象にとって「厳しい」ものです。 開発速度でさえ、他のDBMSと比較してPostgresを有利に区別します。毎年、私たちは常に重要な一歩を踏み出します。



PostgreSQLバージョン8.3のパフォーマンスの新機能は何ですか？ 多くの変更は重要です。 PostgreSQL開発コーディネーターのBruce Momjianによると、Postgresmanの招待で少し前にモスクワを訪れた人によると、Postgresの開発者が近年忙しくしているシステムパフォーマンスの最適化作業は非常に困難です。 各ステップには、ますます多くの人件費が必要であり、開発者の時間と労力がますます必要になります。



これらの本当に重要な変更の1つは、 HOT（ヒープのみのタプル）と呼ばれる「チップ」と安全に考えることができます。 これはおそらくパフォーマンスの面で最も重要な変更の1つです。 この変更の内容を理解するには、PostgreSQLがいわゆるマルチバージョンアクセス制御モデル（ MVCC 、マルチバージョン同時実行制御）を実装していることを覚えておく必要があります。







HOTの本質は次のとおりです。 以前、このアプローチを実装する前に、テーブルの行を更新するとき、インデックス付き列がこれらの変更に影響を与えたかどうかに関係なく、テーブルの行を更新するたびにすべてのインデックスの新しいバージョンが表示されました（図「HOTなしの更新」を参照）。 ここで、新しいバージョンの行が前のバージョンと同じメモリページに分類され、インデックスが作成された列が変更されなかった場合、インデックスは同じままです。 しかし、それだけではありません。 そのような可能性がある場合、ヒープページ内のスペースの「瞬間的な」再利用が発生します。 当然、VACUUM操作中に実行される作業量が減少します。 図 「HOT update」は、行がどのように更新されるかを概略的に示します。



次の新規性は、まず第一に、多数のWeb開発者にアピールします。 バージョン8.3以降、PostgreSQLのトランザクションは非同期にすることができます 。



つまり、トランザクションコミット操作（COMMIT）が実行されると、PostgreSQLサーバーは、高価なトランザクションログ同期（WAL fsync）操作が完了するまで待機しません。 つまり、すべての論理条件が満たされるとすぐに、トランザクションは正常に完了したと見なされます（必要な整合性制約がすべてチェックされます）。 物理的に、トランザクションログは非常に短い時間で書き込まれます（通常、正常に機能するシステムでは、これは最大200〜1000ミリ秒です）。環境変数synchronous_commitは、トランザクションの状態（同期/非同期）を担当します。 非同期モードへの切り替えは簡単です。

SET synchronous_commit TO OFF;

非同期トランザクションは、fsync操作が無効になっているサーバー操作モードの代替ではないことに注意してください。 実際には、fsync = offモードは、ベースの一貫性のない状態につながる可能性があり（たとえば、予期しない機器の故障や電力損失の場合）、信頼性の高い機器が使用されている場合にのみ推奨されます（たとえば、バッテリー付きのディスクドライブコントローラー）。 新しい機能を使用しても、データの不整合は発生しません。 可能な最大値は、データのごく一部の損失です（これも、深刻なサーバー障害（OS、ハードウェア、電源障害）の場合）。 非同期トランザクションの典型的な例は、いくつかの行の損失が重大でない場合に、テーブルログ（たとえば、ユーザーアクションのログ）に大量の情報を格納するタスクです。 ただし、すべての重要なトランザクションは引き続き同期できます。



別のパフォーマンスの向上は、PostgreSQLがクエリ（SeqScan操作）を実行するときにテーブルを順次スキャンする状況に関連しています。 バージョン8.3より前の場合、このような場合、異なるPostgresプロセスが同じジョブを同時に実行したという状況がしばしば発生しました- 同期スキャン（「同期ビュー」）の実装のおかげで、同じテーブルを同時に見るようになりました1つのテーブルの時間は1回のスキャンでしか実行できません。 これは次のように達成されます。 セッション内で、SeqScanがすでに実行されているテーブル（別のセッション用）にSeqScanが必要な場合、既に実行されているSeqScanの結果への「移動中のジャンプ」があります。 このプロセスが完了すると、必要に応じて、別の不完全なSeqScanを使用して結果が「補足」されます（図を参照）。



チェックポイントプロセスシステム（「コントロールポイント」）によって生じるストレスの影響を軽減する作業は継続しています。チェックポイントはすぐに実行されるのではなく、徐々に実行されます。プロセスは時間内に「広がり」ます。 したがって、この変更の名前はチェックポイント平滑化です。 サーバーを定期的にシャットダウンし、「明示的な」チェックポイント操作（ CHECKPOINTコマンド）を実行している間、データは可能な限り高速にディスクに書き込まれることに注意してください。



パフォーマンスの説明を終了するために、PostgreSQLを使用するシステムのパフォーマンスを改善するために設計された他の変更点の短いリストを以下に示します。

• autovacuumはデフォルトで有効になりました 。
• 状況によっては、 複数の自動バキュームプロセスを一度に開始できるようになりました （たとえば、大きなテーブルをクリーニングする長いプロセス中に、小さなテーブルがこのプロセスの完了を待つ必要がなくなりました）。
• データベースが占有するディスク容量の顕著な減少 ：1）以前は厳密に4バイトを占めていたvarlena型ヘッダー（可変長のデータ型：テキスト、配列など）により、状況によっては1バイトのみ。 2）テーブル行ヘッダーの保存（以前は27バイト、現在は24バイト）。
• データを変更しないトランザクションの実行は、トランザクションカウンター（xid）の値を増加させません 。これにより、トランザクションカウンターの重複（xidラップアラウンド）の可能性が大幅に減少します。 さらに、この変更は、トランザクションログの転送に基づく組み込みのマスタースレーブレプリケーションの実装に向けた重要なステップです。現在、マスターノードとスレーブノードの間でxidカウンターの非同期化はありません。
• bgwriterプロセスのパラメータを自動調整するメカニズムが実装されました （バックグラウンドライタは、ダーティなダーティバッファをディスクに書き込む特別なプロセスです）。
• " …ORDER BY … LIMIT…
  
  
  
  "（いわゆるTop-Nソート ）を使用してクエリの結果を取得するメカニズムを最適化しました：場合によっては、システムは必要なデータページをRAMに保持し、結果の出力を非常に高速にします。
• これで、（これまで2つの定数の形式でのみ）関数を実行する推定コストと返される行数を指定できるようになりました。これにより、PostgreSQLプランナーは最適なクエリプランを選択できます（例： ALTER FUNCTION log_data(text) COST 100000 ROWS 1
  
  
  
  ）。

データベース開発者

ここで注意すべき最も顕著な重要な変更は、 全文検索モジュール（contrib / tsearch2）のシステムコアへの移行です。 ロシアの開発者Oleg BartunovとFedor Sigaevによって開発されたtsearch2は、長い間Postgresの最も人気のあるcontribモジュールです。 全文検索をカーネルに移行するためのパッチは、骨の折れる長い作業の結果としてこの夏に採用されました（パッチの受け入れバージョンは58です！）PostgreSQLチームのいくつかの主要な開発者によって、プロジェクトの歴史の中で最大です。



tsearch2モジュールのすべての機能がデフォルトで使用可能になり、新しいPostgreSQLバージョンへの移行プロセスが大幅に簡素化されるという事実に加えて、辞書とテキスト処理ルールの構成がより簡単になります：基本的な構成操作はすべてSQLコマンドを使用して実行されます。 ここでは、たとえば、簡単なシソーラス辞書を作成できます。

 テキスト検索辞書の作成thesaurus_astro（
     TEMPLATE =シソーラス、
     DictFile = thesaurus_astro、
    辞書= english_stem
 ）;
 ALTER TEXT SEARCH CONFIGURATIONロシア語
     lword、lhword、lpart_hwordのマッピングを追加
         WITH thesaurus_astro、english_stem; 

インデックス作成プロセスも簡素化されました。 通常のテキスト列の上にGINインデックスを作成する例（追加の列とトリガーを作成せずに）：

 インデックス作成pgweb_idx ON pgweb
     USING gin（to_tsvector（ 'russian'、title || body））; 

また、関連性によるランキングを使用したクエリの例は、特殊関数plainto_tsqueryを使用してtsqueryを取得します（文字のエスケープを忘れて、プレーンテキストをtsqueryにすばやく簡単に変換できます）。

 選択
     ts_rank_cd（textsearch_index、q）ASランク、タイトル
から
     pgweb、plainto_tsquery（「超新星」）q
どこ
     q @@ textsearch_index
 ORDER BY
    ランクDESC LIMIT 10; 

もう1つの注目すべき変更点は、この記事の著者が参加したXMLサポートです。 この機能は、SQL：2003標準（標準の14番目の部分、SQL / XML）に従って実装されています。



まず、カーネルには特別なxml



データ型が組み込まれています。 このタイプを使用する場合、サーバーはデータが正しく形成されているかどうかを確認します（ 整形式チェック ）。 さらに、ドキュメントの一部の操作が許可されるユースケースがあります（これにより、 xml



データ型でXMLを操作するための「クローズ」関数のプロパティを提供できます）。



SQL：2003標準に従って、リレーショナルデータをXMLに変換するための一連の関数（いわゆるSQL / XML発行関数）が実装されています。 XMLデータを生成するリクエストの簡単な例を次に示します。

  SELECT XMLROOT（
    XMLELEMENT（
       NAME 'some'、
       XMLATTRIBUTES（
          'val' AS 'name'、
          1 + 1 AS 'num'
       ）、
       XMLELEMENT（
          NAME 'more'、
          「foo」
       ）
    ）、
   バージョン「1.0」、
   スタンドアロンはい
 ）; 

さらに、DTD検証のサポート（ xmlvalidatedtd()



関数）、XPath式の評価のサポート（xmlデータ型から配列を返すxpath()



関数）、およびXML（ tabletoxml()



関数がtabletoxml()



リレーショナルデータの簡易公開のための代替関数、 querytoxml()



など）。



XMLデータでのクエリの実行を高速化するために、機能的なbtreeインデックスとGINインデックス、およびXMLデータのフルテキスト検索を使用できます。 XPath式の評価に基づいてbtreeインデックスを作成する例を次に示します。

  CREATE INDEX i_table1_xdata ON table1 USING btree（
    （（xpath（ '// person / @ name'、xdata））[1]）
 ）; 

データ型に関して、PostgreSQL 8.3では多くの革新が導入されています。カーネルに組み込まれたtsquery/tsvector



およびxml



型に加えて、以下が登場しました。

• 彼らのSQLから移行するユーザーを含む、一部のユーザーの利便性のためのenum
  
  
  
  （ユーザー定義の列挙データ型）。
• GUID / UUIDデータ型（contribモジュールとして）;
• 複合型の配列 （たとえば、ユーザー定義型）。

そして最後に、他の変更点の短いリスト：

• PL / pgSQL関数のクエリプランキャッシュの自動無効化 。
• 「 CREATE FUNCTION … RETURNS TABLE
  
  
  
  」および「 RETURN TABLE…
  
  
  
  」を構築して、テーブルを生成する関数を作成します。
• カーソルの更新操作のサポート。
• 標準（ISO / ANSI SQL） ORDER BY … NULLS FIRST/LAST
  
  
  
  コンストラクトは、NULL値の順序の設定を簡素化します（他のDBMSから移行する場合にも役立ちます）。
• GiSTインデックスのNULL値のインデックス付け。

データベース管理者

DBAの寿命を延ばすことを目的とするものの多くは上記で説明されているため、このセクションは不十分であることが判明しました:-)それにもかかわらず、残りの部分について簡単に説明します。



クエリプラン（ EXPLAIN ANALYZEコマンド）は、どのソートアルゴリズムが選択され、どのくらいのメモリが消費されたかを表示するようになりました 。

 クエリプラン
 -------------------------------------------------- -----
 並べ替え（コスト= 34.38..34.42行= 13幅= 176）（実際の時間= 0.946..0.948行= 6ループ= 1）
   ソートキー：obj2tag.o2t_tag_name
   ソート方法：クイックソートメモリ：18kB <-こちらをご覧ください！
    ->ハッシュ結合（コスト= 19.19..34.14行= 13幅= 176）（実際の時間= 0.812..0.835行= 6ループ= 1）
 [...] 

Simon Riggsによって作成された特別なpg_standby contribモジュールは、WAL転送ログログに基づいてウォームスタンバイサーバーをセットアップする管理者の作業を簡素化します。 このモジュールは純粋なCで記述されているため、新しいプラットフォームに簡単に拡張および移植できます（少なくともLinuxおよびWin32でパフォーマンスがテスト済みです）。



関数を定義するときに、特定の関数のフレームワーク内でのみ動作する環境変数を再定義することが可能になりました（ 変数の値を関数にバインド ）。 たとえば、これはlog _data()



関数の実行がトランザクションを非同期モードに切り替えることを指定する方法です。

  ALTER FUNCTION log_data（テキスト）
         SET synchronous_commit TO OFF;

さて、そして、伝統的に、このセクションの他の新製品の短いリスト：

• GSSAPIサポート
• Win32プラットフォームでのビルドの改善 （MinGWは不要になりました。アセンブリはMS VC ++で行われます。これにより、Windowsでのパフォーマンスが向上します）。
• インデックスを考慮して同じ方法でテーブルを作成します （例： CREATE TABLE dict2 (LIKE dictionary INCLUDING INDEXES
  
  
  
  ））。

追加プロジェクト

EnterpriseDB （従業員はアクティブなPostgreSQL開発者であり、8.3のパフォーマンスの変更の多くはメリットです）は、標準のpgAdminIII管理ツールでPL / pgSQL関数をデバッグしてプロファイリングを実行できるcontribモジュールであるpldebuggerデバッガーをリリースしました 。



このプロジェクトは現在、独立したcontribモジュール（ PgFoundryで提供 ）として存在し、多数のプラットフォーム（LinuxおよびWin32を含む）で動作します。 このモジュールはPostgresのバージョン8.2でも動作することに注意してください。



少し前に言ったように 、 Skype （同名の有名なプロジェクトでPostgreSQLを使用）は、大規模な開発者サークルに役立ついくつかの製品をオープンソースでリリースしました。 その中でも、まず第一に、非常に軽量なPgBouncer接続マネージャーである（アプリケーションのビジネスロジック全体がストアドプロシージャとして実装されている場合）実質的に制限なしに水平スケーリングを組織できる擬似言語PL / Proxyに注目する価値があります。 Skype開発者ゾーンページをご覧ください。多くの興味深いものが見つかります！



2007年の春と夏の変わり目に、シンプルで便利なpgFouineログ分析ツールのバージョン1.0 がリリースされました 。 このプログラムは、データベースサーバーのプロセッサが何をしたかを調べるのに役立ちます。 pgFoiuneはPostgresクエリログを分析し（クエリロギングを有効にする場合、以下の時間制限を導入することをお勧めしますlog_min_duration_statement



パラメーターの説明を参照）、最も遅いクエリ、エラー、および一般的な統計に関するレポートを提供します（ 例を参照）。 したがって、このツールを使用すると、データベース開発者は、PostgreSQLを使用してアプリケーションを高速化するために改善できるクエリを理解できます。



最後に、残りの製品について簡単に説明します。

• pgSNMPプロジェクトは、PostgreSQL（サーバーステータスモニタリング）用のSNMPエージェントの実装です。
• SEPostgres - SELinux拡張セキュリティモデルに基づく拡張機能。
• インデックスの作成に関するデータベース管理者への推奨事項を提供するツールが作成され、そのようなインデックスが使用可能な場合、クエリを実行するための可能な計画を示します（ Index Advisor ）
• Web管理用の有名なツールphppgadminに Slonyクラスター、全文検索、自動バキューム設定を構成する機能が登場しました（または登場しそうです）。

おわりに

バージョン8.3は、企業向けの完全なデータベース管理システムに向けた次のステップです。 生産性の自明でない改善、ユーザーのニーズによって決定される機会の出現、多くの衛星プロジェクトの拡大-これらはすべて、PostgreSQLの自信と迅速な開発を示しています。



このレビューを書くとき、著者は次のソースを使用しました。

• pgwiki / WhatsNew83
• pgwiki / Feature_Matrix
• pgwiki / 8.3_Changelog
• pgwiki / Todo：PatchStatus
• モスクワのHighload-2007カンファレンスでのBruce Momjanによるレポート（ pdf ）。
• 公式のPostgreSQL 8.3ドキュメント 。
• Pgsql-hackersメーリングリストアーカイブ。