「もちろん、マルチマスターは最も深刻な機会だと考えています」-Postgres Pro EEの開発に関するIvan Frolov

同僚の皆さん、私たちの新しいルーブリック「データベース開発者とのインタビュー」の第2号をあなたの注意を喚起することを嬉しく思います。 Postgres Professionalの開発者であるIvan Frolkovと話をしました。 Ivanはデータベースのアプリケーション開発に20年以上携わっています。 今日、Ivanは秘密のベールをカバーし、「国内のポスグレ」であるPostgres Pro：EEの新しい興味深い機能について説明します。







PG Day：データベースの作成期間はどのくらいですか？また、一般的にあなたは職業に就いていますか、あなたの役割は何かなどを教えてください。



IF ：データベースを始めたのは93歳で、株主名簿のような恐ろしいことをしました。 そして、誰かが覚えているなら、バウチャーの民営化がありました。 クリッパーで書きました。 それから、一般的には、特別なオプションはありませんでした。FoxPro、Clipper、そして私の意見では、それだけです。



いくつかの法律上の理由により、当社は複数の支店に所属しており、互いに重複しています。 私は彼らと情報を交換しなければなりませんでした。 彼らはまた、この株主名簿をクリッパーで書きました。 多くの個人、バウチャーの民営化、すべてがありました。 特に衝撃を与えたのは、最初のいくつかの画面が単にバイナリガベージで構成されていたためです。データファイルが破損しているように、すべてがゴミでした。 ゴミが空のフィールドになった後、名前、姓、愛称がすでに始まっています。 それから私は自分自身に問いかけました：私たちに普通のように見えるものをどれだけ信用できるのでしょうか？ これは私が健全な判断を下した最初のものです-それは94年目でした。 それから私はロシア連邦財務省に勤める会社に勤めました。 私はロシア連邦の監査人の登録簿を維持する責任があり、監査業務の登録簿、証明書、ライセンスがありました。 SQL Server 6.0、6.5、7.0、およびDelphiがありました。



さらに私は少しびっくりしました。 それから私はMail.Ruに行き着いた。 ポストカード、郵送、回答を作成しました。 Mail.Ruの後、彼はスタートアップに従事していました。 すべてが何らかの形でデータベースに接続されていました。 結局、私もスタートアップのようなものでしたが、プロフェッショナルでした。 私は、主にクエリの最適化とさまざまなドキュメントの作成を行うPostgresSQLデータベースに携わっていますが、率直に言って、非常に疲れていました。



PG Day：クエリの最適化を行っていると言います。 どういう意味ですか、すべて同じですか？ Postgres Proで何を担当していますか？ 私の知る限り、特定のパッチ、バージョンはイデオロギー的に発明されています 。



IF ：イデオロギー的に、私は長い間歩いて、Postgresが非常に厄介なパーティション分割を持っていることを痛感しました。 最後に、彼らはパーティション分割を行いました。もちろん、私はそれを以前のバージョンから動かしました。 今では非常によく表れています。 非常に重要なものが2つだけ残っています。グローバルインデックスも、個別のパーティションインデックスもありません。 そして、2万〜3万を超えるセクションの数ではあまりうまくいきません。 現在、ベースは大きく、数十万、特大ボリューム用に最大100万のセクションが必要です。 みんながやってみて、私は歩いて泣き叫ぶ、彼らは書く。 私が何らかの形でそれに影響を与えることを願っています



2番目に影響を受けたのは、疎外されたテーブルです。 おそらく私がそれらを発明し、ナスティア・ルベンニコワに気付いたのでしょう、ありがとうございます。 アイデアは、あるサーバー上でデータを含むテーブルを準備し、それを「バキューム」し、インデックス、統計を構築し、すでに準備されたものを別のサーバーに接続解除することです。



私はアプリケーションとの統合に直接関与しています。 .netについて言えることは、幸運にも不幸にも書いていません。 Java 、 PHPに出くわします。 そして、「私たちには要求があります。どうにかしてそれを分散させなければなりません」 私はそれを壊しています。 彼らはまた私にヘルパーをくれました。 賢い人、私はそれが好きです。 ここでオーバークロックしています。



PG Day：来たるPG Dayで、開発中のPostgres Proのエンタープライズバージョンに関する非常に詳細なマスタークラスを読むことになります。 このバージョンの機能に専念しているこのマスタークラスをどのように読んでいるのですか？ そして、2番目の質問：それは本当に多くの時間のマスタークラスに値するほど新しい機会でいっぱいですか？



IF ：私は常に自分をアプリケーションプログラマーと考えていました。 DBMSを作成する人ではなく、それを使用する人。 マスタークラスは、主に直接コードを書く人に焦点を当てると思います。 DBMSにあるコードではなく、Marya Ivannaが到着して「何かをクリックすると、すべてが消えた」というコードです。



開発者にとって、このバージョンはどれほど興味深いですか？ はい、いくつかの非常に興味深い機会があります。 私はすでに疎外されたテーブルについて言及しました。 このタスクは、1人のクライアントの要件から生じました。クライアントのデータは、データベースにデータを挿入する時間がないほどの速さで定期的に落ちていました。 これは、非常に大量のデータのために、テーブル内の多数のセクションが必要であることを意味します。



また、私の提出物から、非常に小さくて非常に素晴らしいpg_variablesモジュールを作成しました。 これらはセッション変数です。 彼らは、セッションの間、セッションのためにローカルに住んでいます。 一般的に、一方では、超自然的なものは何もありません。 一方、何らかの理由で、これはまだ行われていません。 特に、これはバッチ変数があるため、Oracleから移行しているユーザーにとっても重要です。 Postgresでは、これはあまり良くありません。



3番目： マルチマスターを積極的に開発しています。 これは本当に真のマルチマスターです。 一般的に言って、私はあらゆる種類のお金、特に悪名高い銀行「オペラン」ではなく、請求書などをかなり考慮しました。 所有者または経営者は、お金で何がどのように起こっているのかを正確に知りたいと思っています。 したがって、トランザクションの整合性とデータの一貫した表示の問題に対処します。 マスターでは実際に提供されています。 彼は本当にマスターマスターです。 すべてが正常に動作しています。 いたずらはありません。 競合を解決するには、完了に失敗したトランザクションをロールバックする必要があります。



今、彼は目が離せないほど良くなった。 これは、私たちのクライアントの1人の話で示されました。彼は冬眠のかなり複雑なロジックを持っています。 彼は、特定のトランザクションについて、読み取りまたは書き込みのいずれであるかを言うことはできません。 彼の仕事はうまくいき、バニラのPostgresの2.5倍の速さでマルチマスターに取り組みました。



PG Day：はい、とても印象的です。 ノード間の競合を解決する問題、トランザクションがロールバックされることなどについて言及しました。 マルチマスターの操作は問題があることを意味し、何らかの方法で解決する必要があることを常に感じていました 。 通常の機能を回復するために手動で介入することです。



IF ：この場合、マルチマスター操作を実行すると、 同期レプリケーションが実際に発生し、その後、正直で完全に正常な2フェーズコミットが発生します。 はい、それは通常のコミットよりも重いです、誰も主張しません。 しかし、一方で、これはマルチマスターに少なくとも3つの「ノード」を取得し、それに応じて読み取りパフォーマンスが3倍に増加するため、多数の読み取りの場合に勝ちとなります。 はい、そのような場合、JDBCドライバーは接続文字列のさまざまなサーバーのリストに非常に関連していることに注意する必要があります。 つまり、たとえば、障害が発生した場合、自動的に再接続できます。



純粋なパフォーマンスではバニラよりも遅れることがありますが、他のサーバーとの同期は依然として必要です。 当然、これにはいくつかの制限があります。 しかし、一方で、私たちは本当に効果的な壊滅的な解決策でそれを手に入れます。



別の可能性は、主に読み取りに焦点を当てたテーブルの圧縮です 。 確かに、ガベージコレクターと呼ばれる別の種類のバキュームが表示されます。 たとえば、実際に出会った巨大なテーブルのほとんどは、追加専用テーブルです。 たとえば、政府機関。 イベントがあり、登録します。 多くのイベントがありますが、イベントは起こりました、そして、それは不変です。 そして、この場合、データ圧縮は基本的に入出力に顕著な利益をもたらします。 ここでは、ディスクのサイズがこれほど大きくないのは、ディスクが大きくなったためですが、その一方で、読み取りとI / Oの恩恵を大いに受けています。



PG Day：個人的なお気に入りのエンタープライズ版の機能はありますか？



IF ：不思議なことに、私はあなたが座って何かのコード、単純なpg_variablesを書かなければならないという観点から、最も気に入っています。 苦情はありませんが、快適です。 もちろん、最も深刻な機会は、マルチマスターを検討することです。



PG Day：覚えている限りでは、アナウンスしたマスタークラスに関して、ネストされたトランザクションと自律型トランザクションについてのポイントがありました。 この問題についてあなたが計画したことを簡単に教えてください。



IF ：通常必要な自律型トランザクションを使用する最初の機会はロギングです。 ユーザーがこのような操作を実行すると、突然ロールバックが発生し、すべてのデータが失われます。 たぶん彼は何か悪いことをしたいので、これを考慮に入れるといいでしょう。 自律型トランザクションを使用すると、メイン操作とは完全に独立して、この操作を個々のトランザクション内に登録できます。 このような自律的なトランザクションや外部アプリケーションなしでは何もできないような微妙な瞬間がまだあります。 たとえば、ビットコインを送信する必要があるときにこれに遭遇しました。



ビットコインの状況はどうですか？ グローバルな総勘定元帳、会計があり、ブロックチェーンが呼び出され、トランザクションがそれに書き込まれます：そのようなアカウントからそのようなもの、そしてそのような量へ。 絶対に標準です。 すべてはややトリッキーですが、簡単にするために、これがそうであると仮定します。 問題は、取引所の他の参加者が確認したときにトランザクションが真になるということです。 つまり、トランザクションを送信するとき、トランザクションが成功したかどうかはわかりません。 送金しましたが、再送信が必要になる可能性があります。 これは、月に一度発生する可能性があります。 送金の操作を実行すると、トランザクションが取得され、ロールバックされます。 はい、私たちは正直な人です、私たちは二重に支出しませんが、正直な言葉にコードを置くのはちょっと奇妙です。



明らかな理由で2フェーズコミットを取得することはありません。検証できれば、すでに送信したべき等性プロパティを実装できますが、そうしません。 つまり、最終的には、実行の結果がわかりません。 1回のみ送信でき、すべてが正常であることを願っています。 DBMS内では、これを行うことはできません。 トランザクションがロールバックされると、アプリケーションプログラマーの観点からは何もなかったように見えるため、一方で、支払いの試行の事実を修正する必要があり、他方では、ロールバック中にすべてが失われます。



PG Day：誰も外部の助けなしにそれを理解することはできません。



IF ：アプリケーションからこれを行う場合、2番目の接続を開いて、別のトランザクションでレジスターを送信することができます。 そして、まず送信しようとしているものを登録してから送信します。 残念ながら、自律型トランザクションなしでDBMS内でこれを行うことは不可能です。 自律型トランザクションでは、これは完全に実行可能です。 他に何？ これは、発生する2番目のタスクです-キャンセルされた操作の繰り返し実行を避けるため。



また、 スケジューラの興味深い機能であるスケジュールタスクについても説明します。 pl / pgsqlから入手できます。この方法でクエリを呼び出すことができ、さらにタスクにとっても興味深いものです。 実行するタスクを送信できます。 シェダーで何が面白いですか？ 私たちのタスクは互いに依存する場合があります。 つまり、そのようなタスクは、他のタスクが完了するまで完了しません。



PG Day：つまり、ある種のビジネスロジックは既にこの方法でプログラムできます。



IF ：はい、覚えているなら、 mbusでメッセージを注文しました 。

これは、同じロジックの単なる実装です。 つまり、特定の操作をいくつかのステップで実行できます。 失敗した場合は、数ステップで再度ロールバックする必要があります。 彼らは今彼のためにユーザーインターフェースをやっています。何が起こるか見てみましょう。 これまでのところ、APIでのみ使用できます。



PG Day：とても印象的で、興味深いことがたくさんあります。 弊社では、一部の参加者は、これが単なるマーケティングレポートではなく、これらすべての機能が非常に優れていることを伝えるという懐疑的な意見を表明しました。 参加者がそれが本当にクールであることを確認できるように、練習や例を計画していますか？ 実例となるデモンストレーションを期待できますか？



IF ：計画しています。 Postgres Pro EEのバージョンを配布する予定はありませんが、コンピューターにすべてを表示します。 どのようなクールな機能のトピックで、私は自然に話します。 では、なぜそれが悪いのかをまったく伝える必要があるのでしょうか？



マスタークラスは、特に製品の使用を本当に考えている人や組織にとって興味深いものになります。 このセミナーが、恐怖を払拭し、新しい機会を示し、無意識の問題を示すために正確に役立つことを願っています...



マーケティングに携わりたいと思うなら、まずFSTECライセンスを持っているという事実についてお話しします。ある顧客のために、機密レベルの「国家秘密」のプロジェクトを作りました。 はい、誰もがそれを必要とするわけではありません-おそらく、少数の人でさえ、誰がそれを必要とします-それらは本当にそれを必要とします。 さらに、最高レベルで個人データを処理できます（「グループ1-主題の国家的および人種的所属に関する情報、宗教的、哲学的または政治的信念、主題の健康および親密な生活に関する情報を含む個人データの特別なカテゴリ」）。 医学の場合、この制限は非常に重要です。 私がマーケティングに従事していたら、私はこれを言うでしょう。 なぜなら、多くのアプリケーションにとって、これらは単なる致命的な要件だからです。 しかし、私はしません。



PG Day：DBAの初心者には何をお勧めしますか、どのテクノロジーを見るべきか、誰の記事やブログを読むべきですか？



IF ：

1.「データベースシステムのアーキテクチャ」という本を注意深く読んでください。

2.使用するデータベースのドキュメントを少なくとも注意深く調べます。

3.会計の基礎を学びます。 第一に、それは純粋に世界的に有用であり、第二に、DBMSの要件がどこから来たのかが明らかになります...

4.少数の主要なDBMSをすべて追跡します。

5.特にOracleとDB2については、特にこれは長期にわたって十分であるため、これらに精通することを強くお勧めします。これらは非常に深刻な部分です。



私は個人的にPostgresのメーリングリストを読んでいますが、これは必読ではないと思います。



PGD​​ay：結論として、仕事や私生活での使用に関して、どのオペレーティングシステム、アプリケーション、および機器を使用していますか？



IF ：予期しないことはありません-Windows 10を搭載した古いラップトップを自宅に持っていると、妻と娘が理解できず、ubuntuでのちょっとした旅行もプラスになります。ubuntuのため、彼らはそこに行くことはありません。 職場では、通常のDebian。 アプリケーションから-ご存知のように、プログラマーにとって最も重要なアプリケーションはWord（またはLibre Office）です。 など-vi、psql、pgAdmin3、Netbeans-私はそれに慣れました。



新しいフォークの開発は大規模なタスクです。 残念ながら、国内の発展に関するすべての詳細を30分間の会話の枠組みに適合させることはできませんでした。 友人たち、あなたの質問を必ずしてください、イヴァンと彼の同僚はとても幸せです。 まあ、私たちは皆をPG Day'17ロシアに急いで招待しています。 Ivanは、開発者向けのワークショップPostgres Pro Enterpriseを開催します。このワークショップでは、インタビューで既に言及したフォークの機能やその他多くの機能について詳しく説明します。 また、イヴァンの同僚からの多くの興味深いプレゼンテーションがあります：オレグ・バルトゥノフ、アレクサンダー・コロトコフ、イヴァン・パンチェンコ、および他のPostgres Professionalスペシャリスト



PG Day'17 Russiaでお会いしましょう！