NoSQL時代の背後

HighLoad ++の新しいトレンド-RAMの使用に関する多くのレポート。 Tarantoolプラットフォームの開発者であり、レポート「RAMのデータ用DBMSの特別な点」の著者であるKonstantin Osipovに一言。



MySQLのパフォーマンスを担当していましたが、独自のDBMSを開発することにしたのはどうしてですか？

MySQLでは、サーバー開発チームの1つを率い、誰もがパフォーマンスを担当しました。



MySQLは多くの点で夢の仕事でしたが、残念なことに、Oracleに参加してから多くのことが変わりました。



同僚の何人かがMariaDBに行き、誰かが自分の会社（SeveralNines、FromDual）を設立しました。 私は決して「十分に活用されていない」と感じたことはなく、多くの主要な開発者の退社により、仕事は一般的に知識移転マラソンに変わりました。 買収への抵抗、ゼロから始めたいという願望、大企業による遅い意思決定に対する反抗、さまざまな理由で米国に向けて出発することをためらう、最終的にはMail.Ruからの申し出がありました。



自分がどこへ行くのかわかっていれば、さらに10回考えるでしょう。 時には、Mail.Ruの外部で使用する何か有用なことができるという信念がまったくなかったことがあり、現在でもTarantoolは「理想的なDBMS」からはほど遠いものです。

Tarantoolが単なるDBMSではなくプラットフォームであるのはなぜですか？ プラットフォームを実行するためのチップは何ですか？

意味のあることをするだけです。 従来のDBMSの場合、作業の最適化が常にディスクサブシステムを回る場合、RAMのDBMSの場合は、ネットワークがパフォーマンスのボトルネックになります。 1 KBのリクエストサイズで毎秒100,000リクエスト-すでに1 GBカードの帯域は100％いっぱいです。 メモリを操作する場合、1つのTarantulaは1コアを使用して100,000リクエストを使用できます。 そして、現代の原子力機械では、何十ものことがあります。 したがって、アプリケーションサーバーを作成して、計算をクライアント上だけでなくデータに対しても行えるようにします。



2番目の考慮事項は、非常に多くの製品が単純に互いの機能を複製することです。 たとえば、今日では多くの人がMemcacheの代わりに大根を使用しています。これは単にソリューションの「動物園」を小さくするためです。 内部のテクノロジーはほとんど同じです。 このプラットフォームを使用すると、複数のソリューションを一度に置き換えることができます。たとえば、最近、Mantcachedプラグインを作成して、TarantulaのMemcachedバイナリプロトコルを実装しました。



ボーナスとして、ユーザーは他のすべての機能（マスター複製やプラグインストレージエンジンなど）を受け取ります。

データベースの世界はどこに向かっていますか？ NoSQLの復活は忘れられた古いものですか？ なぜ今ですか？ 次に何が起こりますか？

これは議論のための大きなトピックであり、多くの並行するトレンドが同時に開発されています。 たとえば、「専門化」が同時に発生します-非常に高品質で狭い範囲のタスクを解決するニッチツールが表示され、一般化されます-ある時点で、コミュニティは動物園に飽きて1つで止まります。



一般的に、NoSQL時代は遅れていると言えると思います。 すべてのNoSQLソリューションはSQLを追加しますが、それらのすべてがまだそれを行っているわけではありません。 SQLの拡張機能は、特殊なタイプのデータ（グラフなど）で機能するように開発されています。



一方、標準の宣言型言語がまったくない非常に大きなタスク層がまだあります。ビッグデータと知識の検索に関連するすべてのものです。 次の10年で、私たちはこの面で収haveするでしょう。



「鉄」の傾向のうち、今後数年間でARMプラットフォームは非常に真剣に開発されると思います。少なくともCavium製品、Scalewayクラウドホスティング、および多くの点でARMベースの「オフライン」環境のグローバルオートメーションに注目する価値があります。



ビジネスの分野では、クラウドテクノロジーがユビキタスになりつつあることを誰もがすでに理解しています。 ベンダーとして、私たちにとってこれは非常に重要です-消費者への製品の「配送」の手段を変更する必要があります。



今日、さまざまな人気のあるディストリビューションのパッケージを提供する場合、明日はさらに多くのクラウドプラットフォームをサポートする必要があります。Dockerのイメージだけで始まり、Microsoft AzureまたはHerokuでのワンクリックインストールで終わります。 雲のある状況は、小規模な農民が大規模なスーパーマーケットの棚を利用できる状況と似たものになるリスクがありますが、これまでのところそうではありません。

RAMはより安価で効率的になりつつあり、これにより、RAMを使用して、ますます多くのアプリケーションの作業データセットを格納できます。 すべてのデータをRAMに保存すると、アクセスしやすくなり、データを操作するアルゴリズムを大幅に簡素化または高速化できます。

インメモリDBMSの特別な点と、そのようなプログラムの動作は、C、C ++、Javaで記述された任意の高負荷システムとどのように異なりますか？

私のレポートでは、RAMにデータを保存するための特殊なアルゴリズムとデータ構造について説明します。

-妥協のないメモリ割り当て：なぜこれはDBMSでのみ可能ですか

-ハッシュと連想配列：高速にするだけでなくコンパクトにする方法

-ブロックせずに同じデータの競合更新をメモリに実装するにはどうすればよいですか？



メモリ内のDBMSの「ボトルネック」は、「古典的な」DBMSの類似物とは大きく異なるため、シンプルさとエレガンスが生き残るために必要な条件です。 戦いはバイトと命令のためであり、複雑なコードは単に効率的に機能することはできません。 メモリ内のトランザクションを処理するためのシンプルなソリューションが、レプリケーション、トランザクション中止中のロールバック、トリガーやデータスキームの変更などの「高度な」機能のサポートを簡素化および高速化する方法を説明します。

Dmitry Kalugin-Balashovは、 「インメモリNoSQLデータベースを賢明に選択する方法」というレポートでトピックを続けています。 パフォーマンスのテスト 。 」 Dmitryは、Memcached、Redis、Tarantool、CouchBaseなどのNoSQLソリューションのテストを実施し、このテストの結果を会議で発表します。



Dmitryが何を選んだのかはわかりませんが、最良の選択肢の1つはTarantoolプラットフォーム、DBMS、および1つのボトルに入ったアプリケーションサーバーです。 Mail.Ruチームは、Mail、Ratings、CloudsなどのプロジェクトがどのようにTarantoolに転送されたかについて話します。



Postの実装により、会社は100万ドルを節約することができました-PostのテクニカルディレクターであるDenis Anikinが語っています。



Vasily Soshnikov（Ratings@Mail.ru）とAndrey Drozdov（Tarantool）は、NginxとTarantoolに基づくサービスの構築などのアーキテクチャパターンについて説明します。 パターンのロジックを段階的に説明するトレーニングレポート。 ところで、TarantoolにはNginx用のアップストリームモジュールがあります。



Anton ReznikovとVladimir Perepelitsa（Cloud@Mail.ru）は、Tarantool上でのマイクロサービスの概念の実装について説明します。 はい、Tarantoolは別のNoSQLデータベースですが、完全なアプリケーションサーバーでもあります。 データの隣にあるアプリケーション！









-いや、いや、いや！ Tarantoolは私たちには多すぎます、NoSQLから何か他のものはありますか？ -あなたは私たちに尋ねます。



はい、あります。 Vladimir Akritskyによるレポート「HighLoadプロジェクトのNodeJS」 。

過去1年間、NodeJSを使用してプロトタイピングを行うDMP（データ管理プラットフォーム）プロジェクトを開発してきました。 現時点では、プロジェクトの大部分はまだJS上にあり、1秒あたり10,000件のリクエストという現在の負荷に簡単に対処できます。



レポートでは、.NET、Go、NodeJS、Python、Rubyのいずれかを選択しましたが、NodeJSを選択した理由を説明します。 選択を後悔せずに、一部のプロジェクトで引き続き使用します。

面白い？

HighLoad ++に来て、会議まであと1週間足らずです！

最後に 、Habrahabrユーザーの場合、カンファレンスでは15％の特別割引が提供されます。チケットの予約時にIAmHabrコードを使用するだけです。

そして最後に 、 会議はすでに来週であり、私たちはあまり頻繁に書かないでしょう-私たちは寝てリラックスします。 しかし、その後、戻ってきます。Habréのブログと無料のニュースレターで新しい出版物を見つけることができます。 いつでも連絡を取り合うことができます！