slowpokeは最速のデータベースではありません

みなさんこんにちは。



slowpokeは、golang標準ライブラリで記述されたキー/バリューデータウェアハウスです。 Slowpokeには最小限の便利なAPIがあり、かなり幅広いタスクを解決するのに適しています。



Setコマンドを使用して、slowpokeに値を書き込むことができます。

slowpoke.Set("db/some.db", []byte("foo"), []byte("bar"))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

slowpokeのデータストレージの単位はファイルです。 この例では、ファイル「some.db」とともに「db」ディレクトリが作成され、そこに3バイト（「bar」）が配置されます。



厳密に言えば、slowpokeのすべてのファイルは独立したデータベースです。 各データベースは個別のゴルーチンで管理されます。 ファイルのオープン/読み取りは自動的に行われます。 つまり このデータベースが存在する場合、開いて読み取られます。 そうでない場合は、作成されます。 この機能を使用すると、データベースの操作時にデータベースの状態を考慮せずに使用できます。たとえば、http要求ハンドラーや他のゴルーチンで使用できます。



キーと値として、slowpokeはバイトの配列を取ります。 上記の例では、キーと値は基本的に文字列です。 slowpokeで数字を書きます。

 for i := 0; i < 40; i++ { id := make([]byte, 4) binary.BigEndian.PutUint32(id, uint32(i)) slowpoke.Set("numeric.db", id, nil) }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

数値をBigEndian形式に変換しました。これにより、今後の作業でキーの並べ替えを正しく考慮することができます。 この例の値は指定されておらず、キーの配列のみが作成されます（「numeric.db」のサイズは0バイトになります）。 キーといえば、slowpokeのキーはメモリに保存されますが、ディスクに保存されます。



これにより、一方でキーを使用してすばやく操作し、他方で十分なRAMがない場合はテーブルを閉じることができます。 このため、大きなキーはお勧めしません。 1つのテーブルのすべてのキーの最適な合計サイズは10メガバイトであると想定しています。 このサイズを超える場合は、データベースを複数のテーブルに分割することをお勧めします。 値はメモリに保存されず、任意のサイズ（画像、フィルム）にすることができます。 値テーブルの合計サイズはuint32を超えることはできません。 このアプローチのいくつかの利点（キーと値の個別のストレージ）は、記事www.usenix.org/system/files/conference/fast16/fast16-papers-lu.pdfで説明されています（この記事では、ssd Lsmツリーディスクおよびその他のアーキテクチャーに焦点を当てています） slowpokeでは使用されません）



slowpokeに戻ります。 数値、行、ファイルなどに加えて、いずれかのメソッドでオブジェクトをシリアル化することでオブジェクトを保存できます。 JSONでのシリアル化の例：

 binary, _ := json.Marshal(post) slowpoke.Set("json",key,binary)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

または、golangに組み込まれているgobパッケージを使用します： golang.org/pkg/encoding/gob



slowpokeのすべての書き込みコマンドはアトミックであり、syncコマンド（データ同期）で終わります。 実際、最新のファイルシステムは、ファイルに書き込まれると、本質的にバッファに書き込まれます。 また、オペレーティングシステムがクラッシュすると、バッファが失われます。 ほとんどのデータベースにはnosyncモードがあります（別の名前で呼び出すことができますが、最終的には同期操作が非常に遅いということです。これは特に古いハードドライブで顕著であり、このモードはベンチマークを獲得して記録を高速化するために使用されます ）。 クラッシュの脆弱性に関する良いレビュー 。



slowpokeには「nosync」モードはありません。したがって、



slowpokeに複数のレコードを挿入するには、Setsコマンドを使用します。



このコマンドは、キー/値パッケージを作成するためにお勧めします。 この場合、データはファイルバッファに書き込まれ、記録の最後に1回だけ同期されます。 記録速度を劇的に向上させることにより、データの一般的な安全性を犠牲にすることはできません。 Setsコマンドの使用例：

  var pairs [][]byte for i := 0; i < 40; i++ { id := make([]byte, 4) binary.BigEndian.PutUint32(id, uint32(i)) post := &Post{Id: i, Content: "Content:" + strconv.Itoa(i), Category: "Category:" + strconv.Itoa(i/10)} b, _ := json.Marshal(post) pairs = append(pairs, id) pairs = append(pairs, b) } //store posts fast slowpoke.Sets(posts, pairs)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

上記の例では、最初にキー/値のペアの配列が形成され、次に記録されます。



setコマンドとsetコマンドを使用して、slowpokeでデータを保存する方法を学びました。 ただし、コマンドを読み始める前に、slowpokeからキーを取得するコマンドを検討してください。



slowpokeでキーを操作するために、Keysコマンドが組み込まれています。



キーは、slowpokeから抽出できます。

• 直接注文
• 逆順
• オフセット
• ある値から
• 選択したプレフィックス

コマンド例：

 //get last 2 post key with offset 2 limit := uint32(2) offset := uint32(2) order := false //descending keys, _ := slowpoke.Keys(posts, nil, limit, offset, order)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

キーチームにはいくつかのルールがあります。



制限が設定されていない場合、すべてのキーが返されます。



fromフィールドが指定されている（nilと等しくない）場合、キーはこの値の後に返されます（値自体は含まれません）。



一致するキーがない場合、空の配列が返されます。



内部のキーは、バイトの配列として表されます。 したがって、たとえば、正しくソートされた数値を取得するには、それらをBigEndianに変換する必要があります。



Keysコマンドはメモリ内のデータを操作し、ディスクにはアクセスしません。 内部では、slowpokeで、キーは配列（スライス）に複製され、各スライスはテーブルの下に作成され、Keys呼び出し時にソートされます（必要な場合）。 プレフィックス/値で選択する場合、バイナリ検索が使用されます（可能な場合）。 Keysコマンドは、上記の理由からGet / Getsよりも優先されます。



ページネーションの可能性、次の値の選択に加えて、Keysコマンドを使用すると、特定のプレフィックスでキーを選択できます。 たとえば、tags：idまたはemail：usernameキーはデータベースに保存できます。 この場合、[]バイト（ "sex：*"）など、末尾に*文字を含む値をfromフィールドに転送する必要があります。 また、値を持たないキーを作成する可能性についても思い出します。これは、インデックスをメモリに格納するのに便利です（値のないキーがディスクに格納される場合でも、障害またはテーブルを閉じた場合の回復の可能性のため）。



Keysコマンドと組み合わせて値を選択するには、Getsコマンドを使用すると便利です。



Getsコマンドは、キーの配列（つまり、Keysコマンドの結果）を受け取ります。 例：

  keys, _ := slowpoke.Keys(posts, nil, limit, offset, order) //get key/ values res := slowpoke.Gets(posts, keys)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Getsコマンドの結果は、キーと値のペアの配列です。 注：



-エラーを返さない唯一のコマンド

-キーの1つが欠落している場合、スキップされます

-キーがない場合、空の配列が返されます



また、Setsコマンドは、キー/値のペアを入力として受け入れます。 たとえば、別のテーブルにデータを保存するために使用できるもの。



キー-キーの配列を返します

Gets-キーの配列を受け取り、ペアの配列を返します

セット-ペアの配列を受け入れます



値のグループを操作する関数は、単一の値を操作する関数よりも高速であると言う必要はおそらくないでしょう。



単一の値を選択するには、Getコマンドを使用します。

  res, err := slowpoke.Get(file, key)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

値がない場合、Getはnilを返し、キーエラーは見つかりませんでした。



CloseAll（）コマンド -すべてのアクティブなデータベースを閉じます。作業の最後に呼び出す必要があります。例：

  sigchan := make(chan os.Signal, 10) signal.Notify(sigchan, os.Interrupt) <-sigchan //        slowpoke.CloseAll()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このように：defpoke slowpoke.CloseAll（）



基本的なslowpokeコマンドについて説明しましたが、さらに高度なコマンドもあります。



Openコマンド-データベースを開き、キーをメモリに読み込みます。



閉じるコマンド-データベースを閉じ、メモリからキーをアンロードします。



RAMのサイズで開いているデータベースのすべてのキーを保存できる場合、これらのコマンドを手動で呼び出す必要はありません。 これらのコマンドは、次の場合に役立ちます。



例1：ログを保存する



時間間隔のログはペアの配列で収集され、Setsコマンドを使用して挿入されます

そして、たとえば、「logs / 20170101.db」など、ログの日付に対応するファイルに記録されます

この間隔での作業の終わりに、データベース「logs / 20170101.db」を閉じて、loseコマンドを使用してメモリからアンロードできます。 このデータベースへの要求があれば、自動的に開かれ、読み取られます。



例2：ブロックチェーントランザクションチェーン



各トランザクションに番号があるとします。 1000.dbなどの各トランザクションプールを個別のファイルに保存するのが適切な場合があります。1〜1000のトランザクションに対応し、このブロックへのアクセスが比較的まれな場合は、記録の最後にメモリからアンロードします。



例3：ウェブサイトのホスティング



各サイトのデータは、sites / mysite.com.dbなどの個別のフォルダーに保存できます。

それらからの読み取りが比較的まれな場合は、更新後にアンロードします。 slowpokeのキーは値とは別に保存されるため、ファイルからアンロードされたキーをメモリに読み込むのは簡単な操作です。



データベースDeleteFile（）を削除するコマンドもあります



建築



slowpokeはgolang標準ライブラリで書かれています。 キーの保存には、マップとスライスが使用されます。 スケーリングは、各データベースを個別のゴルーチンで実行することにより実現されます。



値はそのまま、オーバーヘッドなしでディスク上にのみ保存され、値のアドレスへのリンクはメモリに保存されます。 プロジェクトではBTreeもLSM Treeも使用されていません。 また、mmapテクノロジーは使用されません（計画されていません）。 実践が示すように、データベースのアーキテクチャが複雑になるほど、データベースの成長に伴う問題が多くなります。 無料では何も起こらないので。



アーキテクチャのシンプルさの裏側は、いずれの場合でも標準的な測定で、市場のリーダーと比較して遅いspokepokeパフォーマンスです：

 //macbook 2017 slowpoke vs boltdb //The 100 Set took 19.440075ms to run./19.272079ms //The 100 Sets took 1.139579ms to run./? //The 100 Get took 671.343µs to run./211.878µs //The 100 Gets took 206.775µs to run./? //The 100 Keys took 36.214µs to run./? //The second 100 Keys took 5.632µs to run./?
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

たとえば、LSMツリー（rocksdb、leveldb、cassandra、badger）を使用するデータベースでは、書き込みが高速になります。



mmapを使用するデータベース-（LMDB、Boltdb、SophiaDb）値の読み取りが高速になります（slowpokeは値をキャッシュしません）



ただし、一般的に、データベースの名前が示すように、アーキテクチャの単純さの点でかなりの驚きがあり、損失は最小限であり、slowpokeはより洗練された競合他社よりもパフォーマンスが優れていました。 多数のベンチマークがプロジェクトおよび個別のリポジトリにあります。



golang以外のプログラミング言語でslowpokeを使用するには、小さなデータベースサーバーの例をhttpに記述します。 また、ゆっくりとこのエンジンでより大きなプロジェクトを見ました。



REST APIとしてバックドアを備えたGRPCサーバー



現時点では、slowpokesは若くて普及しておらず、snatchnews.comのAPI（rest APIを介したモバイルアプリケーション）として、個人のペットプロジェクト（テレグラムボット、tggram.comサイトなど）で友人が主に使用しています。 理論的には、大量のデータの保存を伴うプロジェクト-ipdb.ioまたはleveldb / badgerなどのより複雑なデータベースの代替としてのイーサリアムに適しています。



リクエストをプールすることができてうれしいです。