Snappy(zippy)、Bigtableのデータ圧縮ライブラリ

GoogleはApache 2.0ライセンスの下でSnappyライブラリをリリースしました。 この圧縮/解凍ライブラリは、最大の圧縮または他のライブラリとの互換性を目的とせず、最大速度を目指しています。 たとえば、最速のzlibモードと比較すると、Snappyはほとんどの着信データで約1桁高速ですが、アーカイブのサイズは20〜100%大きくなります。 64ビットSnappyモードの1つのCore i7コアでは、圧縮速度は少なくとも250 MB /秒以上で、解凍速度は少なくとも500 MB /秒です。



Snappyは、BigTableやMapReduceから内部RPCシステムまでのさまざまなシステムでGoogleによって広く使用されています(プレゼンテーションによってはZippyと呼ばれていました)。



詳細については、 readmeファイルを参照してください。 他のライブラリ(zlib、LZO、LZF、FastLZ、およびQuickLZ)と比較したベンチマークがソースとともに提供されます。



All Articles