t1ha =高速正ハッシュ

最速でポータブルな64ビットハッシュ関数よりもやや劣り、品質はまともです。

はい、下車し、女性に、そのような何か。 読んで？

英語版はこちら 。

証拠の引用やその他の計算を省略すると、次のように述べることができます。

• パフォーマンスを確保しながら、すべてのポイントを適切に実行することはかなり難しいタスクであり、そのソリューションは優れた暗号化ハッシュ関数を提供します。 しかし、今のところこれを行いません。
• 基本的な品質を確保するには、十分な数のALU操作が必要です。 簡単に言えば、品質は常に速度と矛盾します。
• ALU演算のビット深度よりも大きいビット深度で定性的な結果を得るには、ミキシングの数を複数倍に増やす必要があるため、基本的なALU演算が必要です。
• 一般に、 高速ハッシュ関数の作成には、結果の速度、品質、ビット深度の間でバランスの取れた妥協点を達成することが含まれます。

したがって、 t1haは品質と速度の妥協の結果として登場したと言えますが、最新のプロセッサの機能と、すでに見つかっている依存関係の混合と分散の方法（算術論理の組み合わせ）（アバランシェ効果）を考慮しています。

t1haの基本バージョンは、ハッシュテーブルやその他の関連アプリケーションを構築するための（最も）高速なハッシュ関数です。 したがって、 t1haの基本バージョンは64ビットのリトルエンディアンアーキテクチャに焦点を当てており、64ビットのシード値を取得して、キーの長さとシードの増幅を含む64ビットの結果を生成します。 t1haは 、ゼロ入力（ゼロサイズキーとゼロシード）に対して0を返すように意図的に設計されていることに注意してください 。

---

品質

すべての面でハッシュ関数の品質を推定することは非常に困難です。 分析的な方法で行ったり、さまざまな統計テストを実施したりできます。 残念ながら、分析的アプローチは、品質と速度のトレードオフでハッシュ関数を評価するには効果的ではありません。 さらに、そのような機能の比較分析評価は主観的な傾向があります。

それどころか、統計的検定の場合、透明な定量的推定値を取得するのは簡単です。 同時に、 SMHasherなどの定評のあるテストパッケージがあります。 t1haの場合、結果は単純です。t1haのすべてのバリアントは、コメントなしですべてのテストに合格します。 一方、t1haには、ターゲットアプリケーション（ハッシュテーブルの構築）に必要なプロパティ以外のプロパティがあると想定しないでください。

すべてのt1haバリアントレベルでの衝突の数は、誕生日のパラドックスに対応します。 より厳密な定式化では、衝突の確率t1haは、対応するビット深度のランダムな離散値の一致の確率に対応します。

ほぼすべての高品質ハッシュ関数の衝突の同様の確率。 しかし、これは正確に確率であるため、特定のデータセットでは、衝突のリテラル数は異なる場合があります。

この記事の最初の発行後、 Yves Ortonはt1ha1()



最初のレベルのバージョンが厳密な雪崩の基準を常に満たしていないことを発見しました。 この欠点は、 t1ha1()



ターゲットアプリケーションでは無視でき、実用的な観点からは見えません。 それにもかかわらず、この欠点は次のレベルのバリアントt1ha2()



で除去されました。 現在のバージョンのコンパイラを使用する新しいプロセッサでは、 t1ha2()



よりも平均で1クロック速くなりますが、その他の場合は1クロック遅くなります。 t1ha2()



さらにハッシュストリームモードと128ビットの結果を提供することは注目に値します。

読者は、 t1haの品質および/または耐久性の徹底的かつ詳細な分析を確かに評価するでしょう。 ただし、 t1haの適用対象領域に基づいて、これは不要と思われます。 簡単に言えば、短いキーの場合を含め、速度が私たちにとってより重要でした。 したがって、マルチラウンドミキシングは考慮されませんでした。 導入されたt1haの節約 一致する 64ビットの結果を測定して生成します-統計的以外の方法で見つかった妥協点を測定することはほとんど無意味であり、これらの結果は単純に良好です。

---

ベンチマーク

「 最速 」というフレーズのタイトルに存在することを説明する価値があります。 実際、すべてのプラットフォーム/アーキテクチャで有用であると同時に最速のハッシュ関数が存在することはほとんどありません。 異なる命令セットは異なるプロセッサで利用でき、同様の命令は異なる効率で実行されます。 明らかに、「 普遍的な最速の 」関数は、ほとんどの場合、作成できません。 しかし、少なくとも最も一般的なプラットフォーム（x86_64）で、ポータブルであると同時に最速の関数に「最速」を使用することは許容できるように思われます。

プロジェクトのソースコードには、結果の正確性をチェックし、実装された各オプションの速度を測定するテストが含まれています。 同時に、x86では、プロセッサー（およびコンパイラー）の機能に応じて、関数の追加オプションを確認でき、プロセッサーサイクルで測定が行われます。

さらに、プロジェクトのWebサイトには、 Reini UrbanのSMHasherの修正バージョンを介したパフォーマンス測定の結果を示す表が含まれています。 したがって、特定のコンパイラを使用して特定のプロセッサですべての数値をダブルチェックしたり、結果を取得したりできます。

ここでは、最も近い競合他社t1haのいくつかと比較できます。

短いキーのハッシュ （平均1..31バイト）。

右の列「Cycles / Hash」を見てください（値が小さいほど良い） ：

機能	MiB /秒	サイクル/ハッシュ
t1ha	12228.80	35.55
Fasthash64	5578.06	43.42
CityHash64	11041.72	51.77
xxHash64	11123.15	56.17
メトロハッシュ	11808.92	46.33

長いキーのハッシュ （256 Kb）。

中央の列「MiB / Second」を見てください（値が大きいほど良い） ：

機能	MiB /秒	サイクル/ハッシュ
t1ha	12228.80	35.55
Farmhash64	12145.36	60.12
CityHash64	11041.72	51.77
xxHash64	11123.15	56.17
Spooky64	11820.20	60.39

---

t1haのオプション

t1haの開発は純粋に実用的でした。 最初のそのような目標は、ハッシュテーブルを構築するための高速で移植性が高く、十分に高品質な関数を取得することでした。

次に、ハッシュ関数の最速バージョンが必要でした。これにより、品質は同等ですが、ターゲットプラットフォームに最大限に適合しました。 たとえば、 t1haの基本バージョンはリトルエンディアンのバイト順で動作します。これが、ビッグエンディアンのアーキテクチャがパフォーマンスの不可避な損失を伴う変換を必要とする理由です。 それでは、特定のターゲットプラットフォームで不要な操作を排除してみませんか？ 同様に、さらにいくつかのオプションが追加されました。

• リトルエンディアンとビッグエンディアンの両方の32ビットプラットフォーム用の簡易バージョン。
• AES-NI命令を使用するが、AVXを使用しないオプション。
• AES-NIおよびAVX命令を使用する2つのオプション。

少し後に、さまざまなビット深度の結果、品質と耐久性の要件など、さまざまなアプリケーション向けに設計されたオプションがさらに必要であることが明らかになりました。 そのような多様性は秩序の確立を必要としました。 命名スキームの変更をもたらしたもの。デジタルサフィックスは関数の「レベル」を示します。

• t1ha0()
  
  
  
  は、現在のプロセッサの最速オプションです。
• t1ha1()
  
  
  
  は、 t1ha1()
  
  
  
  の基本的なポータブル64ビットバージョンです。
• t1ha2()
  
  
  
  は、品質にもう少し関心があるポータブル64ビットバージョンです。
• t1ha3()
  
  
  
  は、プリントを受信するための高速ポータブル128ビットオプションです。
• など

このスキームでは、 t1ha0()



は、現在のプロセッサのプラットフォームと機能に応じてリダイレクトを実装するディスパッチャであると想定されています。 また、サフィックス「_le」と「_be」を使用して、リトルエンディアンとビッグエンディアンのオプションを明示的に選択することもできます。 したがって、現在、t1ha「看板」の下にいくつかのハッシュ関数があり、このファミリは、国内のElbrus E2Kを見ることを含めて補充されます。

現在の一連の関数とそのプロパティのアイデアは、組み込みテスト（ make check



）の出力から取得できます。 すべての機能がすべてのSMHasherテストに合格し、AES-NIオプションのパフォーマンスはプロセッサモデルによって大きく異なることに注意してください。

 Intel(R) Core(TM) i7-6700K CPU @ 3.00GHz Build by GNU C/C++ compiler 8.2 [...] - use RDPMC_40000001 as clock source - measure granularity and overhead: 53 cycles, 0.0188679 iteration/cycle Bench for tiny keys (7 bytes): t1ha0 : 13.14 cycle/hash, 1.877 cycle/byte, 1.598 Gb/s @3GHz t1ha1_64le : 15.14 cycle/hash, 2.163 cycle/byte, 1.387 Gb/s @3GHz t1ha2_atonce : 15.50 cycle/hash, 2.163 cycle/byte, 1.387 Gb/s @3GHz t1ha1_64be : 16.78 cycle/hash, 2.397 cycle/byte, 1.251 Gb/s @3GHz xxhash32 : 17.17 cycle/hash, 2.453 cycle/byte, 1.223 Gb/s @3GHz StadtX : 17.59 cycle/hash, 2.513 cycle/byte, 1.194 Gb/s @3GHz t1ha0_32le : 18.28 cycle/hash, 2.612 cycle/byte, 1.149 Gb/s @3GHz t1ha0_32be : 20.24 cycle/hash, 2.892 cycle/byte, 1.037 Gb/s @3GHz xxhash64 : 22.17 cycle/hash, 3.167 cycle/byte, 0.947 Gb/s @3GHz t1ha2_atonce128* : 29.93 cycle/hash, 4.277 cycle/byte, 0.701 Gb/s @3GHz t1ha2_stream* : 79.81 cycle/hash, 11.402 cycle/byte, 0.263 Gb/s @3GHz HighwayHash64_avx2 : 83.75 cycle/hash, 11.964 cycle/byte, 0.251 Gb/s @3GHz HighwayHash64_sse41 : 85.25 cycle/hash, 12.179 cycle/byte, 0.246 Gb/s @3GHz t1ha2_stream128* : 99.06 cycle/hash, 14.152 cycle/byte, 0.212 Gb/s @3GHz HighwayHash64_portable: 480.75 cycle/hash, 68.679 cycle/byte, 0.044 Gb/s @3GHz HighwayHash64_pure_c : 652.58 cycle/hash, 93.226 cycle/byte, 0.032 Gb/s @3GHz Bench for large keys (16384 bytes): t1ha0 : 1185.00 cycle/hash, 0.072 cycle/byte, 41.478 Gb/s @3GHz t1ha2_atonce : 3436.00 cycle/hash, 0.210 cycle/byte, 14.305 Gb/s @3GHz t1ha2_atonce128* : 3440.00 cycle/hash, 0.210 cycle/byte, 14.288 Gb/s @3GHz t1ha1_64le : 3449.00 cycle/hash, 0.211 cycle/byte, 14.251 Gb/s @3GHz t1ha2_stream* : 3479.00 cycle/hash, 0.212 cycle/byte, 14.128 Gb/s @3GHz t1ha2_stream128* : 3508.00 cycle/hash, 0.214 cycle/byte, 14.011 Gb/s @3GHz StadtX : 3550.00 cycle/hash, 0.217 cycle/byte, 13.846 Gb/s @3GHz xxhash64 : 4121.00 cycle/hash, 0.252 cycle/byte, 11.927 Gb/s @3GHz t1ha1_64be : 4567.00 cycle/hash, 0.279 cycle/byte, 10.762 Gb/s @3GHz HighwayHash64_avx2 : 4580.00 cycle/hash, 0.280 cycle/byte, 10.732 Gb/s @3GHz HighwayHash64_sse41 : 6412.00 cycle/hash, 0.391 cycle/byte, 7.666 Gb/s @3GHz t1ha0_32le : 7191.00 cycle/hash, 0.439 cycle/byte, 6.835 Gb/s @3GHz t1ha0_32be : 7928.00 cycle/hash, 0.484 cycle/byte, 6.200 Gb/s @3GHz xxhash32 : 8197.00 cycle/hash, 0.500 cycle/byte, 5.996 Gb/s @3GHz HighwayHash64_portable: 41895.27 cycle/hash, 2.557 cycle/byte, 1.173 Gb/s @3GHz HighwayHash64_pure_c : 53296.11 cycle/hash, 3.253 cycle/byte, 0.922 Gb/s @3GHz
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

---

残りはここにあります 。

ご清聴ありがとうございました。 すべてに良い。

英語版はこちら 。