シンプルなビジネスの封印。 検索クエリで二重に封印されます。 今日のすべての大規模なWeb検索エンジンを読んで、キーワードのエラーを1倍に、クエリのプロンプトを2倍に修正できます。 それらに続いて同じものがより小さな検索を望んでいます。 両方の部分は、 Sphinxと呼ばれるオープンな検索エンジンを使用して巧妙に実装できます。 この投稿では、その方法を正確に説明します。



さて、あなたはどういう意味ですか（「どういう意味ですか」）および他のクエリの完了（「あなたは本当にVasyaを探していますか？」）

お気に入りの曲「ブーツ」を聞いてください！

簡単なものから始めましょう。 クエリの完了。 ユーザーは検索行の入力を開始します。入力するとすぐにプロンプ​​トを表示したいのです（これは、他の人と同じように、不明なものを探しずに「Valenok」を聞くためです）。 おそらく結果の数があっても。 どのように、どこからデータを取得しますか？



約2つのオプションがあります。ユーザークエリを直接入力する方法と、個々のキーワードを選択する方法です。



キーワードの提案は特に簡単です。 予期しない名前のインデクサーを持つインデックス作成プログラムには、2つの等しく予期しないキーがあります。同時にカウントします（頻度辞書です）。 インデクサーを使用して、ドキュメントのコレクション内で最も一般的な単語を1万（100）作成します。

 $ indexer myindex --buildstops dict.txt 10000 --buildfreqs

このファイルのようなものが得られます：

 i 9533843
および5427048
 5418872へ
 5371581
 4282225
あなた2877338
 ...

次は技術の問題です。 SQLラベルを作成し、12行でインポートスクリプトを記述し、通常のLIKEをヒントとして使用し、単語の頻度で結果を並べ替えます。 インデックスのLIKEは、おそらくかなり高速になります。 キーの始まりを探しています。 1文字のクエリの場合、くしゃみごとに何千行もシャベルしないように、結果をすぐに計算してキャッシュするとよいでしょう。 ただし、MySQLクエリキャッシュは、有効にすると保存されることになっています。

 CREATE TABLEキーワード
 （
   キーワードVARCHAR（255）NOT NULL、
    freq INTEGER NOT NULL、
    INDEX（キーワード、頻度）
 ）;

 SELECT * FROMキーワードWHEREキーワードLIKE 'valen％' ORDER BY freq DESC LIMIT 10

リクエストはほぼ同じ方法で要求されます。 タブレットもLIKEもどこにも行きません。 単一の単語の代わりに、今では完全な行が必要です。 クエリログでそれらを取得する必要があり、そこから頻度を計算します。 ログはファイルによってわずかに処理される必要があります。検索に関する「vasya pupkin」という行は、「Vasya！ Pupkin！」、なぜ異なるリクエストを検討するのかはあまりよくありません。 これは、Sphinx APIのBuildKeywords（）メソッドによってブロックされます。任意のクエリ行を取得し、その上にキーワードを作成し（大文字小文字の削減など）、正規化されたクエリ行を復元します。 これはすべて、最初にOpen（）メソッドを使用して永続的な接続を設定することで最適に行われます。そうしないと、動作が何倍も遅くなります。 さて、親指で。 ログ、ファイル、ソート、uniq -c、スクリプトのインポート、SQLプレート、LIKE、利益。 ファイルは次のようになります。

 $ cl = new SphinxClient（）;
 $ cl-> Open（）;
 foreach（$エントリとして$ログ）
 {
    $キーワード= $ cl-> BuildKeywords（$エントリ、「myindex」、false）;
    foreach（$キーワードとしての$キーワード）
       $キーワード["トークン化"]を印刷します。  「」;
    「\ n」を印刷します。
 }

SQLデータベース内の2つのフィールドに関するテキストファイルからのインポートスクリプトは、読者の宿題として残されています。

これはヒントであることに気付きました。

ヒントを失ったので、エラーの修正に進みます。 ご存知のように、タイプミスのブリトニーという名前は、 600種類未満の方法で入力できます 。 しかし、彼女には姓もあります。 しかし、彼女たちは検索できますが、彼女はまったく検索できません！ エラーのあるクエリでは、何も見つかりません。 ページは空白になります。 Adsense / Ydirect / Unameitは質の悪い広告を表示します。 誰もクリックしません。 スタートアップは燃え尽きます。 Sphinxに関する商用サービスを購入する人はいませんし、プロジェクトも死に絶えます。 これは受け入れられません。キーワードを早急に修正する必要があります。



もちろん、ispell、aspell、hunspell、または現在の任意のファッションをねじ込むオプションが常にあります。 明らかに、それは常にxxxspell辞書の品質に依存するか、適切な言語が存在しないという愚かさのどちらかにかかっています。 新造語（保存）、特別な用語（アシジウムアセチロサリシリウム）、地理的名称などには何の助けにもならないことは明らかです。 これにより、私はまだもっと欲しいです。 そして、ブログはispellについてではなく、従う必要があります。



繰り返しますが、周波数辞書が必要です。 確かに、10,000個を超えるキーワード-まれな正しい単語を頻繁に近い単語に「修正」する価値はありません。 通常、100万語の辞書で十分ですが、1000万語で十分です。 コマンドはインデクサーに変わります--buildstops dict.txt 10000000 --buildfreqs MYINDEXNAME（ちなみに、C2D E8500では20 MB /秒以上の速度で動作します）。 ヒントとは異なり、このような辞書でのSQL検索は役に立ちません。 さらにデータがあり、リクエストのタイプは同じではありません。 しかし、スフィンクスは役立ちます。



主なアイデアは次のとおりです。 辞書から単語ごとに、トライグラムのセット、それらを生成します。 3つの連続した文字 。 Sphinxでトライグラムにインデックスを付けます。 置換オプションを検索するには、エラーのある単語のトライグラムも作成します。インデックスでそれらを探します。 いくつかの候補があります。 一致するトライグラムが多いほど、語長の差は小さくなり、見つかったオプションが見つかる頻度が高くなるほど、より良い結果が得られます。 そして、実例を使用して、これらすべてをより詳細に分析します。



インデクサー--buildstopsによって作成された辞書は、まだ次のようになっています（単語がより本物になり、例がより明確になるように、別の部分を選択しました）。

 ...
取引32431
作成された32429
ライト32275
必要な32252
ムード32185
死32140
 32136の背後
通常32113
アクション32053
 32052行
腹を立てて32043
 ...

単語ごとに、一意のIDを作成し、単語自体とその頻度を保存し、トライグラムを作成して、すべてをデータベースに保存する必要があります。 インデックス付きデータベースにタイプミスがある場合は、あまりにもまれな単語を削除するのが理にかなっています。 おそらく、これはタイプミスです。

 CREATE TABLEサジェスト（
    id INTEGER PRIMARY KEY AUTO_INCREMENT NOT NULL、
   キーワードVARCHAR（255）NOT NULL、
    trigrams VARCHAR（255）NOT NULL、
    freq INTEGER NOT NULL
 ）;

挿入して値を提案
 ...
 （735、 'deal'、 '__ d _de dea eal al_ l __'、32431）、
 （736、「作成済み」、「__ c _cr cre rea eat ate ted ed_ d __」、32429）、
 （737、 'light'、 '__ l _li lig igh ght ht_ t __'、32275）、
 （738、「必要」、「__ n _ne nee eed ede ded ed_ d __」、32252）、
 （739、「mood」、「__ m _mo moo ood od_ d __」、32185）、
 （740、 'death'、 '__ d _de dea eat ath th_ h __'、32140）、
 （741、 'behind'、 '__ b _be beh ehi hin ind nd_ d __'、32136）、
 （742、「通常」、「__ u _us usu suaual all lly ly_ y __」、32113）、
 （743、 'action'、 '__ a _ac act cti tio ion on_ n __'、32053）、
 （744、 'line'、 '__ l _li lin ine ine _____'、32052）、
 （745、「pissed」、「__ p _pi pis iss sse sed ed_ d __」、32043）、
 （746、 'bye'、 '__ b _by bye ye_ e __'、32012）、
 ...

トライグラムでフィールドにインデックスを付けることだけが必要ですが、候補をランク付けするためには（それらが最良の修正を選択するため）、コレクション内の単語の長さとその出現頻度が依然として必要です。

 sql_query = SELECT id、trigrams、freq、LENGTH（キーワード）AS len FROM提案
 sql_attr_uint = freq
 sql_attr_uint = len

検索クエリの結果から疑わしい単語を識別します。検索結果が少なすぎる（またはまったくない）場合、応答セクション$ result ["words"]を分析し、各単語のドキュメント数を調べます。 文書が少ない場合は、そのような単語を修正しようとします。 たとえば、テストインデックスのクエリ "green liight"の場合、 "green"の発生数は34421で、 "liight"のみです。修正作業に進むべきものはすぐにわかります。 「少数」の特定のしきい値は、ドキュメントおよびリクエストのさまざまなコレクションに対して非常に個別です。 辞書とクエリログを見て、マジック定数を選択します。



トライグラムを作成し、トライグラム特殊インデックスでクエリを実行します。 単語にエラーが入力されているため、 すべてのトライグラムが一致する可能性は低いです。 一方、1つのトライグラムのみが一致する場合、そのような候補はあまり関心がありません：これは、単語の中央の3文字が一致する（他に何もない）場合、または先頭に1文字（他に何もない）場合にのみ発生します。 さて、 定足数演算子を使用します。これはまさに探しているものです。少なくとも2つのトライグラムが一致したすべてのドキュメントを発行します。 また、長さの制限も導入しています。正しいバリアントの長さは2文字以内で異なると想定しています。

 $ len = strlen（ "liight"）;
 $ cl-> SetFilterRange（ "len"、$ len-2、$ len + 2）;
 $ cl-> Query（ '"__l _li iig igh ght ht_ ht __" / 2'、 'suggest'）;

見つかった候補者の束をソートし、そこから最適なものを選択する必要があります。 私たちが持っている要因を思い出してください：

1. 一致するトライグラムが多いほど良い。
2. 語長が短いほど良い。
3. 見つかったオプションが頻繁に見つかるほど、より良い結果が得られます。

これらすべての要因、Sphinxの最新バージョンは、サーバー側で完全に計算およびソートできます。 一致したトライグラムの数は、ランカーSPH_RANK_WORDCOUNTを使用して計算できます（特別な検索の過程で、各トライグラムは個別のキーワードとして機能します）。 語長の違いはabs（len- $ len）で、頻度はfreq属性に格納されます。 要因を計算し、いくつかをまとめて、最適なものを選択します。

 $ cl-> SetMatchMode（SPH_MATCH_EXTENDED2）;
 $ cl-> SetRankingMode（SPH_RANK_WORDCOUNT）;
 $ cl-> SetSelect（ "*、@ weight + 2-abs（len- $ len）AS myrank"）;
 $ cl-> SetSortMode（SPH_SORT_EXTENDED、 "myrank DESC、freq DESC"）;

やれやれ！ liightという単語は、ライトフィックスを正常に検出しました。 （より正確には、SphinxはIDを検出し、データベースから「light」行を取得します）。



これは、Sphinx 0.9.9-rc2に適用されたデモの仕組みです（アーカイブ内のmisc / suggestディレクトリを参照）。追加のコードを記述することなく、データをすぐに試すことができます:-)



デモはすぐに理解でき、不完全であり、 ファイルの改良の対象となります 。 （申し訳ありませんが、抵抗できませんでした。）UTF-8が期待され、substrが使用されるため、PHPボックスの一部がロシア語で動作しないという危険があります。 ほぼ確実に、FREQ_THRESHOLDをねじる必要があります。 単語がタイプミスと見なされ、特殊インデックスに分類されないエントリの最小数。 データの小さなコレクションの場合は低く、大きなコレクションの場合は増加します。 同じ理由で（まれな破片が頻繁なゴミよりも高くランク付けされないように）、myrankの計算式をひねる必要があるかもしれません。 たとえば、1000回異なる周波数の一致したトリグラムの数に余分な単位を追加します。

 $ cl-> SetSelect（ "*、@ weight + 2-abs（len- $ len）+ ln（freq）/ ln（1000）AS myrank"）;

さらに、トライグラムによるフォーカスは効果的ですが、非常にシンプルであり、あまり考慮されていません。 トライグラムの順序は考慮されませんが、妥当な長さの単語の場合、これは一般に問題ではありません。 さらに興味深いのは、人々がどのように間違えているかを考慮していないことです：隣接する2つの文字を3グラムの数だけ並べ替えることは、これらの文字を他の文字（！） キーボード上の文字の近さは、いかなる場合にも考慮されません。 音声の近接性（実際には/ akshully）は、いかなる方法でも考慮されません。 少ない血で補正の質を改善するためのかなり明白なアイデア：1つの最良の選択肢の代わりに、10-20個を取り出し、クライアントのレーベンシュタイン距離を数え、計算結果を調整します。 たくさんの血が流れれば、他の自作アルゴリズムを使用して、1ダースまたは2候補を「数える」ことができます。



一般に、デモはそのまま使用できます。 しかし、これはまだデモであり、さらなる創造性のために多くのスペースをキャンセルした人はいません。 ブログの作成、発明、作成、パッチの送信！