実際のプロジェクトでのSphinxのサンプル検索-Tecdoc Auto Parts Store

要するに、この記事は、関連する検索に既に興味があり、検索のスフィンクスのインストールの開始に関する記事を読み、テスト例と同じ総合的な問題を運転したプログラマーに役立ちます。 多くの場合、これらの例は質問に対する答えを提供しませんが、他のより単純な検索オプションと比較して、Sphinx検索モジュールの本当の利点をどのように感じますか。 この記事のコード例はphp + smarty、Sphinx 2.0.1-beta、データベースはmysql、データベースのソースおよびダンプ構造は地下の独立したアーカイブに配置されています。 この記事では、次のようなスフィンクスの機能の使用例を説明しています。

• Windows開発とLinuxプロダクション用の単一ファイル構成の作成
• SetMatchMode（SPH_MATCH_EXTENDED2）およびSPH_MATCH_ANYなどが実際の検索に適さない理由
• SetSortMode（SPH_SORT_RELEVANCE）、SetFieldWeights-関連性によるソートとインデックスフィールドの重みの設定
• SetLimits（0.20）-出力の制限
• AddQuery、RunQueries-複数クエリの構築
• SetFilter、ResetFilters-マルチクエリにフィルタリングを追加して、受信するデータを制限します
• 単語形式-同義語を使用し、「C＃」などの非標準の単語形式の制限を克服する

また、プロジェクトはロシア語を話すプログラマーによって作成され、サポートされているという事実にもかかわらず、プロジェクトの開発と率直に言って不十分なロシアのドキュメントに貢献したいと思います。 そのため、スフィンクスの一般的な開発者とユーザーのAndrei Aksyonov aka shodanに感謝する代わりに、進行中のタスクのブロッカーがフォレストを通過することが決定されました。この記事を書いています。

1.はじめに

Sphinxがまだインストールされておらず、開始したい場合は、初心者向けの記事へのリンク： Sphinx + phpで紹介検索エンジンを作成します。 autoklad.biz/?action=searchで、この検索の動作をテストして確認できます。



私たちの検索モジュールはベータテスト中であることをすぐに言わなければなりません：より多くのラフエッジ、潜在的なホール、その他の明らかではないバグがあります。サイトの多数のユーザーからの実際のリクエスト。



自動車部品、または部品のオンラインストアの販売では、当社は長い間、実りのある非常に成功した従事しています。 しかし、いくつかの理由から、関連する検索が必要になったのは今だけです。 最も可能性が高い主な理由は、フルテキスト検索がほとんどの部分に適していないことです。 しかし、それが非常に必要とされる商品の5-10％があり、それなしでは方法はありません。 また、本質的に直接的なクロスリンクを使用し、tecdocから明確なモデルと車のブランドを指定する標準検索は、この製品グループでは機能しません。 そのような「間違った」商品の例：オイル、タイヤ、バッテリーなど。



普通の小さな会社のスペアパーツの平均価格表は200〜1000万ポジションであり、それぞれこのベースの10％であり、必要なデータを占有します。 つまり、以下の例のインデックスは約30万件のドキュメントに基づいて構築されています。

2. Windows開発およびLinux実稼働OS用の単一の構成ファイルの作成

解決すべき問題-開発者のマシンの構成ファイルとサーバーのプロダクションは異なります。開発中は、不安定な構造を迅速に更新し、これらのsphinx構成を絶えず変更する必要があります。 私たちの場合、サーバー上のこれらの設定を別の開発チームの別のプロジェクトと共有する必要があるという事実によって悪化し、「include * .conf」などのセクションはまだスフィンクスで提供されていません。



ローカルWindowsマシンでは、構成は「D：\ Sphinx \ sphinx.conf」、サーバーでは「/etc/sphinx/sphinx.conf」、LinuxマシンではSearch-> CreateConfigFile（）スクリプトによって更新されたファイルへのシンボリックリンクです。 /var/www/autoklad.com.ua/imgbank/sphinx/sphinx.conf。 ローカルファイルは、近隣に干渉しないため、フォルダーに対して直接更新されます。



メソッドのソースコード：

public function CreateConfigFile() { $sConfigFilePath=Db::GetConstant('sphinx:config_file_path',SERVER_PATH.'/imgbank/sphinx/'); $sConfigFileName='sphinx.conf'; $sConfigTemplate=Db::GetConstant('sphinx:config_template','production'); if (!file_exists($sConfigFilePath)) mkdir($sConfigFilePath); $sTopSection.=$this->GetPriceGroupConfig(); Base::$tpl->assign('sTopSection',$sTopSection); $sFileContent=Base::$tpl->fetch($this->sPrefix.'/config_sphinx_'.$sConfigTemplate.'.tpl'); file_put_contents($sConfigFilePath.$sConfigFileName,$sFileContent); } private function GetPriceGroupConfig() { Base::$tpl->assign('sDataFilePath',Base::GetConstant('sphinx:data_file_path','/var/data/')); return Base::$tpl->fetch($this->sPrefix.'/config_price_group.tpl'); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

config_price_group.tplテンプレート。残りは記事を引き伸ばさないようにアーカイブにあります

 source price_group {ldelim} type = mysql sql_host = {$aDbConf.Host} sql_user = {$aDbConf.User} sql_pass = {$aDbConf.Password} sql_db = {$aDbConf.Database} sql_query_pre = SET NAMES utf8 sql_query_pre = SET CHARACTER SET utf8 sql_query = \ select p.id \ , p.code as code \ , c.title as brand \ , if(ifnull(cp.name_rus,'')<>'', cp.name_rus, ifnull(p.part_rus,'')) as part_name \ , pgr.name as price_group_name \ , p.id_price_group as id_price_group \ from price as p \ left join cat_part as cp on cp.item_code=p.item_code \ inner join cat as c on p.pref=c.pref \ inner join provider_virtual as pv on p.id_provider=pv.id_provider \ inner join user_provider as up on pv.id_provider_virtual=up.id_user \ inner join provider_group as pg on up.id_provider_group=pg.id \ inner join user as u on up.id_user=u.id and u.visible=1 \ inner join currency as cu on up.id_currency=cu.id \ inner join price_group as pgr on pgr.id=p.id_price_group \ where 1=1 sql_attr_uint = id_price_group sql_query_info = SELECT * FROM price WHERE id=$id {rdelim} index price_group {ldelim} source = price_group path = {$sDataFilePath}price_group/index morphology = stem_ru min_word_len = 3 charset_type = utf-8 min_infix_len = 3 #min_prefix_len = 3 enable_star = 1 {rdelim}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ビューによってクエリを簡素化できますが、私が理解している限り、これを行うことはお勧めできません。また、結合を使用したデータへの直接クエリは、インデックス作成時の負荷の理由でより効果的です。



ローカルサイトのデータベースから取得される定数の値

 sphinx:data_file_path D:/Sphinx/data/ sphinx:config_template local sphinx:config_file_path D:/Sphinx/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サイト製品のデータベースから取得される定数の値

 sphinx:data_file_path /var/data/ sphinx:config_template production sphinx:config_file_path /var/www/autoklad.com.ua/imgbank/sphinx/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ローカルスフィンクスの作業の結果、次のような構成ファイルができました。

http://www.mstarproject.com/temp/3/sphinx/sphinx.conf

3. SetMatchMode（SPH_MATCH_EXTENDED2）およびSPH_MATCH_ANYなどが実際の検索に適さない理由

形態が機能し、クエリ「Castrol 5W40 oils」には、テキスト「Oil」と「15W40」のドキュメントがあります。「*」記号を使用し、単語「oils」で検索する必要があります。このためには、クエリビルダーが必要です。 「SPH_MATCH_EXTENDED2」モードです。 SPH_MATCH_EXTENDEDもありますが、私が理解しているように、それは古いバージョンであり、モードの新しいバージョンを使用することをお勧めします。



SPH_MATCH_ANYモードでは、クエリ内の単語が増えると結果の数が減ることを実現することはできません。 SPH_MATCH_ALLモードでは、部分的な出現と単語形式によるモードの同時操作を実現することはできません。 便利になるまで他のモードを何気なく見ていたので、それらについては何も言えません。



「Castrol 5W40 oil」というフレーズでのスフィンクスへのリクエストは次のようになります。

 ( | **) & (Castrol | *Castrol*) & (5W40 | *5W40*)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

重要：使用されるインデックスの設定には2行が必要です：

 min_infix_len = 3 enable_star = 1
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最初の方法では、右側と左側の単語の部分的な出現、つまり単語の末尾と先頭から検索できます。 2行目では、リクエストで「*」を使用できます。 たとえば、単語の左側（先頭から）の出現のみが必要な場合は、min_prefix_lenを使用できます。



入力文字列を処理し、正しいリクエストを生成する関数：

 private function GetSphinxKeyword($sQuery) { $aRequestString=preg_split('/[\s,-]+/', $sQuery, 5); if ($aRequestString) { foreach ($aRequestString as $sValue) { if (strlen($sValue)>3) { $aKeyword[] .= "(".$sValue." | *".$sValue."*)"; } } $sSphinxKeyword = implode(" & ", $aKeyword); } return $sSphinxKeyword; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

クエリ結果は、 http ： //autoklad.biz/？action = search＆search [query {=％D0％BC％D0％B0％D1％81％D0％BB％D0％BE％20Castrol％205W40＆search [id_price_group]でテストできます。 = 35

検索結果の下に、結果の配列が返されます。これは、処理のためのスフィンクスを返します-[words]セクションに注意してください。 その他のセクションも同様に重要ですが、それらについてはまだ話していません。



また、フォーラムと開発者のウェブサイトで非常によくある質問は、「フレーズの正確な出現回数を増やす方法」です。つまり、ドキュメント「Wanted_word」の重みは「Wanted_wordおよび多くのテキスト」よりも高くなります。 回答-SPH_RANK_SPH04を使用する必要があります。SPH_RANK_SPH04は、この典型的なタスクのために特別に作成されたものです。

4. SetSortMode（SPH_SORT_RELEVANCE）、SetFieldWeights-関連性によるソートとインデックスフィールドの重みの設定

このメソッドは、スフィンクスによって返されたデータのソートされた配列の中で、どの結果がより高いかを決定します。 SPH_SORT_RELEVANCEの場合、結果はいわゆるソートされます。 「関連性」。 関連性は、望まない限り、純粋に算術規則に従って機能し、GoogleやYandexの検索とは異なります。 つまり、魔法のようなものではありません。インデックスの重み、フィールドの重み、ドキュメント内での検索ワードの出現回数、および他のドキュメント内でのこのワードの頻度の乗算と加算。



最も単純なケースでは、インデックスフィールドの入力ウェイトを設定します。

 $oSphinxClient->SetFieldWeights(array ( 'code' => 50, 'brand' => 40, 'part_name' => 10, 'price_group_name' => 5, ));
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

出力では、「関連性」=「総重量」でソートされた配列を取得します。ここで、重量は整数値です。 これらの数値は、自分自身の関連性を調整することで制御できます。つまり、より重要なフィールドにはより多くの重みを割り当てる必要があります。 この例では、最も重要なフィールドはコードcodeです。

5. SetLimits（0.20）-結果の出力の制限

この方法は最も簡単で、Maysklevskyの制限0.20と同様に機能し、それに応じて必要です。つまり、ステッパーを構築するための分割データを取得します。 このプロジェクトでは、最初の20（一定）の結果が必要です。3つ以上ある場合、それ以上の手順はありません。

6. AddQuery、RunQueries-複数クエリの構築

Multiseriesは、スフィンクスに1つのリクエストではなく、複数のリクエストを送信する必要がある場合に、リクエストをバッチ処理するための非常に便利なソリューションです。 この例では、すべてのパーツグループに同じリクエストを送信して、グループのリストと各グループのレコード数を取得します。 つまり、約100件のリクエストが送信され、1つの結果がsphinxへの1つの接続で返されます。 また、1つのリクエストパッケージで許可される同時リクエストの最大32個の「制限」が「解決」されました。



コード例：

 $aPriceGroup=Db::GetAll(Base::GetSql("Price/Group",array( 'visible'=>1, "where"=>" and pg.code_name is not null", ))); if ($aPriceGroup) { $aResultAll=array(); $i=0; foreach ($aPriceGroup as $aValue) { $oSphinxClient->SetFilter('id_price_group', array($aValue['id'])); $iQuery = $oSphinxClient->AddQuery($sSphinxKeyword, 'price_group'); $oSphinxClient->ResetFilters(); $bAddedUnrunQuery=true; $aPriceGroupAssoc[$iQuery+(32*$i)]=$aValue; if ($iQuery && !($iQuery % 31) ) { $aResultQuery=$oSphinxClient->RunQueries(); $aResultAll=array_merge($aResultAll,$aResultQuery); $sLastError=$oSphinxClient->GetLastError(); $i++; $bAddedUnrunQuery=false; } } if ($bAddedUnrunQuery) { $aResultQuery=$oSphinxClient->RunQueries(); $aResultAll=array_merge($aResultAll,$aResultQuery); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

進行中のタスクには期限があったため、開始時にすべての複雑な要求を掘り下げるために、タスクは設定されませんでした。 したがって、mysqlのgroup byに似た「グループ化された」クエリの問題を解決する自転車をおそらく書いたでしょう。 一方、スフィンクスのグループ化を理解した場合、マルチクエリを使用できる例はありません。



そのため、コメントでは、より正確なリクエストの例を歓迎しますが、これはスフィンクスのグループ化によるものです。

7. SetFilter、ResetFilters-マルチリクエストにフィルタリングを追加して、受信データを制限します

フィルターを使用するには、最初にフィルターを使用するフィールドをインデックスインデックスフィールドに登録する必要があります。 この例では、これはid_price_groupフィールドです。

 sql_attr_uint = id_price_group
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

したがって、コードは次のように使用されます。

 foreach ($aPriceGroup as $aValue) { $oSphinxClient->SetFilter('id_price_group', array($aValue['id'])); $iQuery = $oSphinxClient->AddQuery($sSphinxKeyword, 'price_group'); $oSphinxClient->ResetFilters(); //... }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

つまり、foreachループでは、マルチリクエスト内の各リクエストに対して、フィルターが最初に設定され、追加後に他のリクエストに対して機能しないようにリセットされます。 私の意見では、すべてが論理的で明白であり、困難は生じないはずです。

8.単語形式-同義語を使用し、「C＃」などの非標準の単語形式の制限を克服する

シノニムと非標準の（独自の）単語形式を機能させるには、次の単語形式のファイルをインデックス構成に含める必要があります。

 wordforms = D:\Sphinx\data\wordforms.txt
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ファイル自体には、たとえば、UTF-8エンコーディングのデータセットが含まれている場合があります。

 bosh > bosch  > bosch CASTROL > CASTROLL  > CASTROLL  > CASTROLL
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

つまり、左側にはすべての可能な同義語があります-これらの単語の右側の意味。 さらに、たとえば、「bosch」が既に右側にある場合、左側にあるべきではありません。 少なくともこれが行われた場合、検索は期待どおりに動作しません。



この例では、「Castrol 5W40 oil」というクエリを使用できますが、「Castrol 5W40 oil」と同じことがわかります。 「C＃」の例では、標準のインデックススキームに従って処理されず、設定したとおりに手動で動作するように、このような非標準の単語形式を含める必要があります。 プロジェクト内のフレーズの意味を正確に知っているのはあなただけです。たとえば、「C＃」=「ミュージシャンのCシャープの前」



サーバー上の設定ファイルとサンプルにはそのような機能はありません。サンプルのみが提供されていますが、プロジェクト同義語の既存の構造にはまだ実装されていません。

ソースコード、アーカイブ、便利なサイトへのリンク

*英語以外の言語を含む非公式のWikiドキュメントhttp://sphinxsearch.com/wiki/doku.php



*自動車部品の例の切り捨てられたソースコードのアーカイブhttp://www.mstarproject.com/temp/3/sphinx/sphinxsearch_soruce.zip



*トリミングされたデータベースの例の構造のアーカイブhttp://www.mstarproject.com/temp/3/sphinx/sphinxsearch_db_structure.zip



*データhttp://www.mstarproject.com/temp/3/sphinx/sphinxsearch_db_data.zipを含む切り捨てられたサンプルデータベースのアーカイブ（43 MB）



*スポンサーリンクによるスポンサー： tecdoc + sphinxsearchオンラインストア開発



私は建設的な批判に喜んで、質問に答えようとします。 ほとんどの場合、サンクトペテルブルクでの会議には参加しません。非常に不快なフライトであり、冬でもあります。 私はこの記事からより多くの利益があると判断し、ウクライナのスフィンクスの著者と会うことができます。ただ待つ必要があります。