きちんとした公共データベースを見つけて、わずかでも機能を最適化するためにアプリケーションに含めるのはどれほど良いことだろうと思ったことはありませんか？ もちろんそうです！ この投稿では、Logstashを使用して外部データセットを目的の形式に変換し、Kibanaで結果を確認し、Elasticsearchでデータが正しくインデックス付けされていることを確認します。

データをダウンロードする

ElasticsearchとLogstashの最新バージョンが既にインストールされていると仮定します。 次の例では、 Elasticsearch 1.1.0とLogstash 1.4.0を使用します。



OpenGeoDBは、SQLおよびCSV形式のドイツの地理データを含むドイツのサイトです。 Elasticsearchにデータを保存するため、CSVのようにSQLは適していません。 ただし、これにもかかわらず、Logstashを使用してElasticsearchのデータを変換およびインデックス化できます。 インデックスを作成するファイルには、すべての郵便番号を含むドイツの都市のリストが含まれています。 このデータは、 パブリックドメインライセンスでOpenGeoDB Webサイト（ダウンロードファイル）からダウンロードできます。

データ形式

データを調べると、次の列で構成されていることがわかります。

• loc_id：一意の識別子（データベース内）
• ags：州の管理コード
• ascii：大文字の短い名前
• 名前：エンティティ名
• lat：緯度（座標）
• lon：経度（座標）
• amt：使用されていません
• plz：郵便番号（複数ある場合は、コンマで区切ってください）
• vorwahl：電話コード
• einwohner：人口
• フレッシュ：正方形
• kz：車のナンバープレートシリーズ
• typ：管理単位タイプ
• レベル：階層内の地形の位置を決定する整数
• of：このエリアが属するエリアの識別子
• 無効：列が無効です

フィールド名、緯度、経度、面積、人口、ライセンスタグに興味があります。 私たちはすぐにそれらに戻ります...

Elasticsearchのエントリのインデックス作成

csv logstashフィルターを使用

次のステップは、データをElasticsearchに配置することです。 まず、Logstashを構成します。 以下の設定をopengeodb.confファイルにコピーします。 区切り文字がコンマではなくタブである場合でも、「csv」フィルター（コンマ区切り値）を使用していることに注意してください。

input { stdin {} } filter { # Step 1, possible dropping if [message] =~ /^#/ { drop {} } # Step 2, splitting csv { # careful... there is a "tab" embedded in the next line: # if you cannot copy paste it, press ctrl+V and then the tab key to create the control sequence # or maybe just tab, depending on your editor separator => ' ' quote_char => '|' # arbitrary, default one is included in the data and does not work columns => [ 'id', 'ags', 'name_uc', 'name', 'lat', 'lon', 'official_description', 'zip', 'phone_area_code', 'population', 'area', 'plate', 'type', 'level', 'of', 'invalid' ] } # Step 3, possible dropping if [level] != '6' { drop {} } # Step 4, zip code splitting if [zip] =~ /,/ { mutate { split => [ "zip", "," ] } } # Step 5, lat/lon love if [lat] and [lon] { # move into own location object for additional geo_point type in ES # copy field, then merge to create array for bettermap mutate { rename => [ "lat", "[location][lat]", "lon", "[location][lon]" ] add_field => { "lonlat" => [ "%{[location][lon]}", "%{[location][lat]}" ] } } } # Step 6, explicit conversion mutate { convert => [ "population", "integer" ] convert => [ "area", "integer" ] convert => [ "[location][lat]", "float" ] convert => [ "[location][lon]", "float" ] convert => [ "[lonlat]", "float" ] } } output { elasticsearch { host => 'localhost' index => 'opengeodb' index_type => "locality" flush_size => 1000 protocol => 'http' } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

先に進む前に、これがLogstashを実行してデータのインデックスを作成する方法であることに注意してください。 Elasticsearchが実行されている必要があります。

 cat DE.tab | logstash-1.4.0/bin/logstash -f opengeodb.conf
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この段階では、非常に多くのことが起こります（インデックス作成には1分以上かかることがありますが、すべては機器に依存します）。 最初に注意すべきことは、Logstash構成は「file」命令での入力を使用しないことです。 これは、この入力メソッドがUNIXシステムで「tail -f」のように動作する、つまり、新しいデータがファイルに追加されることを期待するためです。 それどころか、ファイルのサイズは固定されているため、入力「stdin」を使用してすべてのデータを読み取る方が合理的です。



フィルターセクションは6つのステップで構成されています。 それらを詳しく見て、それぞれの機能を説明しましょう。

ステップ1-コメントを無視する

最初のステップは、コメントを取り除くことです。 これらは、行頭のポンド記号で識別できます。 これが必要なのは、ファイルの最初の行が列名を含むコメントにすぎないためです。 インデックスを作成する必要はありません。

ステップ2-CSVを逆アセンブルします

2番目のステップは、CSVを解析するすべてのハードワークを行います。 値「tab」（タブ）で「セパレータ」を再定義する必要があります。「quote_char」にはデフォルトで引用符が1つあり、これはデータの値に存在するため、別の文字に置き換える必要があります。「columns」プロパティは、後でフィールド名として使用されます。

注意！ ここからファイルをコピーする場合、タブの代わりに複数のスペースとしてコピーされるため、「セパレータ」文字を置き換える必要があります。 スクリプトが正しく機能しない場合は、まずこれを確認してください。

ステップ3-不要なエントリをスキップする

都市に関する情報を表示するレコード（「レベル」フィールドが6のレコード）のみが必要です。 残りのエントリは単に無視します。

ステップ4-郵便番号の処理

4番目のステップは、適切な郵便番号処理です。 レコードに複数の郵便番号がある場合（大都市など）、それらはすべて1つのフィールドに含まれていますが、コンマで区切られています。 単一の大きな行としてではなく配列として保存するには、「mutate」フィルターを使用してこのフィールドの値を分離します。 ここでは、たとえば、数値の配列の形式でこのデータのコンテンツを使用すると、数値の範囲で検索を使用できます。

ステップ5-地理データ構造

5番目のステップでは、地理データをより便利な形式で保存します。 DE.datファイルから読み取る場合、latフィールドとlonフィールドが別々に作成されます。 ただし、これらのフィールドの意味は、一緒に格納されている場合のみです。 このステップでは、両方のフィールドを2つのデータ構造に書き込みます。 Elasticsearchタイプgeo_pointのように見え、その結果、構造{"location"：{"lat"：x、 "lon"：y}}になります。 もう1つは単純な配列のように見え、経度と緯度を（この順序で！）含んでいます。 Kibana bettermapコンポーネントを使用して座標を表示できます。

ステップ6-入力するフィールドの明示的なキャスト

最後のフィルターステップでは、特定のフィールドにデータ型を明示的に割り当てます。 したがって、Elasticsearchは将来的にそれらを使用して数値演算を実行できるようになります。



出力セクションは、バージョン1.4以降のLogtashでのみ使用可能です。したがって、少なくともバージョンがあることを確認してください。 前のバージョンでは、「elasticsearch_http」の出力を明示的に指定する必要があります。 今後は、「elasticsearch」出力が1つだけになると言います。protocol=> httpを指定して、ポート9200経由でHTTPを使用してElasticsearchに接続できます。

データの視覚化にはKibanaとElasticsearchを使用します。

データにインデックスが付けられたら、Kibanaを使用してさらに分析できます。 bettermapウィジェットと人口のような単純な検索クエリを使用して：[10000 TO *]ドイツのすべての大都市を表示できます。







これは、たとえば次の目的で使用できます。

• 最も人口の多い都市を見つける
• 車のナンバープレートの一般的なシリーズを使用する都市を検索します（たとえば、GTはGüterslohとその周辺で使用されます）
• 集約スクリプトを使用して、平方キロメートルあたりの人口密度が最も高いか、まばらなエリアを見つけます。 Logstashでこれらの数値を事前計算することもできます。

これらはすべて非常に優れていますが、既存のアプリケーションの改善には役立ちません。 もっと深くする必要があります。

自動補完を設定する

少し脱線して、このデータを使ってどんな便利なことができるか見てみましょう。 都市、郵便番号、およびこれらのデータを入力する必要があるWebアプリケーションの多くの場合があります。



良い例は、チェックアウトプロセスです。 すべての店舗に事前にユーザーデータがあるわけではありません。 これは、注文が1回限りの店である場合もあれば、登録せずに注文することもできます。 この場合、ユーザーがチェックアウトプロセスを高速化できるようにすることが適切な場合があります。 同時に、「無料」のボーナスは、注文の難しさによる注文の損失またはキャンセルの防止になります。



Elasticsearchには、「completion opinester」と呼ばれる非常に高速なプレフィックス検索機能があります。 しかし、この検索には欠点があります。 インデックスを作成する前にデータを少し補足する必要がありますが、このためにLogstashがあります。 この例をよりよく理解するには、 「完了ハプスター」の概要を読む必要があります。

ヒント

ユーザーが住んでいる都市の名前を入力できるようにしたいとします。 また、選択した都市に合った郵便番号を見つけやすくするために、郵便番号のリストを提供したいと思います。 また、逆に、最初にユーザーに郵便番号を入力させてから、都市に関する情報を自動的に入力することもできます。



Logstashの構成にいくつかの変更を加えて、動作するようにします。 フィルター内部の簡単な構成から始めましょう。 手順5の直後、手順6の前に、この構成スニペットをopengeodb.confに追加します。

  # Step 5 and a half # create a prefix completion field data structure # input can be any of the zips or the name field # weight is the population, so big cities are preferred when the city name is entered mutate { add_field => [ "[suggest][input]", "%{name}" ] add_field => [ "[suggest][output]", "%{name}" ] add_field => [ "[suggest][payload][name]", "%{name}" ] add_field => [ "[suggest][weight]", "%{population}" ] } # add all the zips to the input as well mutate { merge => [ "[suggest][input]", zip ] convert => [ "[suggest][weight]", "integer" ] } # ruby filter to put an array into the event ruby { code => 'event["[suggest][payload][data]"] = event["zip"]' }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Logstashは、データのインデックスを再度作成するときに、「完了ハプスター」と互換性のある構造でデータを書き込みます。 ただし、Elaticsearchでもツールチップ機能が設定されるように、フィールド一致パターンを設定する必要もあります。 したがって、output> elastichsearchセクションのLogstash設定でテンプレートを明示的に指定する必要もあります。

 # change the output to this in order to include an index template output { elasticsearch { host => 'localhost' index => 'opengeodb' index_type => "locality" flush_size => 1000 protocol => 'http' template_name => 'opengeodb' template => '/path/to/opengeodb-template.json' } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このテンプレートは、デフォルトのLogstashテンプレートに非常に似ていますが、suggestフィールドとgeo_pointフィールドが追加されています。

 { "template" : "opengeodb", "settings" : { "index.refresh_interval" : "5s" }, "mappings" : { "_default_" : { "_all" : {"enabled" : true}, "dynamic_templates" : [ { "string_fields" : { "match" : "*", "match_mapping_type" : "string", "mapping" : { "type" : "string", "index" : "analyzed", "omit_norms" : true, "fields" : { "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256} } } } } ], "properties" : { "@version": { "type": "string", "index": "not_analyzed" }, "location" : { "type" : "geo_point" }, "suggest" : { "type": "completion", "payloads" : true, "analyzer" : "whitespace" } } } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、古いデータ（インデックスを含む）を削除して、インデックスの再作成を開始します

 curl -X DELETE localhost:9200/opengeodb cat DE.tab | logstash-1.4.0/bin/logstash -f opengeodb.conf
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、「sojest」へのリクエストを完了できます

 curl -X GET 'localhost:9200/opengeodb/_suggest?pretty' -d '{ "places" : { "text" : "B", "completion" : { "field" : "suggest" } } }'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

結果は次のとおりです。

 { "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "places" : [ { "text" : "B", "offset" : 0, "length" : 1, "options" : [ { "text" : "Berlin", "score" : 3431675.0, "payload" : {"data":["Berlin","10115","10117","10119","10178","10179","10243","10245","10247","10249","10315","10317","10318","10319","10365","10367","10369","10405","10407","10409","10435","10437","10439","10551","10553","10555","10557","10559","10585","10587","10589","10623","10625","10627","10629","10707","10709","10711","10713","10715","10717","10719","10777","10779","10781","10783","10785","10787","10789","10823","10825","10827","10829","10961","10963","10965","10967","10969","10997","10999","12043","12045","12047","12049","12051","12053","12055","12057","12059","12099","12101","12103","12105","12107","12109","12157","12159","12161","12163","12165","12167","12169","12203","12205","12207","12209","12247","12249","12277","12279","12305","12307","12309","12347","12349","12351","12353","12355","12357","12359","12435","12437","12439","12459","12487","12489","12524","12526","12527","12529","12555","12557","12559","12587","12589","12619","12621","12623","12627","12629","12679","12681","12683","12685","12687","12689","13051","13053","13055","13057","13059","13086","13088","13089","13125","13127","13129","13156","13158","13159","13187","13189","13347","13349","13351","13353","13355","13357","13359","13403","13405","13407","13409","13435","13437","13439","13442","13465","13467","13469","13503","13505","13507","13509","13581","13583","13585","13587","13589","13591","13593","13595","13597","13599","13627","13629","14050","14052","14053","14055","14057","14059","14089","14109","14129","14163","14165","14167","14169","14193","14195","14197","14199"]} }, { "text" : "Bremen", "score" : 545932.0, "payload" : {"data":["Bremen","28195","28203","28205","28207","28209","28211","28213","28215","28217","28219","28237","28239","28307","28309","28325","28327","28329","28355","28357","28359","28717","28719","28755","28757","28759","28777","28779","28197","28199","28201","28259","28277","28279"]} }, { "text" : "Bochum", "score" : 388179.0, "payload" : {"data":["Bochum","44787","44789","44791","44793","44795","44797","44799","44801","44803","44805","44807","44809","44866","44867","44869","44879","44892","44894"]} }, { "text" : "Bielefeld", "score" : 328012.0, "payload" : {"data":["Bielefeld","33602","33604","33605","33607","33609","33611","33613","33615","33617","33619","33647","33649","33659","33689","33699","33719","33729","33739"]} }, { "text" : "Bonn", "score" : 311938.0, "payload" : {"data":["Bonn","53111","53113","53115","53117","53119","53121","53123","53125","53127","53129","53173","53175","53177","53179","53225","53227","53229"]} } ] } ] }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

気づいたかもしれませんが、都市の人口を重みとして使用することは論理的です。 大都市は小都市よりも先端にあります。 返される結果には、都市の名前とそのすべての郵便番号が含まれます。これを使用して、フォームに自動的に入力することができます（特に郵便番号が1つだけ見つかった場合）。



今日は以上です！ ただし、これはパブリックデータベースに適しているだけではないことに注意してください。 あなたの会社の奥深くのどこかで、誰かが既に有用なデータを収集していて、それがあなたのアプリケーションで補足され、使用されるのを待っていることは間違いありません。 あなたの同僚に聞いてください。 このようなデータベースはどの会社にもあります。

翻訳者から

これは私の最初の翻訳です。 したがって、私はそれを改善し、私の間違いを指摘するのを助けるすべての人に前もって感謝しています。

ありがとう