ログ分析にSplunkを使用する例

Splunkはログストレージおよび分析システムです。 簡単に言えば、動作の原理は次のように説明できます：ログを保存、インデックス付け、分析できるSplunkサーバーがあり、これらのログが作成してSplunkサーバーに送信する作業マシン（サーバー）があります。 Splunkサーバーは、情報ストレージが分散され、MapReduceテクノロジーを使用した処理に使用される複数の物理マシンのクラスターになります。 稼働中のマシンからログを転送する方法は多数あります：ログの変更をサーバーにすばやく効率的に送信できる特別なフォワーダープログラム、NFS / SMB、SNMPなどのテクノロジーを使用して、TCP / IP経由でSplunkにデータを送信できます（たとえば、代わりにファイルに書き込む）。 Windowsでは、SplunkはWindowsイベント、パフォーマンスカウンター、またはレジストリからデータを取得できます。



Splunkの場合、ログは行に分割されたテキスト情報です。 インデックス作成プロセス中、ログ行はフィールドに分割されます。たとえば、「name = value」ですが、これはカスタマイズ可能です。 さらに、特別なクエリ言語SPLを使用して、次のフィールドを操作できます：並べ替え、集計、計算フィールドの作成、テーブルの作成、たとえばSQLデータベースからの外部辞書へのアクセス、そしてもちろん、さまざまなグラフの構築。 SPLは単一行だけでなく、論理的に「圧縮」して1行の複数行の断片にグループ化することもできます。



Splunk自身が述べているように、システムにいつでも保存されているすべてのログはリクエストに使用できます。つまり、アーカイブの概念はありません。 もちろん、Splunkが回転しているマシン（マシン）は、保存および処理される情報の量を適切に反映する必要があります。



また、Splunkは自らを「ログ用Google」と呼んでいますが、自分の慈悲についてはコメントせずにこのコメントを残しましょう。



インターフェイスSplunk-Web。 独自のSplunkアプリケーションを作成するためのパネル（ダッシュボード）を作成できます。 Splunkにはアプリケーションストアがあり（ほとんどは無料ですが）、人気のあるシステム（UNIX syslog、Apacheログ、Microsoft Exchangeなど）を分析するための既製の設定が多数あります。



Splunkソフトウェアは、公式Webサイトから無料でダウンロードできます。 ライセンスは、システムを介して汲み上げられるログの毎日の量に基づいています。 知り合いには、システムを習得するのに十分な最小空き容量があります。



簡単に参照できるように、この製品の作成者による書籍Exploring Splunkをお勧めします。 それをスクロールすると、Splunkで何ができるか、SPLクエリ言語の本質などを最初によく理解できます。



この記事では、30分以内に繰り返すことができる実際の例を示したいと思います。 これを行うには、ご使用のオペレーティングシステム用のSplunkを無料でダウンロードしてインストールするだけで十分です。 その後、私の指示に従ってください。



例は珍しいでしょう。 従来、ログは履歴情報の分析に使用されていました。 しかし、その出現の過程でそれを抽出し、それに基づいて「ライブ」インジケータを作成することを妨げるものはありません。 私の例は少し人工的ですが、Splankにデータを「アップロード」し、それを形式化し、それに基づいて動的なユーザーインターフェースを構築できることをどれだけ迅速かつ簡単に示したいと思います。



パーセンテージ（0〜100％）を含むメッセージを1分間ログに記録する簡単なスクリプトを次に示します。

require 'date' duration = 60*1 update_period = 0.5 i = 0 while i <= duration do progress = i * 100.0 / duration msg = "%s progress=%05.2f\n" % [DateTime.now, progress] puts msg open("logs/my.log", 'a') { |f| f << msg } i = i + update_period sleep update_period end
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ログは次のようになります。

 2012-11-23T15:58:54+00:00 progress=45.00 2012-11-23T15:58:55+00:00 progress=45.83 2012-11-23T15:58:55+00:00 progress=46.67 2012-11-23T15:58:56+00:00 progress=47.50 2012-11-23T15:58:56+00:00 progress=48.33 2012-11-23T15:58:57+00:00 progress=49.17 2012-11-23T15:58:57+00:00 progress=50.00
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

私たちの目標は、Splanにダッシュボード（表示パネル）を作成し、ログからデータを取得しながら、スクリプト実行プロセスを美しいインジケーターの形で表示することです。



簡単にするために、1台のマシンですべてを実行し、Splankは指定されたファイルからのみログを取得します。



そのため、Splankはすでにインストールされており、「 http：// localhost：8000 」に移動すると、Splankの作業ページが表示され、ユーザー「admin」でログインできます。



次に、メニューに移動します：「マネージャー->データ入力->データの追加->ファイルまたはディレクトリまたはファイル。」 ここで、ログが保存されているファイルまたはディレクトリの名前を指定します（この場合は単一のファイルになります）。







いわゆるログのソース（ソースタイプ）の作成を確認します。 すでに述べたように、ログはさまざまな方法でSplankに送られます。 このような各ログソースには名前が付けられ、個別に処理できます。







そのため、ログが追加されます。 Splankがファイルを「ピックアップ」し、すでに行をフィールドに解析していることがわかります。 Splankは膨大な数の日付と時刻の形式を理解していますが、これは固執しています。







次に、ログソースに名前「test_logging」を付けて、設定を保存します。







メインページに戻り、Search行に最初のクエリをSPL言語（赤）で入力します。



sourcetype = "test_logging" | フロートとしてのテーブルの進行状況



私は翻訳します：ソース「test_logging」からログを取得し、フィールド「progress」からの値で列を追加するテーブルを作成し、同時にフロート型に変換します。 下（青色）には、クエリの結果が表示されています（ログには既にデータがあります）。 UNIXパイプ（|）の原理は、ある操作の結果が次の操作の入力に渡されるときにSPLで機能します。







だからテーブルがあります。 次に、彼女をグラフィカルな表現にします。 たとえば、0〜100の完了率を示すフィールドが1つしかないため、速度計のタイプを使用できます。その速度の矢印は現在の値を示します。 [書式設定オプション]（青色）をクリックし、要素の種類（グラフの種類）[放射状ゲージ]（赤色）を選択します。 ここにそのような美しいスピードメーターがあります。







最初のウィジェットの準備ができました。 実験のために、もう1つ作成します。 進行状況フィールドの値も表示されますが、左から右に移動する水平インジケータ（進行状況バー）の形式で表示されます。 この場合のリクエストは次のようになります。



sourcetype = "test_logging" | テーブル_time進捗| 頭1



意味：ソース「test_logging」からのデータに従って、「_ time」と「progress」の2つのフィールドのテーブルを作成し、そこから最初の行のみを取得します。 デフォルトのソートは、フィールド「_time」による降順です。 以下（緑色）に、このクエリの結果が表示されます。







次に、「フォーマットオプション」をクリックし、タイプ「バー」（緑色）を選択し、Y軸の間隔を0から100に設定します。何らかの理由で、X軸が垂直になり（「_time」フィールドが表示されます）、Y軸水平方向（「進行状況」フィールドがそこに表示されます）。 前の図のリクエストは値100を示していたため、水平インジケーターは完全に埋められます。







最初のウィジェットであるスピードメーターではこれをスキップしましたが、デバッグされたリクエストとその視覚的表現は「ダッシュボードパネル」として保存できます。 これを行うには、「作成」および「ダッシュボードパネル.​​..」（赤）をクリックして、設定を保存します。 最初のウィジェットに「Speedometer」、2番目の「Progress bar」に名前を付けましょう。







最初のウィジェットを保存するときに、ダッシュボードを作成することもできます。これを「テストロギング」と呼びましょう。 2番目のウィジェットを保存するときに、既に作成されているパネルを追加します。



パネルを作成した後、「ダッシュボードとビュー」をクリックし、「テストロギング」という名前で選択できます。 外観は次のようになります。







まだデータがないため、パネルは空です。 パネルの名前（赤色）、ウィジェットの名前（黄色）、パネルをアクティブにするボタン（緑色）、およびクエリまたは視覚的なプレゼンテーションをその場で修正できる「編集」ボタン（青色）が表示されます。 スクリプトを開始する前に、「編集」ボタンから各ウィジェットに移動し、1秒の更新時間間隔を指定する必要があります：「rt-1s」（リアルタイム-1s）から「rt」（現在の時間）まで。



それであなたは行き​​ます！ 「オン」に固定して、スクリプトを実行します。



仕組みのビデオ：







それだけです！

おわりに

もちろん、この例は非常に単純ですが、Splankがどのように機能するかについて少なくとも最小限の感覚を伝えることができたと思います。



会社で最近この製品を使い始めて、今のところ満足していると言います。 今年、私は非常に評判の良いブリティッシュテレコムタイプの企業の人々が出演したSplunkLiveカンファレンスに参加しました。 Splunkでは、毎日数ギガバイトのログを処理します。



残念ながら、大規模なオフィスであっても、ログを処理するためのサブシステムを開発したいという要望が常にあるわけではないため、Splankが役立ちます。