🍂 ⛲️ 🐗 リーマン入門：イベントの監視と分析 🍧 👩🏽 👩🏽‍🤝‍👨🏼

以前の記事では、監視、収集、および

ストレージメトリック（たとえば、こちらとこちらをご覧ください）。今日は再びこのトピックに戻り、珍しいが非常に興味深いツールであるリーマンについてお話したいと思います。

他の監視システムと比較して、複雑さが増しているという特徴があり、

同時に-はるかに高い柔軟性とフォールトトレランス。インターネットでは、リーマンが「世界で最も柔軟な監視システム」と呼ばれる出版物を見てきました。リーマンは、複雑で複雑な高負荷システムに関するリアルタイム情報の収集に適しています。

厳密に言えば、リーマンの厳密な意味での監視システムはそうではありません。イベントプロセッサと呼ぶ方が正しいでしょう。

ホストおよびアプリケーションからイベントに関する情報を収集し、イベントをストリームに結合して、さらに処理または保存するために他のアプリケーションに渡します。リーマンは、イベントのステータスも監視します。これにより、チェックを作成し、通知を送信できます。

RiemannはEclipseライセンスの下で無料で配布されています。コードの大部分は、 Aphyrという仮名で知られるKyle Kingsburyによって書かれました（ちなみに、彼のブログを読むことをお勧めします。興味深い資料がよくあります）。

リアルタイムのイベント処理

最近観測されているメトリックの監視、収集、保存、分析の問題に対する関心の高まりは、非常に説明がつきやすいものです。コンピューターシステムはより複雑になり、負荷が増大しています。負荷の高いシステムの場合、リアルタイムでイベントを監視する機能は特に重要です。実際、リーマンはこの問題を解決するために作成されました。

リアルタイムに近い体制でイベントを処理するという考え方は新しいものではありません。イベントを実装する最初の試みは1980年代後半に行われました。例としては、いわゆるアクティブデータベースシステム（アクティブデータベースシステム）があります。これは、データベースに入ってくるデータが特定の条件セットに対応する場合、特定の命令セットを実行します。

1990年代に、すでにリアルタイムで着信データを処理できるデータストリーム管理システム（ Data Stream Management Systems ）、および複合イベント処理システム（ Complex Event Processing 、略してCEP）が登場しました。このようなシステムは、外部データと埋め込まれた内部ロジックに基づいてイベントを検出するか、特定の分析操作を実行します（たとえば、一定期間のイベント数をカウントします）。

複雑なイベントを処理するための最新のツールの例は、特にStorm （ロシア語のそれに関する記事も参照）とEsperに役立ちます。ストレージを使用しないデータ処理に焦点を当てています。リーマンは同じクラスの製品です。同じStormとは対照的に、はるかに単純で論理的です。イベント処理のロジック全体は、1つの構成ファイルでのみ記述できます。

多くのシステム管理者や実務家はこの機能に驚かされる可能性があります。構成ファイルは基本的にClojure言語のコードですが、Riemannによって記述されています。

Clojureは、機能的（より正確にはLispに似た）プログラミング言語を指します。しかし、心配する必要はありません。その独創性のために、Clojureは一見したほど複雑ではありません。その機能をより詳細に検討してください。

Clojureについて

Clojureは、LISPに基づいた関数型言語です。 Clojureで記述されたプログラムは、JVMプラットフォームで実行されます。この言語の最初のバージョンは2007年に登場しました。ごく最近、これまでの最新バージョンがリリースされました-1.8.0。

Clojureは、Facebook、Spotify、SoundCloud、Amazonなどの企業のプロジェクトで使用されています（完全なリストについては、公式Webサイトを参照してください）。

JVM用の他のLISP実装（たとえば、ABCLまたはKawa）とは異なり、ClojureはCommon LispまたはSchemeのいずれとも完全に互換性がありませんが、これらの言語から多くを借りました。 Clojureには、他の最新のLISP方言にはない、データの不変性、競合コードの実行など、いくつかの拡張機能もあります。

ClojureはもともとJVMで動作するように設計されていたため、このプラットフォームに存在する多くのライブラリで動作します。 Javaとの相互作用は双方向に実装されています。 Java用に記述されたコードを呼び出すことができます。また、Javaおよび他のJVMベースのプログラミング言語（Scalaなど）からの呼び出しに使用可能なクラスを実装することもできます。 Clojureとその機能の詳細については、この記事とRiemannの公式Webサイトを参照してください。また、Clojureの別の短いが非常に有益な紹介に慣れることをお勧めします。

インストールと最初の開始

リーマンを使用するには、まず必要なものをすべてインストールする必要があります

依存関係：JavaおよびRuby（追加のコンポーネントがいくつか記述されています。これについては後で説明します）：

$ sudo apt-get -y install default-jre ruby-dev build-essential

次に、最新バージョンのリーマンをダウンロードしてインストールします。

 $ wget https://aphyr.com/riemann/riemann-0.2.10_all.deb $ dpkg -i riemann-0.2.10_all.deb

次に、実行します：

 $ sudo service riemann start

本格的な作業を行うには、Rubyで記述されたコンポーネントを収集およびメトリック用にインストールする必要もあります。

 $ gem install riemann-client riemann-tools

以上です。リーマンとの作業を開始する準備がすべて整いました。実践的な部分に移る前に、小さな理論的余談を行い、最も重要な概念であるイベント、フロー、インデックスの意味を明確にします。

イベント、スレッド、およびインデックス

リーマンの基本概念はイベントです。イベントを処理、カウント、収集し、他のプログラムにエクスポートできます。イベントは次のようになります。

 {:host riemann, :service riemann streams rate, :state ok, :description nil, :metric 0.0, :tags [riemann], :time 355740372471/250, :ttl 20}

指定されたイベントは、次のフィールドで構成されます。

：host-ホスト名;
：service-監視対象サービスの名前。
：state-イベントの状態（ok、警告、クリティカル）;
：タグ-イベントラベル。
：time-Unixタイムスタンプ形式のイベントの時間。
：description-任意の形式のイベントの説明。
：メトリック-イベントに関連付けられたメトリック。
：ttl-イベント関連の時間（秒単位）。

一部のイベントには、作成中またはイベント処理中に追加できるカスタムフィールドもあります（たとえば、追加のメトリックを持つフィールド）。

すべてのイベントはスレッドに結合されます。ストリームは、イベントを送信できる機能です。

作成できるスレッドの数に制限はありません。イベントはストリームを通過しますが、ストリームには保存されません。ただし、非常に頻繁にイベントのステータスを監視する必要があります。たとえば、関連性が失われたかどうかなどです。このために、インデックスが使用されます-監視対象イベントの状態のテーブル。インデックスでは、イベントはホストごとおよびサービスごとにグループ別にソートされます。次に例を示します。

 :host www, :service apache connections, :state nil, :description nil, :metric 100.0, :tags [www], :time 466741572492, :ttl 20

これは、Apache接続サービスのホストwwwで発生したイベントです。インデックスには、常に最新のイベントが常に保存されます。インデックスには、ストリームからアクセスすることも、外部サービスからアクセスすることもできます。

各イベントにTTL（有効期間）フィールドが含まれることは既に確認しました。 TTLは、イベントが関連する期間です。上記の例では、イベントのTTLは20秒です。インデックスには、host wwwおよびservice apache connectionsというパラメーターを持つすべてのイベントが含まれます。 20秒以内にそのようなイベントが発生しない場合、状態フィールドの値が期限切れになった新しいイベントが作成されます。その後、ストリームに追加されます。

構成

理論から実践に移り、リーマンの構成に取りかかりましょう。構成/etc/riemann/riemann.configを開きます。 Clojureプログラムであり、デフォルトでは次のようになります。

 ; -*- mode: clojure; -*- ; vim: filetype=clojure (logging/init {:file "/var/log/riemann/riemann.log"}) ; Listen on the local interface over TCP (5555), UDP (5555), and websockets ; (5556) (let [host "127.0.0.1"] (tcp-server {:host host}) (udp-server {:host host}) (ws-server {:host host})) ; Expire old events from the index every 5 seconds. (periodically-expire 5) (let [index (index)] ; Inbound events will be passed to these streams: (streams (default :ttl 60 ; Index all events immediately. index ; Log expired events. (expired (fn [event] (info "expired" event))))))

このファイルはいくつかのセクションに分かれています。各セクションは、Clojureで慣例となっているように、セミコロン（;）で示されるコメントで始まります。

最初のセクションは、ログが書き込まれるファイルを示します。次に、インターフェースを含むセクションがあります。リーマンは通常、TCP、UDP、およびWebソケットインターフェイスをリッスンします。デフォルトでは、これらはすべてローカルホスト（127.0.0.1）にバインドされています。

次のセクションには、イベントとインデックスの設定が含まれています。

 (periodically-expire 5) (let [index (index)] ; Inbound events will be passed to these streams: (streams (default :ttl 60 ; Index all events immediately. index

最初の関数（periodically-expire）は、期限切れになったすべてのイベントをインデックスから削除し、ステータスに期限切れを割り当てます。イベントクリーニングは5秒ごとに開始されます。

デフォルトでは、リーマンはフィールド：serviceおよび：hostを期限切れイベントにコピーします。他のフィールドもコピーできます。これを行うには、定期的に期限切れになる関数でkey-keysオプションを使用します。したがって、たとえば、ホスト名とサービス名だけでなく、タグも保存するように指示できます。

 (periodically-expire 5 {:keep-keys [:host :service :tags]})

以下は、indexという名前のシンボルを定義する構成です。この文字の値はインデックスです。これは、イベントをインデックスに送信する関数です。イベントをインデックスするタイミングをリーマンに伝えるために使用されます。

ストリーム機能を使用して、ストリームについて説明します。各スレッドは、イベントを引数として受け取る関数です。 streams関数は、Riemannに次のように伝えます。「新しいイベントが追加されたときに呼び出す必要がある関数のリストを以下に示します。」この関数内で、イベントのTTLを60秒に設定します。これを行うために、イベントからフィールドを取得し、デフォルト値を設定できるデフォルト関数を使用しました。 TTLを持たないイベントは期限切れステータスを受け取ります。

次に、デフォルトの構成がシンボルインデックスを呼び出します。これは、すべての着信イベントが自動的にインデックスに追加されることを意味します。

最後のセクションには、ステータスが期限切れのイベントを記録する指示が含まれています。

 ; Log expired events. (expired (fn [event] (info "expired" event))))))

構成ファイルにいくつかの変更を加えます。ネットワークインターフェースのセクションで、127.0.0.1を0.0.0.0に置き換えて、Riemannが任意のホストからイベントを受信できるようにします。

ファイルの最後に、次を追加します。

 ;print events to the log (streams prn #(info %))

これは、イベントをログと標準出力に書き込むprn関数です。その後、変更を保存してリーマンを再起動します。

複数のサーバーの作業を監視する必要がある状況では、共通の構成ファイルではなく、サーバーまたはサーバーのグループごとに個別のファイルを含むディレクトリ全体を作成できます（この記事の推奨事項を参照）。

構成ファイルを書き込むための詳細な手順については、こちらをご覧ください。

リーマンへのデータ送信

それでは、リーマンにデータを送信してみましょう。これにはriemann-healthクライアントを使用します。これは、既にインストールしたriemann-toolsパッケージの一部です。ターミナルのもう1つのタブを開いて実行します。

 $ riemann-health

このコマンドは、ホストの状態に関するRiemannデータ（CPU負荷、使用されているディスク容量、使用されているメモリ量）を送信します。

リーマンはイベントの受け入れを開始します。これらのイベントに関する情報は、ファイル/var/log/riemann/riemann.logに書き込まれます。次の形式で表示されます。

 #riemann.codec.Event{:host "cs25706", :service "disk /", :state "ok", :description "8% used", :metric 0.08, :tags nil, :time 1456470139, :ttl 10.0} INFO [2016-02-26 10:02:19,571] defaultEventExecutorGroup-2-1 - riemann.config - #riemann.codec.Event{:host cs25706, :service disk /, :state ok, :description 8% used, :metric 0.08, :tags nil, :time 1456470139, :ttl 10.0} #riemann.codec.Event{:host "cs25706", :service "load", :state "ok", :description "1-minute load average/core is 0.02", :metric 0.02, :tags nil, :time 1456470139, :ttl 10.0}

Riemann-healthは、riemann-toolsパッケージのユーティリティの1つにすぎません。メトリックを収集するためのかなり多数のユーティリティが含まれています：riemann-net（ネットワークインターフェイスの監視用）、riemann-diskstats（I / Oサブシステムの監視用）、riemann-proc（Linuxでのプロセスの監視用）など。ユーティリティの完全なリストはここにあります。

最初のチェックを作成する

そのため、Riemannがインストールされ実行されています。では、最初のチェックを作成してみましょう。構成ファイルを開き、次の行を追加します。

 (let [index (index)] (streams (default :ttl 60 index ;#(info %) (where (and (service "disk /") (> metric 0.10)) #(info "Disk space on / is over 10%!" %))

関数（#info）の前にはコメント記号-セミコロン（;）が付いています。これは、リーマンがすべてのイベントを記録するのを防ぐためです。次に、Whereストリームについて説明します。特定の基準に一致するイベントがそれに該当します。この例では、次の2つの基準があります。

フィールド：サービスはディスク/に設定する必要があります。
フィールド値：メトリックは0.10または10％より大きい必要があります。

その後、それらは、さらに処理するために子ストリームに転送されます。この場合、そのようなイベントに関する情報は、ファイル/var/log/riemann/riemann.logに記録されます。

フィルタリング：クイックリファレンス

イベントをフィルタリングしないと、リーマンとの本格的な仕事は不可能であるため、いくつかの言葉を別々に言う価値があります。

正規表現を使用してイベントをフィルタリングすることから始めましょう。 whereストリームの説明の次の例を考えてみましょう。

 where (service #”^nginx”))

Clojureでは、正規表現は＃記号で示され、二重引用符で囲まれています。この例では、：サービスフィールドにnginxという名前の式がwhereストリームに入ります。

ストリームを論理演算子を使用して結合できる場所のイベント：

 (where (and (tagged "www") (state "ok")))

この例では、wwwフィールドとstateフィールドの値がokのイベントはwhereストリームに分類されます。タグ付きストリームからのイベントと結合します。

Taggedは、すべてのイベントを指定されたタグと組み合わせる、すべてタグ付き関数の短縮名です。タグ付き関数もあります。指定された1つ以上のタグでマークされたイベントをストリームに結合します。

 (tagged-any ["www" "app1"] #(info %))

この例では、wwwタグとapp1タグでタグ付けされたイベントはタグ付きストリームに分類されます。

イベントに関連して、次のような数学演算を実行できます。

 (where (and (tagged "www") (>= (* metric 10) 5)))

この例では、イベントはタグwwwを持つイベントを発生します。フィールドの値：メトリックに10を掛けた値は5を超えます。

同様の構文を使用して、メトリックフィールドの値が指定された範囲内にあるイベントを選択できます。

 (where (and (tagged "www") (< 5 metric 10)))

上記の例では、フィールド：メトリックの値が5〜10の範囲にあるwwwタグを持つイベントは、whereストリームに分類されます。

通知を設定する

リーマンは、指定された監査条件を満たす場合に通知を送信する場合があります。電子メール通知を設定することから始めましょう。リーマンはこれにメール機能を使用します。

[

 (def email (mailer {:from "riemann@example.com"})) (let [index (index)] ; Inbound events will be passed to these streams: (streams (default :ttl 60 ; Index all events immediately. index (changed-state {:init "ok"} (email "andrei@example.com")))))

Clojure- Postalの特別なライブラリに基づいて、通知がリーマンに送信されます。デフォルトでは、ローカルメールサーバーが配布に使用されます。

すべてのメッセージは、riemann @ example.comなどのアドレスから送信されます。

ローカルメールサーバーがインストールされていない場合、Riemannは次の形式のエラーメッセージを表示します。

 riemann.email$mailer$make_stream threw java.lang.NullPointerException

上記のコード例では、状態が変更されたショートカットを使用したため、リーマンはステータスが変更されたイベントを追跡する必要があることを示しました。 init変数の値は、イベントの初期状態が何であるかをリーマンに伝えます。ステータスがokからその他に変更されたすべてのイベントは、電子メール機能に渡されます。そのようなイベントに関する情報は、指定されたメールアドレスに送信されます。

通知の設定の詳細な例については、Riemannの開発者の1人であるJames Turnbullを参照してください。

メトリックの可視化：riemann-dash

Riemannには、メトリックを視覚化し、シンプルなダッシュボードを作成するための独自のツールriemann-dashがあります。次のようにインストールできます。

 $ git clone git://github.com/aphyr/riemann-dash.git $ cd riemann-dash $ bundle

リーマンダッシュは次のコマンドで始まります：

 $ riemann-dash

riemann-dashホームページは、ブラウザのアドレス[server ip-address]：4567で利用できます。

リーマンダッシュ

真ん中の黒いリーマン碑文に移動して、Ctrlキー（Macの場合はcmd）を押してクリックします。キャプションはグレー表示されます。その後、Eキーを押して編集を開始します。

リーマンダッシュ

タイトルのドロップダウンメニューで、グリッド項目を選択し、クエリフィールドにtrueを入力します。

リーマンダッシュ

必要な設定を設定したら、[適用]ボタンをクリックします。

リーマンダッシュ

ダッシュボードは、見た目も便利でもありませんが、非常に視覚的です。ただし、Riemannを使用すると、サードパーティの視覚化ツール、特にGraphiteとGrafanaを使用できるという不便さは相殺されます。興味のある読者は、インターネットで関連出版物を簡単に見つけることができます。また、Riemann + InfluxDB + Grafanaバンドルのセットアップ手順については、次のセクションで説明します。

InfluxDBへのデータの送信

リーマンの間違いない利点は、その幅広い統合機能です。これを使用して収集されたメトリックは、サードパーティのストアに送信できます。以下では、RiemannをInfluxDBと統合し、 Grafanaを使用してデータの視覚化をカスタマイズする方法を示します。

InfluxDBをインストールします。

 $ wget https://s3.amazonaws.com/influxdb/influxdb_0.9.6.1_amd64.deb $ sudo dpkg -i influxdb_0.9.6.1_amd64.deb

InfluxDBの構成についての詳細は、公式ドキュメントと以前の記事のいずれかをご覧ください。

インストールが完了したら、次のコマンドを実行します。

 $ sudo /etc/init.d/influxdb start

次に、リーマンからのデータを保存するデータベースを作成します。

 $ sudo influx >CREATE DATABASE riemann

このデータベースのユーザーを作成し、パスワードを設定してみましょう。

 >CREATE USER riemann WITH PASSWORD '  riemann' >GRANT ALL ON riemann TO riemann

これで、InfluxDBのインストールと基本設定が完了しました。次に、必要な設定をRiemann構成ファイルに登録する必要があります（コードはここから取得され、わずかに変更されています）。

 ; -*- mode: clojure; -*- ; vim: filetype=clojure ; capacitor,     InfluxDB (require 'capacitor.core) (require 'capacitor.async) (require 'clojure.core.async) (defn make-async-influxdb-client [opts] (let [client (capacitor.core/make-client opts) events-in (capacitor.async/make-chan) resp-out (capacitor.async/make-chan)] (capacitor.async/run! events-in resp-out client 100 10000) (fn [series payload] (let [p (merge payload { :series series :time (* 1000 (:time payload)) ;; s → ms })] (clojure.core.async/put! events-in p))))) (def influx (make-async-influxdb-client { :host "localhost" :port 8086 :username "riemann" :password "  riemann" :db "riemann" })) (logging/init {:file "/var/log/riemann/riemann.log"}) (let [host "0.0.0.0"] (tcp-server {:host host}) (udp-server {:host host}) (ws-server {:host host})) (periodically-expire 60) (let [index (index)] (streams index (fn [event] (let [series (format "%s.%s" (:host event) (:service event))] (influx series { :time (:time event) :value (:metric event) })))))

変更を保存し、リーマンを再起動します。

その後、Grafanaをインストールします。

 $ wget https://grafanarel.s3.amazonaws.com/builds/grafana_2.6.0_amd64.deb $ sudo dpkg -i grafana_2.6.0_amd64.deb

Grafanaの設定方法については詳細な説明を行いません。特別な必要はありません。対応する出版物はインターネットで簡単に見つけることができます。

Grafanaのホームページは、http：// [サーバーIP]：3000のブラウザーで利用できます。次に、新しいデータソース（InfluxDB）を追加し、ダッシュボードを作成するだけです。

おわりに

この記事では、リーマンの機能の概要を簡単に説明しました。次のトピックについて説明しました。

Clojure言語機能
リーマンのインストールと初期設定。
構成ファイルの構造とその構文の機能。
チェックの作成。
通知設定;
リーマンダッシュを使用したメトリックの視覚化
InfluxDBとのリーマン統合およびGrafanaを使用したメトリックの視覚化

重要な詳細を見落としていると思われる場合は、ご連絡ください。レビューを補足します。また、実際にリーマンを使用している場合は、コメントで経験を共有してください。

何らかの理由でここにコメントを残せない場合は、当社の企業ブログへようこそ。

リーマン入門：イベントの監視と分析