IDS / NMSの向上：Webインターフェイスを備えたMikrotikとSuricata

どうやら、私はそのようなカルマを持っています：オープンソースでのサービスの実装をどのように取り上げても、私は間違いなく多くのマニュアルを見つけるでしょう。 -消化性は決してなく、最終的には自分で結果に到達する必要があります。



今回はすべてのマニュアルがELK5またはそれより古いものでしたが、以前のバージョンのソフトウェアをインストールしたくありませんでした。 私は、最も有望なサポート期間（できれば最新の安定版）でソフトウェアを入手したかったのです。



その結果、今後すべての苦痛を繰り返さずに完璧な偉業を繰り返すことができるようにするために、私はあなたと共有する段階的なチートシートを書かなければなりません。



今日、Mikrotik（RouterOS）、Suricata 4.1、Elasticsearch + Filebeat + Kibana 6.5。

参加する代わりに

条件：

• ホストAの仮想マシンにあるi386のMikrotik。MikrotikのすべてのインターフェースはVLANに散在しており、ホストには1つの物理ネットワークインターフェースがあります。
• 単一の物理ネットワークインターフェイスを備えたホストBのIDS / IPS / NMSの無料リソース。
• 20メガバイトのチャネル出力。
• Mikrotikの外部インターフェイスを通過するトラフィックに関する分析を受信したい。
• わさびルーブルとFIGコペックの予算。
• 手間のかからない一定の空き時間。

ここでは、IDS / IPS / NMSとは何か、なぜ必要なのか、何が起こるのかについては説明しません。 誰も私なしでこれを知っています、そして、知らない彼はグーグルになります。



また、私はSnortとSuricataのどちらを選択するかを正当化せず、後者を支持します。 これは好みの問題です。



しかし、その仕組みを表面的に説明します。



Suricataはどういうわけかトラフィックを受け取ります。 3つのオプションがあります。a）インラインモードで自分に渡す、b）スイッチポートからトラフィックのコピーを受信する、c）トラフィックを含むダンプを分析する。 Suricataは受信したトラフィックを分析し、分析に基づいて、このトラフィックで見つかったデータを提供します。



SuricataはJSONでデータを発行できます。 したがって、構造化されたデータがあれば、処理、システム化、分析、視覚化のために何らかのシステムに送ることができます。

私が理解する限り、データの分析と視覚化については、この分野の専門家でなくても、ELKスタックは完璧です。 ELKスタックは元々、Elasticsearch、Logstash、Kibanaで構成されていました。 これでBeatが追加されました（データソースとLogstashまたはElasticsearchの間の仲介として機能するインターフェイスプログラムのファミリ）。 今後は、BeatがElasticsearchに直接データを完全に供給し、Elasticsearchがそれを完全に消費するため、Logstashはなかったと言えます。 Elasticsearchは、噛まれたデータをELKスタック全体のWebインターフェイスであるKibanaに転送します。 Kibanaは、Filebeatから渡されたテンプレートを使用して、ユーザーにデータの視覚化、いわゆるダッシュボードを提供します。 Elasticsearch、Logstash、Beat、およびKibanaが1つのメーカーの成果であるという事実を考慮すると、このファーム全体は相互にリンクされており、リンクプロセスは（もちろん、オープンソース標準によって）文書化されています。



したがって、上記に基づいて、タスクを次のように説明できます：ルーターポートからトラフィックのコピーを取得し、Suricataに転送し、SuricataからJSON形式でデータを受信し、Filebeatに転送します。 Kibanaが視覚的なディスプレイを作成するのを助けました。

Mikrotik RouterOS

Mikrotikルーターハードウェアがあれば、ポートミラーリング（ポートミラーリング）の問題はまったくありません。 すべては、外部インターフェイスを通過するトラフィックをMikrotik自体の空きポートにミラ​​ーリングできるようにすることで決定されます。 Mikrotikに空きポートがない場合は、スイッチでポートミラーリングを有効にできます。 しかし、私の場合、Mikrotikには物理ポートがまったくなく、スイッチのポートはホスト全体からトラフィックを受信しました。ホストには、Mikrotikの他に、さらにいくつかの仮想マシンがありました。



そして、もう一度、心から言った：「ありがとう、ミクロティック！」。 RouterOSの組み込みスニファーをありがとう。 従来、スクリーンショットは使用せず、コンソールコマンドのみを使用していました。



WinBoxでターミナルを開き、スニファーをオンにします。



/tool sniffer set filter-interface=if-out filter-stream=yes streaming-enabled=yes streaming-server=192.168.1.253

/tool sniffer start







if-outの代わりに、トラフィックをインターセプトする予定のインターフェースの名前、および192.168.1.253の代わりに-インターセプトされたトラフィックがTZSP経由で送信されるマシンのIPアドレスを示します。



すべてMikrotik'omで。

すりかた

一般的に、私はあまりLinuxに向いていないので、ポップディストリビューションが好きです。 まあ、おそらく私はより禁欲的なDebianが好きです。 だから私はそれから始めました。 もちろん、Linux以外の問題のために、リポジトリからバイナリもインストールしたかったのです。 アセンブリは私にとって常に怠け者です。 したがって、Debianを選択する機会がある場合は、選択しないでください 。 Debianでファーム全体をインストールするプラグインがどこにあったのか正確には覚えていませんが、彼はそうでした。 そして、すべてをUbuntaの下にインストールすることについての全体的なストーリー。



4 ギガバイトのRAMを持つ4コア仮想マシンが作成され、 Ubuntu Server 18.04.1 LTS（x64）がダウンロードされてインストールされました

合意 ：以降のすべてのアクションはスーパーユーザーに代わって実行されるため、rootとしてログインするか、各コマンドにsudoを追加します。

各段階でスナップショットを作成し、それらに繰り返しロールバックしたため、最終的には、仮想マシンのリアルタイムでの同期がずれた状態で多くのグリッチを発生させました。

したがって、正しいタイムゾーンとNTP同期をすぐに設定します。



systemctl start systemd-timesyncd

systemctl status systemd-timesyncd

dpkg-reconfigure tzdata







Suricataのインストール時に依存関係の問題がないことを確認するには、 ユニバースリポジトリを/etc/apt/sources.listに追加します。



nano /etc/apt/sources.list

...

deb archive.ubuntu.com/ubuntuバイオニックメインユニバース

deb archive.ubuntu.com/ubuntuバイオニックセキュリティメインユニバース

deb archive.ubuntu.com/ubuntu bionic-updatesメインユニバース

Suricataを取得するリポジトリも追加します。

add-apt-repository ppa:oisf/suricata-stable







パッケージデータベースの更新：

apt-get update







Suricataをインストールします。

apt-get install -y suricata







次のステップでは、Suricataのルールとその更新を設定します。

apt-get install -y python-pip

pip install pyyaml

pip install https://github.com/OISF/suricata-update/archive/master.zip







suricata-update自体の更新を開始します 。

pip install --pre --upgrade suricata-update







追加の構成なしで実行すると、Emerging Threats Openルールセットが提供されます。

suricata-update







ソースのリストを表示するには、次を実行します。

suricata-update list-sources







ルールソースの更新：

suricata-update update-sources







ソースでそこで更新された内容を確認して、もう一度実行します。

suricata-update list-sources







すべての無料ソースが含まれます。

suricata-update enable-source ptresearch/attackdetection

suricata-update enable-source oisf/trafficid

suricata-update enable-source sslbl/ssl-fp-blacklist







そして再び、ルールを更新します。

suricata-update







Suricataがインストールされます。



次に、トラフィックを取得する必要があります。

トラフ

Trafrは、TZSPトラフィックをpcapに変換するためにMikrotikによって作成されたアプリケーションです。 アプリケーションは32ビットなので、起動するには、64ビットUbuntaで32ビットアプリケーションのサポートを有効にする必要があります。



dpkg --add-architecture i386

apt-get update && apt-get install -y libc6:i386







trafrをダウンロードして解凍します 。



wget http://www.mikrotik.com/download/trafr.tgz

tar xzf trafr.tgz







トラフィックがキャッチされていることを確認します。



./trafr -s







このような起動後、グラフィックモードのシンボリック出力が仮想マシンのコンソールで壊れたため、再起動する必要がありました。 sshを介してPuTTYにリモート接続する際に問題はありませんでした。



画面にランダムなちらつきが見られる場合、トラフィックが到着し、 trafrがそれをキャッチします。 その場合、 trafrを永住地に転送し、パイプラインを介してすぐにSuricataにキャッチされたトラフィックを送信して実行します。



mv trafr /usr/local/bin/

/usr/local/bin/trafr -s | suricata -c /etc/suricata/suricata.yaml -r /dev/stdin









ここで、トラフィックがスリカタに到着することを確認します。このために、隣接端末で次のことを行います。



tail -f /var/log/suricata/fast.log







意味のあるテキストのスマートスクロール-ミーアキャットトラフィックの受信ログが表示されます。



また、Suricataのトラフィックが受信するだけでなく、分析することを確認するのも面倒ではありません。



tail -f /var/log/suricata/eve.json







これは、FilebeatにフィードするJSON形式のSuricataからのイベントの出力です。

Elasticsearch + Filebeat + Kibana 6.5

Elasticリポジトリを使用するために必要なPGPキーをインストールし、必要な依存関係をインストールします。



wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

echo "deb https://artifacts.elastic.co/packages/6.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list

apt-get update && apt-get install -y openjdk-8-jre apt-transport-https wget nginx







Javaはバージョン8です。8を超えるものはサポートされていません。 したがって、より新しいJavaを以前にインストールできた場合は、それを破棄して8を置きます。



Javaが正しくインストールされていることを確認します。



java -version







およそ次の結論が得られます。

Javaバージョン "1.8.0_191"

Java（TM）SEランタイム環境（ビルド1.8.0_191-b12）

Java HotSpot（TM）64ビットサーバーVM（ビルド25.191-b12、混合モード）

Kibanaにアクセスするためのユーザーとパスワードを作成します。 管理者の代わりに、お好みのものを選択してください。



echo "admin:`openssl passwd -apr1`" | sudo tee -a /etc/nginx/htpasswd.users







ELKはlocalhostでスピンするため、nginxでリバースプロキシを構成します。



nano /etc/nginx/sites-available/kibana

サーバー{

80を聞きます。



server_name suricata.server;



auth_basic「アクセス制限」;

auth_basic_user_file /etc/nginx/htpasswd.users;



場所/ {

proxy_pass localhost ：5601;

proxy_http_version 1.1;

proxy_set_header Upgrade $ http_upgrade;

proxy_set_header接続 'アップグレード';

proxy_set_header Host $ host;

proxy_cache_bypass $ http_upgrade;

}

}

rm /etc/nginx/sites-enabled/default

ln -s /etc/nginx/sites-available/kibana /etc/nginx/sites-enabled/kibana









nginxを再起動します。



systemctl restart nginx







Elasticsearchを置きます：



apt-get install -y elasticsearch







OSのロード時に自動実行をオンにします。



systemctl daemon-reload

systemctl enable elasticsearch.service







以下を開始します。



systemctl start elasticsearch.service







上昇しているかどうかを確認します。



curl -X GET "localhost:9200/"







ハードウェアのパフォーマンスによっては、ESの起動に時間がかかる場合があります。 接続が拒否された場合、リクエストを繰り返し、次のようなものが得られるまで待ちます。

{

「名前」：「lcZuxxm」、

「Cluster_name」：「elasticsearch」、

「Cluster_uuid」：「kmJHqJnlQe2Rk7F-CRi4EA」、

「バージョン」：{

「番号」：「6.5.1」、

「Build_flavor」：「デフォルト」、

「Build_type」：「deb」、

「Build_hash」：「8c58350」、

「ビルド日」：「2018-11-16T02：22：42.182257Z」、

「Build_snapshot」：false、

「Lucene_version」：「7.5.0」、

"Minimum_wire_compatibility_version"： "5.6.0"、

「Minimum_index_compatibility_version」：「5.0.0」

}、

キャッチフレーズ：知っている、検索用

}

Kibanaを配置します。



apt-get install -y kibana







OSのロード時に自動実行をオンにします。



systemctl daemon-reload

systemctl enable kibana.service







以下を開始します。



systemctl start kibana.service







これで192.168.1.253に移動できます（もちろん、IPアドレスはミーアキャットでマシンに割り当てられたものです）。 Kibanaカバーページが開きます。



Filebeatを配置します。



apt-get install -y filebeat







OSのロード時に自動実行をオンにします。



systemctl daemon-reload

systemctl enable filebeat







Filebeatモジュールセットの一部であるSuricataモジュールをオンにします。



filebeat modules enable suricata







ElasticsearchでSuricataのプラグインをインストールする：



/usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-geoip

/usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-user-agent





2019年5月22日のUPDをご覧ください。



Elasticsearchの再起動：



systemctl restart elasticsearch.service







Filebeatの初期構成を実行すると同時に、Kibanaにテンプレートをロードします。



filebeat setup -e







Filebeatが/var/log/suricata/eve.jsonを見つけて処理していることを確認しますこれを行うには、 公開マーカーを使用してデータ出力モードでFilebeatを実行します。



filebeat -e -d "publish"







最初はFilebeat自体のjson形式の出力、次にそのログの単純なテキスト出力で、しばらくしてからSuricataからの出力です。すべてが機能することを確認してください。 その後、Filebeatを中止してbashに戻ります。



OSのロード時に自動実行をオンにします。



systemctl daemon-reload

systemctl enable filebeat.service







Filebeatを実行します。



systemctl start filebeat.service







Kibanaに移動し、左側のメニューから[ダッシュボード]を選択し、 filebeat- * indexを選択します。 ダッシュボードをもう一度選択し、リストから[Suricata]アラートの概要を選択すると、次のようになります。

オプショナル

ログローテーションを忘れないでください。ハードドライブの容量に関係なく、Suricataは非常に迅速にスコアを記録します。



nano /etc/logrotate.d/suricata

/var/log/suricata/*.log /var/log/suricata/*.json

{

毎週

回転3

行方不明

圧縮しない

作成する

共有スクリプト

後回転

/ bin / kill -HUP `cat /var/run/suricata.pid 2> / dev / null` 2> / dev / null || 本当

終わり

}

加えて、誰かがミクロティックで定期的にスニファーを実行しているという噂がありました。 次に、スニファーを再起動し、スケジュールに従って実行するスクリプトを作成します。



/tool sniffer stop

:delay 30s

/tool sniffer start

おわりに

率直に言って、私は上記のバンドルの安定性に完全には満足していません。 つまり、再起動する価値があり、奇跡が始まります。 一度、ペアを除くすべてのルールがルールの処理を停止しました。 すべてを再インストールする必要がありました。 2回目に、Elasticsearchは一般にFilebeatからのデータの受信を停止し、再起動する前に状態のスナップショットにロールバックする必要がありました。



これらの問題はまだ解決していません。



さらに、Mikrotikに譲渡されたSuricataによって特定された悪役のIPアドレスに基づいてIPSを実装する計画があります。



UPD ：不安定性の告発は削除されました。 ルール処理の終了に関する私の結論は誤りでした。 実際、再起動後にダッシュボードが空になる理由は、FilebeatとElasticsearchがmeerkatからマルチギガバイトのjsonファイルを解析するのにかなりの時間を要するという事実によるものです。 eve.jsonファイルが作成された日付を含む期間のイベントでダッシュボードを開くと、ファイルが処理されるにつれてグラフの列がどのように成長するかを確認できます。 処理されたイベントとともに、アラートが対応するダッシュボードに表示されます。 さらに、x86上のRouterOSのスニファーはハングしませんでした。



UPD 2019年5月22日 ：バージョンElasticsearch 6.7以降、ingest-geoipおよびingest-user-agentプラグインはモジュールに変換されました。 したがって、インストールされたアイテムはスキップされます。



また、アップグレードすると、Elasticsearchの起動エラーが発生します。 ログにエラーが表示されます：

[/ etc / elasticsearch / ingest-geoip]に存在しないと予想されるデータベース[GeoLite2-ASN.mmdb]

パフォーマンスを回復するには、次を実行します。



/usr/share/elasticsearch/bin/elasticsearch-plugin remove --purge ingest-geoip