Mikrotik-NetFlowトラフィックの収集と分析

まえがき

むかしむかし、遠く離れた銀河で...考えてみれば、それはたった15年前のことでした。



一般に、FreeBSDとLinuxに基づくソリューションがインターネットへの中央ゲートウェイとして使用されたことがありました。 そして、これらのソリューションは愛情を込めて調整され、すべての可能な機能と不可能な機能（ファイアウォールやVPNサーバーからTFTP + PXEディスクレスブートサービスまで）で比較検討されました...そして問題はなく、すべてがうまくいきました...



しかし、時代は変わり、新しいソリューションが登場し、企業はLinuxカーネルを「安くて元気に」準備し、必要な機能を提供し、非常に控えめなお金（ハードウェアのコストに匹敵）で販売するように見えます。



そのようなソリューションの例は、Mikrotikと同じ名前のそのソリューションです。

現在の現実

全体として、現在の状況は、「通常のシステムマネージャー」を採用してゲートウェイを部品（ネットワークカード、ソフトウェア、サービスなど）に組み立てるよりも10から5000台のコンピューターが高速で経済的な組織にMikrotikを購入して導入することです。



同時に、トラフィックアカウンティングタスクは今も昔も残っています。 そして、近くのサーバーが助けになります（通常はLinuxベースのNASまたはFreeBSDベースのNAS）。



WEBトラフィックのアカウンティングはシンプルで簡単です-Squid + LightSquidバンドルを使用すると、誰がどのサイトにアクセスし、どのファイルをダウンロードし、YouTubeでどれだけハングするかに関する情報を迅速かつ簡単に収集および集約できます。 必要に応じて、サイト、時間などを制限することもできます。 長年にわたって実証されたシンプルで便利なソリューション。 Mikrotikは、IPプロキシをインターネットに発行するルールを1つ作成します。 そして誰もが幸せです。



しかし、ここに問題があります-すべてがSquidを正常に通過するわけではありません。 HTTPおよびSocksプロキシをサポートせずに記述された銀行クライアントがあります。 さまざまな種類のトラフィックにさまざまな接続を使用する複雑なプログラムがあります-結果-プロキシを介してうまく機能しないか、まったく機能しません。 そして、いわゆるVIPパーソンという別のカテゴリーがあります...「彼らのために何かが開かれない」場合、関係を悪化させるよりも「フルNAT」を与える方が簡単です。



したがって、遅かれ早かれMikrotikでは、プロキシサーバーをバイパスして、NATを介して「特別なルール」を直接解放する個別のルールが表示されます。 また、統計にトラフィックが表示されなくなりました。



そのようなトラフィックを考慮する決定は次を頼みます：

• 外部インターフェイスでMikrotikキャプチャNetFlow統計を有効にします。
• この統計をNASに送信します（たとえば、flow-captureを介してflow-toolsサービスに送信）

NASサーバーで受信したファイルの便利な分析のために、このソリューションは、いくつかの自己記述スクリプトで改善することが提案されています。

• ftファイルを処理し、MySQL DBMSに情報をロードするPerlスクリプト。
• NetFlowデータの便利な分析のための事前設定済みUIとして機能するPHPスクリプト。

Mikrotikを構成する

すべてがシンプルで、ドキュメントによると：

/ip traffic-flow set enabled=yes interfaces=WAN /ip traffic-flow target add dst-address=<NAS IP Address> port=8787 v9-template-timeout=1m version=5
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

例としてFreeBSDを使用したFlow-Toolsの構成

 #  NetFlow : pkg install flow-tools #  : echo 'flow_capture_enable="YES"' >> /etc/rc.conf.local echo 'flow_capture_flags="-N-2"' >> /etc/rc.conf.local # : service flow_capture start
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

NetFlowデータをインポートするためのMySQL DBMSのインストールと準備

 # ,    MySQL : pkg install mysql56-server #   echo 'mysql_enable="YES"' >> /etc/rc.conf service mysql start #   : mysql_secure_installation #  Perl-     : pkg install p5-DBI p5-DBD-mysql #            : mysql -u root -p
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

＃DBMSとユーザーを作成します。

 mysql> create database netflow; mysql> grant insert,create,update,select,delete on netflow.* to nfuser@'localhost' identified by '987654321'; mysql> flush privileges; mysql> exit;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ft- * NetFlow統計ファイルを分析し、データをMySQLにロードするPerlスクリプト

スクリプトはゼロから書かれたものではありませんでした-かつて2005年、NetGraphモジュールng_ipacctを使用したFreeBSDゲートウェイでのトラフィックカウントに関する記事（ link ）がOpenNET Webサイトに投稿されました。



ダウンロードスクリプトは基礎として採用され、NetFlowおよびflow-toolsで使用するために書き直されました。 FreeBSDとLinuxの両方で動作します（flow-catおよびflow-printプログラムに書き換えられるのはパスのみです）。



スクリプトの機能-このオプションは、過去1日間のすべてのft- *ファイルを分析し、データベースに（行ごとに）ロードするように設計されています。 同時に、MySQLに冗長な情報をロードしないように、いくつかのパターンに従って行が除外されます（たとえば、ブロードキャストトラフィック、DNSクエリトラフィック、HTTP / Socksプロキシトラフィックを除外します（プロキシ統計は別の場所にあります）。 DBMSにロードされる行数を10倍、または20〜30倍減らすことができます。



DBMSのテーブルは、新しい月の開始時に自動的に作成されます。 標準のNetFlow v5形式には、日が追加され、記録時刻（作成されたftファイルの時刻が使用されます-たとえば、15分ごと）、NetFlowソース名、およびネットワークインターフェイスの名前も示されます。

SQLクエリ構築を簡素化するPHP UI

著者のPerlスクリプトが使用された2005年に、SQLコマンドを使用してMySQLのデータを分析しました...



しかし、遅かれ早かれ、クエリを入力するのにうんざりするときが来ました。 そして、彼の考えを集めて、彼はSQLクエリをより速く簡単に構築できる小さなPHPコードを書きました。



外観：







スクリプトでできること：

1. SQLクエリを作成し、最終的なクエリ自体とその結果を表形式で確認します。
2. 毎月のNetFlowトラフィックの量を確認します。
3. 1つのインジケータ（SourceIP、SourcePort、DestIP、DestPort、Proto、Date）でトラフィックをグループ化します。
4. 合計ではなく行数を確認します（1か月と1つの属性によるグループ化の両方）。
5. トラフィック量でフィルタリングします。
6. トラフィック量ではなく、レコード自体を参照してください。
7. データベースから指定された数のレコードを要求します（たとえば、Excelでさらにコピー/貼り付けするため）。

PS：netflow.phpファイルの所有者は、Webサーバー（Apacheなど）のユーザーでなければなりません。

PSS：DBMSへのアクセスはnetflow.phpファイルで明示的に指定されているため、自分で変更してください。

MySQLテーブルの提供

テーブルが非常に大きい場合（「スラグ」とサイズの縮小を除き、必要なものだけをDBMSにロードする必要はありません）、DBMSのサイズを大幅に削減できる興味深いトリックがあります。 MyISAM形式のデータベース圧縮の使用と、インデックスの最適化について話します。



これらの手順を自動的に実行するために、別のPerlスクリプトが作成されました。これは、各月の初日にCronを通じて起動されます。

• 念のためにテーブルを修復します（突然、サービスが正しくシャットダウンされず、MyISAMにエラーが含まれています）。
• テーブルの名前を変更し、末尾にcを追加します（圧縮された単語から）。
• myisamchkおよびmyisampackプログラムを実行します。これらのプログラムは、データベースを圧縮し、圧縮されたテーブルの新しいソートされたインデックスを構築します。

合計すると、スクリプトの実行後、このテーブルは読み取り専用になり、圧縮され（サイズが3倍減少します）、新しいソートおよび最適化されたインデックスが構築されます。 このようなテーブルのクエリは高速になります。

まとめ

すべてのスクリプトはここからダウンロードできます 。



Update1：​​netflow.phpスクリプトの改善-PHPバージョン7.xで作業するため： リンク