Cisco OpenSOC-独自のサイバー脅威監視センターを作成するためのオープンソースソリューション

よくあることですが、まず市場で解決策を探しますが、それを見つけるのではなく、自分で自分で解決します。 そして、それはあなたが他の人にそれを与えるほど良くなりました。 そのため、OpenSOCは、サイバーセキュリティの分野で大量のデータを管理するためのオープンソースソリューションであり、シスコ独自のニーズに応じて開発され、一般アクセス用にGitHubに投稿されました。







アクセス制御プロセスがシスコ内部でどのように構築されているかについての以前のメモの 1つを思い出すと、制御する必要があるデバイスの数に注意を払うことができます。 そして、これらのデバイスが毎日生成/通過する安全性にとって重要なデータを見てみましょう：

• 47テラバイトのネットワークトラフィックデータ
• 1.2兆のネットワークイベント
• Cisco Umbrellaシステムの48億DNSクエリ
• Cisco電子メールセキュリティアプライアンスの4.1百万の電子メールメッセージ
• Cisco WebセキュリティアプライアンスおよびCiscoクラウドWebセキュリティに対する4,500万のWeb要求（URL）
• Cisco Stealthwatch向けの150億のNetFlowフロー
• Cisco NGIPSからの150万件のアラーム
• Cisco AMP ThreatGridシステム用の1万個のファイル。

合計で、分析目的で毎日4 TBのデータを収集して保存します。 これは膨大な情報であり、効果的な管理のために、当社のサイバーセキュリティサービスは単に特別なツールを必要としていました。 セキュリティイベント管理のトピックが発生したときに最初に頭に浮かぶのはSIEM（セキュリティ情報イベント管理）であり、世界の他の多くの企業と同様に、私たちもそのようなソリューションを使用しようとしました。 しかし、残念なことに、単一のSIEMソリューションで問題を解決できるわけではなく、これにはいくつかの理由がありました。

• データのインデックス作成の複雑さは、開発された情報セキュリティツールのデータ形式のサポートを含む情報保護ツールによるものではありません（この場合、お客様に販売するだけでなく、自社で使用するだけでなく、情報セキュリティエンジニアによってさまざまに作成されたシスコポートフォリオについては言及していません特定のタスクの「ツール」）
• スケーリングとデータ処理速度に関する深刻な問題（わずか10 GBのデータの検索には6分以上かかりました）
• タスクに合わせてソリューションをカスタマイズすることの難しさと、すべての組み込みルールをゼロから書き直し、誤検出が多すぎることの必要性
• 構造化データと非構造化データの操作の複雑さ。

既存のSIEMソリューションの代替として、Splunkの使用を開始しました。これにより、上記の問題の多くを解決でき、さらにコストを削減できました。 しかし... Splunkは、すべてにもかかわらず、まだすべての問題を解決できませんでした。 それらの95％のみ。 彼は、アンチウイルス、ITU、IDS / IPS、コンテンツフィルタリングシステムなどからデータを収集しました。 しかし、インシデント対応チームにとって非常に重要な情報の5％が船外に残されました。 脅威、攻撃者、その方法および戦術に関する非常に重要な情報。 この情報を使用して、セキュリティツールからSplunkで利用可能なデータを充実させることはそれほど簡単ではありませんでした。 まず、さまざまな単純なスクリプトとユーティリティを作成し、それぞれが狭いタスクを解決しました。 その後、アイデアが思いつき、サイバーセキュリティの分野でビッグデータを分析するための完全なプラットフォーム（Threat Intelligence Platform）に変えました。







OpenSOCと呼ばれるこのシステムは、独自のニーズのために作成されたため、シスコ製品の作成に関与する開発者を引き付けることはできませんでした。独自の情報セキュリティサービスを使用するだけで済みました。 したがって、すべてをゼロから作成するのではなく、オープンソースソリューションを使用することは論理的であり、その中で主な役割が果たされました。

• Flume（https://flume.apache.org）は、さまざまな形式（Syslog、SNMP、Netflow、JMS、HTTP、ファイル、PCAPなど）のさまざまなソースから大量のデータを収集および集約するための分散ツールです。 OpenSOCでは、Flumeはさまざまなセキュリティツール、アプリケーション、および機器からテレメトリーを収集します。
• Kafka（http://kafka.apache.org）は、分散型の高性能メッセージブローカー（バス）です。
• Storm（[http://storm.apache.org]）は、Kafkaを含め、計算を実行するためのデータを受け取る分散リアルタイムデータハンドラです。 組み込みのハンドラーを使用すると、セキュリティイベントに関するさまざまなタスク（フィルタリング、正規化、解析、脅威に関する情報の強化）を実行できます。 後者の場合、正規化されたデータは、情報セキュリティのコンテキスト（地理位置情報、IP評価、Whoisからの情報など）によって拡張されます。 OpenSOCの公開バージョンには、デフォルトでソースデータを強化する4つのプロセッサのみが含まれています。

• Hadoop（[hadoop.apache.org]）-分散プログラムの実行を開発するための、検索やコンテキストメカニズムなどのユーティリティとライブラリのセット。 ビッグデータ技術の基礎を築きます。 OpenSOC Hadoopクラスターはすべてのデータを保存します
• Elasticsearchは、大量のデータのリアルタイム検索およびインデックス作成システムです。
• HBaseは非リレーショナル分散データベースです。 OpenSOCは、長期ネットワークパケットストレージ（PCAP）を提供します。
• Hiveは、HBaseを含むHadoopに基づくデータベース管理システムです。 OpenSOCは、セキュリティイベントの長期保存を提供します。
• MySQLはリレーショナルデータベース管理システムです。 OpenSOCは、Hiveメタデータと、地理位置情報などの他のデータを保存します。
• Kibanaは視覚化システムです。

OpenSOCは、シスコの統合セキュリティデータ分析プラットフォームになりました。

• 異常やその他の明白で暗黙的なIS違反を検出するために、さまざまな角度からデータを収集、保存、処理、分析します
• さまざまな予測モデルおよび相関モデルを使用して、収集されたデータの隠れた相互依存関係を検索できます。
• 分析されたデータのコンテキストをリアルタイムで考慮します
• 適切な環境でセキュリティイベントを視覚化し、利害関係者向けのレポートを生成します。

技術的な観点からは、45個のCisco UCSサーバー（1440プロセッサ、12 TBのメモリ）のクラスター、前述のテクノロジーHadoop、Hive、HBase、Elasticsearchなどに基づいています。 Cisco OpenSOCストレージの容量は1.2 PBです。 1つのテーブルには、1.3兆を超える行が含まれます。







2013年にCisco OpenSOCの作成を開始し、2013年9月に最初のプロトタイプが登場しました。 途中、2013年12月にHortonworksが参加し、プロジェクトの開発に弾みをつけ、OpenSOCになるはずの高性能で分散型のプラットフォームにオープンソースコンポーネントを使用するための多くの興味深いアイデアをもたらしました。 2014年3月にOpenSOCの開発を完了し、2014年9月に公開してGitHubに投稿しました。







基本構成は、データの収集、保存、分析の機能をサポートし、脅威、被害者、攻撃者に関する情報を強化します。 OpenSOCの公開バージョンでさまざまなイベントを相関させる機能を本質的に実行するアダプターの数は少ないです。 ほとんどのSIEMと同様、すぐに使用できる相関ルールはあまりうまく機能しないため、OpenSOCでは、システムの各コンシューマーに対して独立して記述する必要があります。 たとえば、NTTグループの企業は、トリガーと相関ルールを作成するためのツールとしてEsperオープンソースエンジンを使用しています。







社内でOpenSOCが成功した後、アウトソーシングサービスの基盤として開発することが決定されました。 Cisco Active Threat Analytics （ATA）は、基本的に分散セキュリティオペレーションセンター（SOC）であり、お客様の情報セキュリティを監視および管理する機能を担っています。 企業内およびCisco ATAのフレームワーク内でOpenSOCを開発していると、Apache 2.0ライセンスでは必要なものをすべて実装できるとは限らないという事実に直面しています。 はい、オープンソースコンポーネントのみです。発生するすべての問題を解決するために制限することはできません。







OpenSOCの開発を2つの領域に分割することが決定されました。 最初のサービスは、ISサービスとATAサービスのニーズのためにシスコに残りました。 しかし、2番目の方向は非常に興味深いものでした。 OpenSOCはApacheインキュベーターに入り、オープンソースコミュニティによって開発された本格的なプロジェクトになりました。 OpenSOCも名前を変更し、 Apache Metronになりました。 2016年4月、Apache Metron 0.1の最初のバージョンがリリースされました。 同時に、イデオロギーは変更されておらず、OpenSOCユーザーはApache Metronに簡単に切り替えることができます。







Cisco OpenSOCは、別の方向で開発されました。 それに基づいて、MapRはSecurity Log Analyticsソリューションを作成しました。このソリューションは、上記のNTT企業、Zions Bank、およびその他の顧客が使用しています。 しかし、Apache Metronの場合のように、OpenSOCのイデオロギーは変わりません。サイバーセキュリティのビッグデータ分析と、構造化されたデータだけでなく、非構造化データでも機能します。 これにより、企業の脅威監視機能を大幅に拡張し、より多くの情報源を使用して、以前よりもはるかに多くの情報を「見る」ことができます。 たとえば、過去数年にわたってシスコでは、誰もが知っている静的なルールとシグネチャから、行動分析、異常、脅威インテリジェンスへの移行がありました。 これらすべては、Cisco OpenSOCなしでは不可能でした。