メイヘム-プログラムの脆弱性を検出して修正できるマシン

このプログラムは、倫理的なハッキング自動化に特化したDARPA Cyber​​ Grand Challengeで1位になりました

2011年、投資家のMark Andrissenが「プログラムは世界を食い物にする」 と言ったとき、この考えは新鮮でした。 ソフトウェアが私たちの生活のあらゆる側面に浸透していることは明らかです。 医療機器やロボモービルなどの複雑な電子機器から、インターネットや温度計に接続された電球などの最も単純なものまで、ソフトウェアが私たちを囲んでいます。



そしてこれは、これまでにないほどこのソフトウェアに対する攻撃に対して脆弱であることを意味します。



毎年、 1,110億行のコードが既存のプログラムに追加され、それぞれが新しい潜在的な目標として機能します。 調査会社Cyber​​security Venturesの創設者兼編集長のスティーブモーガンは、これまで知られていなかった脆弱性（業界が「ゼロデイ脆弱性」と呼ぶもの）を通じてコミットされたシステムハッキングは、2021年までに米国で毎日発生するものの、2015年には毎週発生すると予測しています。



この問題を解決するために、カーネギーメロン大学の同僚と私は、ソフトウェアを自動的に安全にすることができるテクノロジーを作成するのに10年近く費やしました。 その後、2012年にForAllSecureを設立して、製品を世界に紹介しました。 私たちは宣言したことを実行できることを証明するだけでよく、これは競争への参加という形で行いました。





The Magnificent Seven：2016年にラスベガスで開催されたCyber​​ Grand Challengeの決勝戦の観客の前で、競合するコンピューターが輝きます。



2016年に早送りします。私たちのグループは、ラスベガスのホテルのトイレに集まり、爪を噛んで、競争に負けたと確信しており、準備に数千時間かかりました。 これはDARPAサイバーグランドチャレンジ（CGC）であり、米国防総省の高度な研究プロジェクトによって組織された多くのイベントの1つ（2000年代初期に開催されたロボットカーコンペティションなど）で、国家の安全を確保するための技術的なブレークスルーを刺激しました。 CGCが発生したのは、DARPAが、米国がサイバー攻撃を撃退するのに十分な人やツールを持っていない日が来るかもしれないと認識したためです。



サイバーセキュリティの戦場にはハイテクに精通したハッカーがいますが、その中で最も優れているのは、ソフトウェアの弱点を創造的に利用して組織の防御に侵入できる人たちです。 独自の目的でこれを行う犯罪者はブラックハットハッカーと呼ばれ、多くの場合、スクリプトキディ、既製のプログラムを使用する人々が、たとえば2016年にインターネットボットネットで起こったような混乱を引き起こすツールを作成します物事はインターネットを介して大規模な攻撃を開始し、普通の人々の家の監視カメラにアクセスしました。 逆に、倫理的、またはホワイトハットのハッカーは、スキルを使用してこのような攻撃を防ぎます。 しかし、倫理的ハッカーはすべてのソフトウェアを保護するのに十分ではありません。商用世界では急速に成長しているソフトウェアの数はもちろん、国家的および世界的なセキュリティに不可欠な共通のインフラストラクチャおよび軍事プラットフォームは言うまでもありません。



2014年、DARPAはCyber​​ Grand Challengeを発表しました。これは、ソフトウェアの弱点を発見、検証、修正できるAIシステムの開発の実現可能性をテストする2年間のプロジェクトです。 2015年には、100のチームが事前審査段階に入りました。 2016年には、そのうち7人が最終決定に至りました。そこでは、推論が可能なシステムを提示する必要がありました。問題に気付くだけでなく、その起源についても推測するシステムです。 チャンピオンは200万ドル、2位と3位-100万ドルと750,000ドルを受け取ります。



DARPAがこれらの詳細を発表した後、同僚と私はすぐに、これが自動サイバーセキュリティシステムが単純な理論上のおもちゃではないことを示す絶好の機会であることに気付きました。 ForAllSecureについて話したとき、ソリューションの実用性について懐疑的な見方を常にしていました。 私たちは、10年にわたって取り組んできたので、競争に勝つ必要があると判断しました。



大学での私たちの研究は、単純な仮定から始まりました。人々は、購入したソフトウェアを安全にテストする方法を必要としています。 もちろん、プログラマはセキュリティの問題を排除するためにあらゆる努力をしますが、彼らの主なタスクはより簡単です。彼らは製品を時間通りにリリースし、それが必要なことをすることを保証する必要があります。 問題は、ハッカーがソフトウェアにすべきでないことをさせる方法を見つけることです。



今日、ソフトウェアセキュリティの分野でのベストプラクティスには、ソースコードを確認して潜在的な弱点を特定するための特別なツールの使用が含まれます。 このプロセスは、多くの偽陽性結果を生み出します-実際には弱くない場所をマークします-したがって、人はそれらのすべてを調べて、それぞれをチェックする必要があります。 エラー検出の速度を向上させるために、一部の企業は、1回限りの分析を行うか、バグ検索プログラムに参加して有料の倫理的ハッカーに依存し、見つかったバグの数と重大度に対して支払います。 しかし、最も成功した企業だけが最高品質のプログラムをテストする余裕があります。 そして、さまざまなオープンソースコンポーネントやサードパーティのその他の作業が最終製品に含まれている場合にのみ、問題はより複雑になります。



このコンテストでは、倫理的なハッカーの作業を自動化するメイヘムシステムを紹介しました。 彼女は、考えられる弱点を指摘しただけでなく、これらの脆弱性を悪用し、弱点を証明しました。 これもCGCの重要なポイントでした-脆弱性の証拠を示し、有効なエクスプロイトを作成することが勝利ポイントを獲得する方法の一部でした。 また、メイヘムはスケーリング可能なマシンであるため、このような分析は人間がアクセスできない速度で実行できます。





メイヘムは、6社のライバルと同様、水冷が必要でした。 しかし、消費量と気温に関する統計は、メイヘムが他よりも積極的に働いたことを示しました。



私たちはメイヘムの創設に取り組み、大学で私たちが開発した既成のソフトウェア分析システムを持ち、プログラムテキストの正式な分析に基づいています。 この方法は、プログラムが進むことができる各パスを記述する数式と比較できます。つまり、絶えず分岐する分析ツリーを発行します。 そのようなツリーはすぐに大きくなりすぎて作業できなくなる可能性がありますが、ツリー全体をいくつかのブランチに減らすいくつかのパスを削除する賢い方法を考え出しました。 その後、残りのブランチをさらに詳しく調べることができます。



シンボリック実行は、プログラムのロジック全体を表す方程式（たとえば、x + 5 = 7）を作成し、この方程式を解きます。 この戦略を別のソフトウェア分析方法であるfuzzingと比較して、ランダムな値をドロップしようとしてプログラムに送り込もうとすると、停止に至った脆弱性と意図的な攻撃での使用方法をすでに特定できます。 ファジングは、方程式の値が真になるまでランダムデータを導入し、x = 2を決定します。



どちらのアプローチにも独自の長所がありますが、長年ファジングには実装の容易さと入力データの処理速度という利点がありました。 シンボリックパフォーマンスは、それを飼いならすことができる誰にとっても巨大で未開発の可能性に満ちていました。 2010年に作成を開始したメイヘムシステムでは、両方のアプローチを組み合わせることでこれを達成できました。



ファジングとは、どのような入力データがプログラムを新しい方法で動作させることができるかについて、十分な情報に基づいた仮定を立てて、実際にこの結果につながるデータの種類を追跡しようとする試みです。 シンボリック実行は、どの特定の入力データがエクスプロイトの作成に役立つかを正式に推測するよう数学者に依頼する試みです。 いくつかのエラーは素早い推測で見つけるのが最適であり、他のエラーは数学的アプローチを使用して見つけるのが最も良いことがわかりました。 したがって、両方の方法を並行して使用することにしました。 シンボリック実行は、プログラムの一部の順次調査に深く入り込み、コードのこの部分を実行する入力を提供します。 次に、システムはこのデータをファジングプログラムに渡します。ファジングプログラムはこのセクションのコードを非常に迅速に攻撃し始め、脆弱性を排除します。



もう1つのメイヘム機能は、テキストファイル、つまりソースコードを勉強している人々とは異なり、バイナリコードを直接操作します。 これは、システムが開発者の助けを借りずにプログラムを分析できることを意味します。これは、ソースコードが見つからないサードパーティの開発者によって作成されたコンポーネントを含むプログラムの場合に非常に重要です。 しかし、元のコードとは異なり、機能も論理変数もデータ抽象化もないため、バイナリコードについて判断することは困難です。 バイナリコードには、メモリと固定長ビットベクトルが1つずつしかありません-効率的なデータストレージ構造です。 このようなコードを使用するには、マシンである必要があります。また、このような制限で機能するマシンを作成するには、エンジニアは本当に熱心に取り組む必要がありました。



脆弱性を特定した後、メイヘムは実用的なエクスプロイトを生成します-ブラックハットハッカーがクラックに使用できるようなコード。 目標は、エクスプロイトを使用してオペレーティングシステムへの特権アクセスを取得できることを実証することです。 その結果、Mayhemは、ほとんどのコード分析ツールが行うように、起こりうる問題を記録するだけでなく、絶対的な確実性で脆弱性を特定します。



2014年、Debianディストリビューションに含まれるすべてのプログラムでMayhemをテストしました。Debianディストリビューションは、仕事用のコンピューターやサーバーで世界中で使用されているLinuxの人気バージョンです。 メイヘムは、ほぼ14,000のユニークな脆弱性を発見し、リストを250の新しいものに絞り込み、最高の優先度に値しました。 MayhemをAmazonクラウド内の多くのサーバーに拡張し、実際には人間の介入を必要としないため、テスト全体に1週間かかりました。 最も重要な発見をレビューのためにDebianコミュニティに送りました。 研究プロジェクトを営利企業にしようと決めた理由の1つは、開発者とこのような規模で協力し、膨大な数の脆弱性を探して数千のプログラムを分析したいという願望でした。





メイヘムプロジェクトチーム：ForAllSecureのエンジニアは、閉会式で頭脳を背景にポーズをとります。 この記事の著者であるDavid Bramleyは、左から3番目の最前列にいます。



2015年6月3日、100人以上の参加者が予選ラウンドに参加し、それぞれが既知の脆弱性を有する131のユニークなタスクを与えられました。 最も多くのポイントを獲得した7つのチーム（脆弱性とパッチを見つけるために発行された）は、サイバーグランドチャレンジの決勝戦に進みました。 ForAllSecureは、ポイントで2番目に終わった参加者の達成を2倍以上に増やしました。 そして、この短い喜びの瞬間はすぐに、本当のプレッシャーが今しか始まっていないことに気づきました！



メイヘム技術に基づいた完全に自律的なサイバネティック意思決定システムを作成するタスクは、非常に困難な企業であることが判明しました。 特に、DARPAは1年間の開発をサポートするのに十分な資金を7人のファイナリストに割り当てたという事実のおかげで、これをなんとかすることができました。 テクノロジーの主要コンポーネントには、実行可能プログラムを比較的理解しやすく分析しやすい言語に翻訳するツールのセット、脆弱性を見つけて悪用するためのアクティブなツール、欠陥のあるバイナリコードのパッチを自動的に作成するための保護ツール、および作業を効率的に調整するためのプログラムがあります。



決勝に向けて、2つの重大な困難に直面しました。 まず、Mayhemが脆弱性の検索を処理した方法には満足していましたが、パッチの効果が十分ではないように思われました。 競争では、実際には、この問題の解決策よりも多くのプロセッサー時間を浪費するパッチを追加することは意味がありません。 そのため、消費量を5％以下に増やす自動パッチを追加するシステムで非常に長い時間を費やしました。



第二に、勝利戦略が必要でした。 脆弱性を発見し、そのパッチを作成したとします。 おそらく、プログラムの速度が低下しすぎた場合、すぐにロールバックしないでください。 場合によっては、待つだけの価値があり、最後の手段としてのみパッチを適用してください。 プログラムにいつパッチを適用するかを決定するエキスパートシステムを開発しました。



2016年8月5日に決勝が行われたラスベガスのボールルームにチームが入ると、巨大なステージ上に点滅ライトのある7つの巨大なラックがあり、その下には参加者のコンピューターを冷却する180トンの水が入ったタンクがありました。 参加者は競技開始の前夜にマシンを準備する必要があり、DARPAはマシンへのすべてのアクセスを選択しました。 車はインターネットから遮断され、一般的には外界から遮断されました。 メイヘムの動作を監視し、システムの電力消費と温度を観察するだけで、統計は各ラックの横に表示されました。 メイヘムは常にライバルよりも積極的に働きました。そして、これが良い兆候であることを望みました。



ほぼ100ラウンドの間、競合するシステムは新しいプログラムを受け取り、わずか数分で脆弱性のコードを分析し、保護に必要なパッチを発行する必要がありました。 各ラウンドのポイントは、マシンが脆弱性の存在を見つけて証明する能力、およびパッチの有効性について与えられました。





広いマージンによる勝利：メイヘムは大きなマージンを作ることに成功し、その後、第40ラウンド後に落ちました。 しかし、チームは競争の最後までこのギャップについて何も知りませんでした。



プレゼンテーションをより面白くするために、主催者は大会の最後にのみ最終ポイントを通知することにしました。 つまり、このプロセスでは、勝者か敗者かがわからず、Mayhemが発見した脆弱性に関するメッセージを送信するだけでした。 しかし、競技開始から数時間後、第40ラウンド後、メイヘムがメッセージの送信を停止したことが明らかになりました。 プログラムがクラッシュしました。



最悪の悪夢が現実になっているように思えたので、私たちの内側のすべてが縮小しました。 オーガナイザーにプログラムを再開する機会を求めましたが、これを許可しませんでした。 そして、競争の半分しか完了しなかったため、恥ずべき敗北の準備を始めました。



主催者は競技の終わりに状況についてコメントし始めました。美しい視覚化により、各チームのマシンがプログラムでセキュリティ問題を見つけて修正した方法が、人々がそれに費やす月または年と比較して数秒で示されました。 ホールには5,000人以上が出席し、ゲストの解説者-天体物理学者および有名なハッカー-が彼らの関心を高めました。 敗北を発表し、画面上の情報で確認する準備をしました。



しかし、各ラウンドの後に追加されたポイントを見て、突然、メイヘムの最初のギャップが1位を維持するのに十分であることに気付きました。 最終ラウンドの結果が発表された後、まるで山が肩から落ちたかのようです。 勝ちました。



DARPAプログラムのディレクターであるマイクウォーカーは、この自律的なサイバー防衛のデモは、ソフトウェアセキュリティの世界における「革命のほんの始まり」に過ぎないと述べました。 彼は結果をライト兄弟の最初のフライトと比較しました。ライト兄弟は遠くまで飛ぶことはしませんでしたが、大陸横断フライトへの道を示しました。



これまでのところ、ForAllSecureは、新しいサービスの最初のバージョンを、米国政府、ハイテクおよび航空宇宙企業を含む初期の顧客に販売しています。 この段階で、サービスは基本的に、問題が存在するかどうかを判断します。問題はその後、人間の専門家によって修正されます。 かなり長い間、メイヘムのようなシステムは人々、セキュリティの専門家と協力して、ソフトウェアの世界をより安全な場所にするでしょう。 しかし、遠い将来、マシンインテリジェンスはこのタスクに単独で対処できると考えています。