人工知能があなたを攻撃します

昨年末、IT業界の結果と予測で「人工知能」が繰り返し言及されました。 そして、情報セキュリティに取り組んでいる当社では、AIの展望についてさまざまな出版物から質問を送信し始めています。 しかし、セキュリティの専門家はこのトピックについてコメントすることを好みません。おそらく、「イエロープレス」効果が反発するでしょう。 「ゴッホのように描くことを学んだ人工知能」などの別のニュースの後、ジャーナリストはホットなテクノロジーをつかみ、それについて全員にインタビューしに行きます。そして、AIは畜産で何を達成できますか？ そして、教育の分野では？ このリストのどこかで、セキュリティはその詳細をあまり理解していないことが自動的に判明します。



さらに、IT業界からgeneしみなく提供されているジャーナリズムは、広告と見事な色彩でこの業界の成果について話すのが大好きです。 だから、メディアはGoゲームでのマシンインテリジェンスの勝利について耳を澄ましました（これは実際の生活では役に立たないのですが）テスラ。



この記事では、進化の観点から人工知能に関するいくつかの観察結果を収集しました。 これは珍しいアプローチですが、セキュリティにおけるAIエージェントの役割、および他の領域におけるAIのセキュリティを評価する最良の方法であるように思えます。

環境と適応

人工知能に関するほとんどすべてのニュースは、マシンの独立性のレベルを高めることについて語っています：「コンピューターのビート...」、「ニューラルネットワークの学習...」。 これは、動物を用いた実験室実験の説明に似ています。 しかし、動物の行動の研究において、科学者は自然環境での研究が長い間必要になってきました。なぜなら、実験室で明らかにされていない、主張されていない生物の特性の多くを形成するのは環境とそれに適応するためです。



同様に、AIが生きる環境を「真空の理想的な馬」の代わりに研究すれば、AIの見通しがより明確になります。 また、環境によって彼の成功がどのように変わるかに注目してください。 機械翻訳者を作成する試みは半世紀以上にわたって行われており、数十億ドルが費やされています-しかし、中国語からの翻訳には、プログラムを信頼するよりも人間の翻訳者を雇う可能性が高くなります。 一方、2006年に登場した高頻度取引用のボットは、わずか数年後に経済危機で重大な役割を果たし始めました。 これらのロボットは、水中の魚のように感じるデジタル環境を単純に占有しました。つまり、人間よりもはるかに優れています。



ハッカー攻撃を自動化するために、同様に便利なデジタル環境が作成されました。多くの標準的な脆弱性を持つ多くのデバイスが、インターネットのおかげで突然公共の海に統合されました。 昨年の経験が示したように、100万台のセキュリティカメラをキャプチャし、それらからボットネットを構築するには、プログラムに最小限のインテリジェンスがあれば十分です。 しかし...彼女が一人である場合のみ。 次のバージョンのMiraiボットネットは、前のバージョンのリソースを押収しましたが、より複雑であることが判明しました。 したがって、もう1つの進化エンジンがオンになります-競争です。

軍拡競争と「混合技術」

驚くべきことに、ほとんどの学術的なAIの研究は、一般に知性が生存のための激しい戦いの結果であるという事実を無視しています。 何十年もの間、理論上の「認知科学」は、マルウェアとセキュリティシステムの対立において、近くのどこかで活発に成長しているものをモデル化しようとして、あまり成功していませんでした。



ウィキペディアで専門分野の人工生命の定義を読むと、コンピューターウイルスに関する単語は1つも見つかりません。70年代以降、この分野がシミュレートしようとしてきたすべてのことを示しています。 ウイルスには適応行動（異なる条件での異なるアクション、「サンドボックス」のなりすましおよびアンチウイルスの無効化の能力）があり、突然変異による自己複製（親の署名が子孫を捕まえるのに役に立たないようにする）があり、模倣（合法プログラムとして偽装）などがあります。 もしそうなら、人工生命を探す場所-それはここにあります。



これは、防衛システムのインテリジェンスの開発に対抗するのに役立ちますか？ もちろん。 特に、ウイルスだけでなくセキュリティの同僚もウイルスと戦っていると考えると。 たとえば、過去2年間、Googleは定期的にウイルス対策ソフト （エイリアン）を破壊しています。 セキュリティシステムの脆弱性は以前に発見されましたが、Googleのおかげで、ウイルス対策製品はすでに脅威として認識され始めています。 グローバル検索エンジンは、独自のセキュリティ製品を展開するためにクリアをクリアしていると想定できます。 または、すでに公開されているかもしれませんが、皆のためではありません。



魔法の言葉「機械学習」と「行動分析」を発音する時が来ました-結局のところ、Googleは巨大なデータフロー（インデックスサイト、メール、ブラウザーなど）を制御するそのようなテクノロジーを制御できます。 ただし、安全性に関するこれらの技術の開発は、学術AI玩具とはわずかに異なります。



ブレーキのせいにしていた認知科学を見てみましょう。 半世紀以上にわたり、動物と人間の行動の研究において「行動学者」と「行動学者」の間で議論が行われてきました。 最初の、主にアメリカの科学者は、行動は環境に対する反応、反射のセットにすぎないと主張した。 彼らの中で最も過激な人々は、教育に関するタブラ・ラサの原則を公言し、新生児を任意の職業の代表者に変えることができると言った。彼の心は正しい指示を書くだけの空白のシートだからだ。 第二の方向である動物行動学は、多くの複雑な行動パターンが生得的であると主張するヨーロッパの動物学者の間で生じたものであり、それらを理解するためには、身体の構造と進化を研究する必要があります-比較解剖学が最初に行い、次に神経生物学と遺伝学。



人工知能の開発の学術的方向性を決定したのは、これら2つの議論グループです。 降順のAIの支持者は、外部要求に対応するための象徴的なルールの形式で、「上から下へ」全世界を記述しようとしました。これが、エキスパートシステム、ダイアログボット、および検索エンジンの登場です。 ボトムアップアプローチの支持者は、低レベルの「解剖学的」モデル-パーセプトロン、ニューラルネットワーク、セルオートマトンを構築しました。 行動主義の繁栄と「クリーンなスレート」としての意識の考え方の時代に、アメリカではどのようなアプローチが勝つことができますか？ もちろん、下向きです。 20世紀の終わりごろになって、先祖はリハビリを始めました。



しかし、何十年もの間、知性の最良のモデルは「混合」されるべきであり、異なる方法を適用できるという考えは、AI理論ではほとんど発展していません。 このようなモデルは、20世紀の終わりにのみ出現し始め、独立したものではなく、自然科学の成果に従って再び現れました。 猫の視覚皮質の細胞が2段階で画像を処理することが判明した後、畳み込みニューラルネットワークが発生しました。最初に、単純な細胞が単純な画像要素（異なる角度の線）を明らかにし、その後、画像がこれらの単純な要素のセットとして他のセルで認識されます。 もちろん、猫がいないと推測することは不可能でした。



別の顕著な例は、50年代にニューラルネットワークの理論の作成者になったマーヴィンミンスキーを投げることです。70年代に彼は幻滅して「下流」になり、2006年に悔い改めて本「The Emotion Machine」をscりました。ロジック。 本当にこの前に、人々は感情が異なる、それほど重要でない知性であることに気づきませんでしたか？ もちろん、推測した。 しかし、これを尊敬される科学にするために、彼らは美しい写真を備えたMRTスキャナーの登場を待つ必要がありました。 科学には写真はありません-ありえません。



しかし、野生のインターネットにおける軍拡競争による進化は、はるかに速く進んでいます。 アプリケーションレベルのファイアウォール（WAF）が最近登場しました。WAFのマジッククアドラントガートナー評価は2014年以降にのみリリースされました。 それでも、これらの最初の比較研究の時点で、一部のWAFは一度に複数の「異なる知性」を使用していることが判明しました。 これらは、攻撃シグニチャ（降順のシンボリックインテリジェンス）、機械学習ベースの行動分析（システムの正常な機能の統計モデルが構築され、その後異常が検出されます）、およびプロアクティブパッチ用の脆弱性スキャナー（この種のインテリジェンスは人々の「自己掘り起こし」と呼ばれます）、および一連の攻撃を特定するためのイベントの相関（AIの学術的開発の誰かが、時間の概念と連携できるインテリジェンスを構築しましたか？） 攻撃を心地よい声で報告する上記の「女性の知性」を追加することは残っています。ここには、少なくとも考え方の多様性に関して、人間の心の非常に現実的なモデルがあります。

模倣と共進化

AI理論家は認知科学の傾向に大きく依存していると上記で述べた。 まあ、彼らはコンピューターウイルスには興味がありませんでしたが、代わりに偉大なチューリングの教訓に従って、人をよく模倣することを学んだのでしょうか？



ほとんどない。 長年にわたり、さまざまな先見者が、個人データ、趣味、興味を収集した広告システムが私たちの行動をかなり正確に予測し始め、そのような洞察からあらゆる種類の利益を得ると約束してきました。 しかし実際には、1か月間のコンテキスト広告は、私たちがずっと前に購入したものを示しており、Facebookは実際に重要な文字を隠しています。



これは、人が真似するのが非常に難しいことを意味しますか？ しかし一方で、今年の主な傾向の1つは、平凡なフィッシングに基づく多くの深刻な攻撃です。 数百万ドルの銀行の損失、主要な政治家の通信漏れ、 サンフランシスコの地下鉄のロックされたコンピューター-すべては、1人が1つのメールを開くという事実から始まります。 音声の模倣や論理的な対話はなく、ニューラルネットワークもありません。 正しいタイトルの1文字のみ。



それでは、世界のより現実的な写真を見るには、セキュリティの観点からチューリングの定義を書き直す価値があるのでしょうか？ -人を奪うことができるマシンを「考えている」と考えてみましょう。 はい、はい、それは知性に関する美しい哲学的アイデアに違反しています。 しかし、過去の経験（検索クエリ、通信履歴）に基づいて人を模倣することは、他の多くのオプションを見落としていることが明らかになります。 人は、最も基本的な普遍的な価値観を損なうもの（エロチカ）に興味があるかもしれません。逆もまた同様です。その人の過去の経験（宝くじに当たった）で遭遇したことのない珍しい現象についての好奇心が含まれます



ちなみに、多くのSF作家は、「模倣ゲーム」のすべてのバリエーションの中で、セキュリティに最も関連するものが最も注目に値すると考えました。 フィリップ・ディックでは、間違った感情的反応（これは偽造される可能性があります）によってアンドロイドが計算され、マーシーシェリーでは俳句を書くことができない（ほとんどの人は方法を知りません）ことで計算されることはそれほど重要ではありません。 これは、単なる模倣ではなく、サバイバルゲームであることが重要です。 これをコンテキスト広告の漠然とした目標と比較してください-「与えられた予算をマスターすると同時に、これでは十分でないことを明確にする」などの素晴らしい目標を含む。 また、セキュリティシステムとは異なり、広告システムの人工知能が急いで開発される理由を理解できます。



そして、フィッシング攻撃の成功から引き出されるもう1つの結論-マシンと人々の共同進化は、この共生の両側に影響を与えます。 ボットはまだ人間的に話すのに苦労していますが、私たちはすでに何十万人もの人々が一生機械語で話し、考えています。 以前は、これらの貧しい人々は正直に「プログラマー」と呼ばれていましたが、今では「開発者」という言葉に偽って政治的に正しいです。 そして、マシンベースの思考形式（ライク、顔文字、タグ）に夢中になっている残りの数百万人の市民は、より機械的で予測可能になります-これにより、影響のテクニックが簡素化されます。



さらに、多様な感覚体験を1つのテンプレート通信チャネル（Facebookの友人がいるスマートフォンウィンドウ）に置き換えると、自分の好みを計算するよりも、誰かの選択を促すのが簡単になります。 前世紀の初めには、レーニンは装甲車で何時間も生き続けなければならず、「文盲」と見なされた大衆を納得させました。しかし、今日、ソーシャルネットワーク上の平凡なスパムボットは文盲の人々に同じ効果をもたらします。 彼らは数百万ドルの市民を繁殖させるだけでなく、クーデターにも参加しています。したがって、戦略研究機関のDARPAはすでに彼らを武器と認識し、それらと戦うための競争を行っています。



おもしろいことは次のとおりです。DARPAコンテストでは、防衛方法はソーシャルネットワークの同じ電子環境での軍拡競争を伴います。まるでそのような環境は変わらない現実であるかのようです。 これは私たちを動物と区別するための単なる例ですが、人々自身が、単純なボットでさえ簡単に人を欺くデジタル環境を作成しました。 したがって、セキュリティの目的で逆のトリックを行うことができます。 沼地を乾燥させ、死に絶え、マラリア蚊。



おそらく、このアプローチは誰かにとって古風に思えるかもしれません-彼らは言う、著者は進歩を放棄することを提案します。 したがって、より実用的な例を示します。 昨年、いくつかの研究が登場しました。その著者は、機械学習を使用して、「関連する」電子メディアを介してパスワードを盗聴します-たとえば、キーが押されたときのWi-Fi信号の変動や、これらのキーの音を記録できる近くのSkypeを介して 。 それでは、新しい空気騒音システムに対応して発明するのでしょうか？ ほとんどない。 多くの場合、識別時に余分な「エーテル」をノックアウトする方が効率的です。さらに、パスワード（単純な機械語！）による識別さえも、より原始的でないものに置き換える必要があります。

困難の寄生虫とAI精神科医

前の行でAIを単純なソシオボットにダウングレードしたので、今度は逆問題-複雑さについて話しましょう。 スマートニューラルネットワークに関するあらゆるニュースは、その成果が決して人々に当てはまるわけではないというジョークで続けることができます。 たとえば、「犯罪者を区別するために学習したニューラルネットワーク」という見出しを読み、「...しかし、その作成者は学習しませんでした。」 実際、知識をどこかで解釈または転送することができますか？それは、抽象的な重みであり、ニューラルネットワークの数千のノードと接続に広がっていますか？ このような機械学習に基づくシステムはすべてブラックボックスです。



複雑なシステムのもう1つのパラドックスは、単純な方法で故障することです。 自然界では、さまざまな寄生虫がこれをうまく実証しています。トキソプラズマのような単細胞生物でさえ、最も複雑な哺乳類生物を制御することができます。



インテリジェントシステムのこれら2つの特性は、ハッカーにとって優れた目標となります。ハッキングは簡単ですが、ハッキングされたシステムを通常のシステムと区別することは困難です。



これに最初に遭遇したのは検索エンジンです。寄生検索エンジン最適化（SEO）ビジネスが栄えました。 検索エンジンに特定の「餌」を与えるだけで十分であり、指定されたサイトは指定されたリクエストの検索結果の最初の行に入りました。 また、検索エンジンのアルゴリズムは平均的なユーザーには理解できないため、多くの場合、そのような操作を疑っていません。



もちろん、人間の専門家による外部評価の助けを借りて、「ブラックボックス」の横枠を特定することは可能です。 Google Flu Trendsサービスは、このサービスが2011年から2014年までのすべてのインフルエンザの流行を大きく誇張していることが明らかになった調査の公開後、その予測の公開を一般的に中止しました。 しかし、この静かな閉鎖はむしろ例外です。通常、類似の妨害を持つサービスは生き続けます。彼らが彼らにお金を使ったのは無駄ではありません！ さて、これらの行を書くと、 Yandex.Translatorは、「bulk」が「Bulk」に翻訳されることを教えてくれます。 しかし、このバグのある知性には感動的な「バグの報告」ボタンがあります。さらに500人の正気の人がそれを使用すると、傷のNavalnyも消えます。



現在、検索エンジン自体は人間による一定の修正を取り入れていますが、認めようとはしていません。この職業の名前でさえ、可能な限り神秘的なもの（「評価者」）が考案されました。 しかし実際には、数千人のテスターがGoogleとYandexの機械学習ギャラリーで働いており、アルゴリズムのその後の調整のために検索エンジンの結果を評価するために1日中退屈な仕事をしています。 オバマ大統領は、別れのスピーチで、人工知能が低スキルの仕事から人々を解放すると約束したとき、これらのはしけ運搬船の重いシェアについて知らなかった。



しかし、そのようなサポートは、難易度がすべての不幸な人が自分のやり方で不幸になる個人的な人工知能に上昇するときに役立ちますか？ あなたの個人的なSiriまたはAlexaがあなたに奇妙な答えを与えたと言ってください。 サードパーティの検索エンジンの欠点は何ですか？ または、過去の買い物の歴史から自己学習することはできませんか？ または、開発者は、ボットの音声シンセサイザーに自発性とユーモアを追加して、より自然に聞こえるようにしましたか？ または、AIエージェントはハッカーによってハッキングされていますか？ 見つけるのは非常に難しいでしょう。



ここで、インテリジェントエージェントの影響は「質問への回答」に限定されないことを付け加えます。 Pokemon Goなどの拡張現実ゲームのハッキングされたボットは、大勢の人々を危険にさらし、 強盗に便利な場所に誘導します。 そして、昨年述べたように、すでに言及したテスラがオートパイロットで平和に立つトラックに衝突した場合、サポートに電話する時間はありません。



よりインテリジェントなセキュリティシステムが私たちを救うかもしれませんか？ しかし、問題は次のとおりです。より複雑になり、機械学習で武装すると、「ブラックボックス」にもなります。 すでに、セキュリティイベント監視システム（SIEM）は非常に多くのデータを収集しているため、その分析は動物の内部でのシャーマンの占いや、トレーナーとライオン間のコミュニケーションに似ています。 実際、これは未来の職業の新しい市場であり、AI精神科医は最も統合失調症ではありません。

モラルベンダー

この記事で説明されている人と機械の関係-競争、共生、寄生-には、スマートカーが人の従順な僕であり、人間の善だけを気にするというより身近な写真が含まれていないことにおそらく気づいたでしょう。 はい、はい、私たちは皆、彼のロボット工学の原理でAzimovを読みました。 しかし、現実には、人工知能システムにはまだこのようなものはありません。 そして不思議ではありません。他の人を傷つけることなく生きることができる方法を人々自身がまだ理解していないのです。 より一般的な道徳は、人々の特定のグループのために善の世話をすることです-しかし、他のグループが害を受ける可能性があります。 すべて同じですが、いくつかはより平等です。



2016年9月、英国規格協会は「 ロボットの倫理的設計のためのガイドライン 」をリリースしました。 また、10月には、Googleの研究者がAIアルゴリズムの「 差別テスト 」を発表しました。 これらのドキュメントの例は非常に似ています。 英国人は、人種差別的なロボットが警察を捕まえることを心配しています。黒人の間でより頻繁な犯罪に関するデータに基づいて、システムは黒人をより疑わしいと見なし始めます。 また、アメリカ人はあまりにも差別的な銀行AIについて不満を述べています。男性が女性よりもローンを返済できない可能性が2倍ある場合、そのようなデータに基づく機械アルゴリズムは、主に女性にローンを発行することで構成される勝利戦略を銀行に提供できます。 これは「容認できない差別」になります。



すべてが論理的なように思えますが、これらのケースで平等を整えた後、他の人のリスクを簡単に高めることができます。 そして、マシンは裸の統計の代わりに抽象的な倫理をどのように適用しますか？



これはおそらく、「AIセキュリティ」のトピックの主な現在の傾向です。それ自体が疑わしい原則を使用して、人工知能を制限しようとします。 昨年10月、米国大統領府は「 人工知能の未来への準備 」というタイトルの文書を発行しましたが、この文書は上記の多くのリスクに言及していますが、すべての問題に対する答えは「テストする必要があり、確認する必要がある」という曖昧な推奨事項です。 「実質的なAI法の中で、無人偵察機の商用利用に関する米国運輸省の新しい規則のみが名前が付けられています。たとえば、人々の上空を飛行することは禁止されています。 致命的な自律兵器（LAWS）の責任者である私たちは、「LAWSの未来は長い間使用されてきましたが、予測するのは難しい」と控えめに報告しています。



同じテーマが欧州議会によって開発されました。欧州議会は、2017年初頭に、ロボットに倫理を実装する方法に関する曖昧な独自の推奨事項を公開しました。 ここでは、彼らの法的地位を決定する試みさえ行われましたが、それは人間からそれほど遠くない「特別な権利と義務を持つ電子人」です。 もう少し、バグのあるプログラムを消去して、その権利を侵害しないようにすることは禁止されます。 しかし、ロシア人は独自の誇りを持っています。ロシア連邦下院の代表者は、人工知能を口輪をかける必要がある犬と比較します 。 この時点で、抗議のための素晴らしいトピックが現れます-単一の国のロボットの自由のために。



冗談はさておき、AIセキュリティ問題の最善の解決策が存在するのは、これらの曖昧な原則に正確にある可能性があります。 進化的軍拡競争は、人工知能をホモサピエンスに対する危険な優位性に発展させることができるように思われます。 しかし、スマートマシンが人間の官僚主義、倫理、政治的正しさを処理しなければならないとき、これは彼らの知性全体を著しく鈍らせる可能性があります。



=================================

投稿：Alexey Andreev、Positive Technologies