マシンビジョンと人間の直感：オブジェクト認識プログラムの動作を中断するアルゴリズム

マシンのロジックは非の打ちどころのないものであり、アルゴリズムが正しく機能し、設定されたパラメーターが必要な標準に対応していれば、ミスを犯しません。 車にポイントAからポイントBへのルートを選択するように依頼すると、距離、燃料消費量、ガソリンスタンドの存在などを考慮して、最適なルートが構築されます。 これは純粋な計算です。 車は「この道に沿って行こう、このルートのほうがいいと思う」とは言いません。 計算速度は車よりも優れているかもしれませんが、それでも直観は切り札の1つです。 人類は、人間の脳に似た機械を作るのに何十年も費やしてきました。 しかし、それらの間にはそれほど多くの共通点がありますか？ 今日は、畳み込みニューラルネットワークに基づく比類のない機械の「ビジョン」を疑う科学者が、「偽の」画像を作成することを目的としたアルゴリズムを使用して物体認識システムをだます実験を行った研究を検討します。 アルゴリズムの妨害活動はどれほど成功し、人々は自動車よりも認識にうまく対処しましたか？この研究はこの技術の未来に何をもたらすでしょうか？ 科学者の報告書で答えを見つけます。 行こう

研究の基礎

畳み込みニューラルネットワーク（SNS）を使用した物体認識技術により、大まかに言えば、機械は白鳥を9番から、猫を自転車から区別できます。 この技術は非常に急速に発展しており、現在さまざまな分野で応用されていますが、その最も明白なものは無人車両の生産です。 多くは、物体認識システムのSNAは人間の視覚のモデルと見なすことができるという意見です。 しかし、この声明は人的要因のために大きすぎます。 問題は、車をだますことは、人をだますことよりも簡単であることが判明したということです（少なくとも物体認識の問題において）。 SNAシステムは、悪意のあるアルゴリズム（必要に応じて敵意のある）の影響に対して非常に脆弱であり、あらゆる方法でタスクを正しく実行できず、SNAシステムによって誤って分類されるイメージを作成します。



研究者はこのような画像を2つのカテゴリに分類します。「だまされている」（ターゲットを完全に変更している）と「恥ずかしい」（ターゲットを部分的に変更している）です。 最初のものは、システムによってなじみのあるものとして認識される無意味な画像です。 たとえば、ラインのセットは「野球」に分類され、マルチカラーのデジタルノイズは「アルマジロ」に分類されます。 画像の2番目のカテゴリ（「恥ずかしい」）は、通常の条件下では正しく分類される画像ですが、悪意のあるアルゴリズムにより、SNAシステムの目には誇張して、わずかに歪められます。 たとえば、手書きの6番は、いくつかのピクセルの小さな補数のため、5番として分類されます。



そのようなアルゴリズムが何を害するか想像してみてください。 交通機関の道路標識の分類を交換することは価値があり、事故は避けられません。



以下は、オブジェクトを認識するように訓練されたSNAシステムを欺く「偽の」画像と、そのようなシステムがそれらをどのように分類したかです。





イメージNo. 1



シリーズの説明：

• および -間接的にエンコードされた「詐欺的な」画像。
• b-直接エンコードされた「詐欺的な」画像。
• c- 「恥ずかしい」画像。1つの数字を別の数字に強制的に分類します。
• d- 「ノイズ」が1点（右下隅）にのみ存在する場合でも、LaVAN攻撃（ローカライズされた可視の敵/悪意のあるノイズ）により、誤った分類につながる可能性があります。
• e-異なる角度から誤って分類された3次元オブジェクト。

これについて最も興味深いのは、人が悪意のあるアルゴリズムにだまされて、直感に基づいて画像を正しく分類できないことです。 以前は、科学者が言うように、偽の画像の悪意のあるアルゴリズムに対抗するために、実験のマシンと人間の能力を実際に比較した人はいませんでした。 それが研究者がやることにしたことです。



このために、悪意のあるアルゴリズムによって作成されたいくつかの画像が準備されました。 被験者は、機械がこれらの画像（正面）を身近な物体、つまり マシンはそれらを正しく認識しませんでした。 被験者の仕事は、マシンがこれらの画像をどのように分類したかを正確に判断することでした。 マシンが画像で見たと思うもの、この分類が正しいかなど



合計8つの実験が実行され、人間の視覚を考慮せずに作成された5種類の悪意のある画像が使用されました。 言い換えると、それらはマシンごとに作成されます。 これらの実験の結果は非常に面白いことが判明しましたが、私たちはそれらを台無しにせず、すべてを順番に検討します。

実験結果

実験＃1：タグが無効な画像をだます

最初の実験では、AlexNetと呼ばれるSNAに基づいた認識システムに対抗するためのアルゴリズムによって作成された48の浮気画像が使用されました。 このシステムは、これらの画像を「ギア」と「ドーナツ」に分類しました（ 2a ）。





イメージNo. 2



各試行中に、200人のテスト担当者は、1つの重複画像と2つのマーク、つまり 分類ラベル：SNAシステムラベルおよびその他の47個の画像のランダム。 被験者は、マシンによって作成されたラベルを選択する必要がありました。



その結果、ほとんどの被験者は、悪意のあるアルゴリズムのラベルではなく、マシンによって作成されたラベルを選択することを選択しました。 分類精度、つまり 被験者の機械との一致度は74％でした。 統計的には、被験者の98％が統計的ランダム性より高いレベルのマシンタグを選択しました（ 2d 、「被験者の％がマシンに同意します」）。 94％の画像は、非常に高いヒューマンマシンアライメントを示しました。つまり、48枚のうち、3枚の画像だけがマシンとは異なる方法で分類されました。



したがって、被験者は、人が実際の画像と愚かさを共有できること、つまり、SNAに基づくプログラムに従って行動できることを示しました。

実験番号2：最初の選択と2番目の選択

研究者は質問をしました-どの被験者が画像をとてもよく認識し、それらを誤ったマークや画像の重複から分離することができたのですか？ おそらく、被験者はオレンジ-黄色のリングを「ドーナツ」と見なしました。実際には、ドーナツはまさにこの形状で、ほぼ同じ色だからです。 経験と知識に基づいた関連付けと直感的な選択は、認識のある人を助けることができます。



これを確認するために、ランダムラベルは、2番目の可能な分類オプションとしてマシンによって選択されたラベルに置き換えられました。 たとえば、AlexNetはオレンジイエローのリングを「ドーナツ」として分類し、このプログラムの2番目のオプションは「プレッツェル」でした。



被験者は、マシンの最初のマークを選択するか、48枚の画像すべて（ 2秒 ）で2番目のマークを選択するという課題に直面しました。



画像2dの中央のグラフは、このテストの結果を示しています。被験者の91％がラベルの最初のバージョンを選択し、人間と機械の一致レベルは71％でした。

実験3：マルチスレッド分類

上記の実験は、被験者が回答の2つのオプション（マシンタグとランダムタグ）を選択できるという事実により、非常に単純です。 実際、画像認識のプロセスにあるマシンは、最適なラベルを選択する前に、数百から数千のラベルオプションを繰り返し処理します。



このテストでは、48枚の画像のすべてのマークが被験者のすぐ前にありました。 このセットから、各画像に最適なものを選択する必要がありました。



その結果、被験者の88％がマシンとまったく同じラベルを選択し、調整の度合いは79％でした。 興味深い事実は、マシンが選択した間違ったラベルを選択した場合でも、そのようなケースの63％の被験者が上位5つのラベルの1つを選択したことです。 つまり、車のすべてのマークは、最も適切なものから最も不適切なものまでリストに並べ替えられます（誇張された例：「ベーグル」、「プレッツェル」、「ゴムの輪」、「タイヤ」など、「夜空の鷹」まで） ）

実験番号3b：「それは何ですか？」

このテストでは、科学者は規則をわずかに変更しました。 マシンが特定の画像に対してどのラベルを選択するかを「推測」するように頼む代わりに、被験者は自分の前に何が見えるかを尋ねられました。



畳み込みニューラルネットワークに基づく認識システムは、特定の画像に適切なラベルを選択します。 これはかなり明確で論理的なプロセスです。 このテストでは、被験者は直感的な思考を示します。



その結果、被験者の90％がラベルを選択しましたが、これもマシンによって選択されました。 画像間の人間と機械の位置合わせは81％でした。

実験4：テレビの静的ノイズ

科学者は、以前の実験では画像は珍しいが、被験者が適切な（または間違った）ラベルを選択するよう促す可能性のある際立った特徴を持っていることに注目しています。 たとえば、「野球」というイメージはボールではありませんが、実際の野球ボールに存在する線と色があります。 これは顕著な特徴です。 しかし、画像にそのような特徴がなく、本質的に静的なノイズである場合、人は少なくとも何かを認識できますか？ それがチェックすることになったものです。





画像番号3a



このテストでは、被写体の前に静止画像を含む8つの画像があり、SNSシステムはこれを特定のオブジェクト（たとえば、小鳥）として認識しました。 また、被験者の前には、ラベルとそれに関連する通常の画像がありました（静止画像8枚、「zaryanka」ラベル1枚、この鳥の写真5枚）。 被験者は、1つまたは別のラベルに最適な静的画像8枚のうち1枚を選択する必要がありました。



自分でテストできます。 上記のようなテストの例をご覧ください。 3つの画像のうち、タグ「zaryanka」に最も適しているのはどれですか。なぜですか。



被験者の81％が、マシンが選択したラベルを選択しました。 同時に、画像の75％が、マシンの意見で最も適切なラベルを持つ被験者によってラベル付けされました（前述のように、いくつかのオプションから）。



この特定のテストについては、私のように質問があります。 事実、提案された静的画像（上記）には、私が個人的にそれらを区別する3つの顕著な特徴があります。 そして、1つの画像でのみ、この機能は同じzaryankaに非常によく似ています（3つの画像のうちのどれを理解していると思います）。 したがって、私の個人的かつ非常に主観的な意見は、そのようなテストは特に指標ではないということです。 おそらく、静的画像のその他のオプションの中には、実際には見分けがつかず、認識できないものがありました。

実験番号5：「疑わしい」数字

上記のテストは、1つまたは別のオブジェクトとして分類された疑いなくすぐに完全にできないイメージに基づいていました。 常にわずかな疑いがあります。 画像をだますことは、彼らの仕事においてかなり単純です-認識を超えて画像を台無しにします。 しかし、画像内の小さな詳細のみを追加（または削除）する2番目のタイプの悪意のあるアルゴリズムがあり、これはSNAシステムによる認識システムに完全に違反する可能性があります。 いくつかのピクセルを追加すると、数字の6が魔法のように数字の5（ 1s ）に変わります 。



科学者は、このようなアルゴリズムは最も危険なものの1つであると考えています。 画像タグをわずかに変更することができ、無人車両は速度制限標識（たとえば45ではなく75）を誤って考慮し、悲しい結果を招く可能性があります。





画像＃3b



このテストでは、科学者たちは被験者が間違った答えを選ぶのではなく、間違った答えを選ぶことを示唆しました。 このテストでは、悪意のあるアルゴリズムによって変更された100個のデジタル画像が使用されました（LeNet SNAシステムによって分類が変更されました。つまり、悪意のあるアルゴリズムが正常に機能しました）。 被験者は、マシンが見たと思う姿を言わなければなりませんでした。 予想どおり、被験者の89％がこのテストを正常に完了しました。

実験6：写真とローカライズされた「歪み」

科学者は、物体認識システムが開発されているだけでなく、これを実行できないようにする悪意のあるアルゴリズムも開発していることに注目しています。 以前は、画像が誤って分類されるためには、対象画像の全ピクセルの14％を歪める（変更、削除、損傷など）必要がありました。 今、この数字はずっと小さくなっています。 ターゲット内に小さな画像を追加するだけで十分であり、分類に違反します。





イメージNo.4



このテストでは、かなり新しい悪意のあるLaVANアルゴリズムが使用されました。このアルゴリズムは、ターゲット画像の1つのポイントにローカライズされた小さな画像を配置します。 その結果、物体認識システムは、地下鉄の列車を牛乳の缶として認識できます（ 4a ）。 このアルゴリズムの最も重要な機能は、正確にはターゲット画像の損傷ピクセルのわずかな割合（わずか2％）と、その全体または主要な（最も重要な）部分を歪める必要がないことです。



このテストでは、LaVANによって破損した22個の画像を使用しました（SNA認識システムInception V3は、このアルゴリズムによって正常にハッキングされました）。 被験者は、写真の中の悪意のある挿入物を分類することになっていた。 被験者の87％がこれをうまく行うことができました。

実験7：3次元オブジェクト

前に見た画像は、写真、写真、新聞の切り抜きなど、2次元です。 ほとんどの悪意のあるアルゴリズムは、そのような画像だけを正常に操作します。 ただし、これらの害虫は特定の条件下でのみ機能します。つまり、いくつかの制限があります。

• 複雑さ：2次元画像のみ。
• 実際の適用：悪意のある変更は、センサーおよびセンサーからの画像ではなく、受信したデジタル画像を読み取るシステムでのみ可能です。
• 安定性：2次元画像（サイズ変更、トリミング、シャープ化など）を回転させると、悪意のある攻撃の強度が失われます。
• 男：私たちは、1つの角度から撮影された2次元のデジタル画像ではなく、さまざまな角度、照明で3Dで私たちの周りの世界とオブジェクトを見ています。

しかし、私たちが知っているように、進歩は悪意のあるアルゴリズムを免れていません。 その中には、2次元画像だけでなく、3次元画像も歪めることができるものが登場し、物体認識システムによる誤った分類につながります。 3次元グラフィックス用のソフトウェアを使用する場合、このようなアルゴリズムは、異なる距離と視野角からのSNA（この場合、Inception V3プログラム）に基づいて分類器を誤解させます。 最も驚くべきことは、そのような馬鹿げた3D画像を適切なプリンターで印刷できることです。 実際の物理オブジェクトを作成すると、オブジェクト認識システムはそれを誤って分類します（たとえば、電気ドリルとしてオレンジ色）。 そして、すべてターゲット画像のテクスチャの小さな変更のおかげです（ 4b ）。



オブジェクト認識システムにとって、このような悪意のあるアルゴリズムは深刻な敵です。 しかし、人間は機械ではなく、見方や考え方が異なります。 このテストでは、被験者の前に、上記のテクスチャーが3つの角度から変化する3次元オブジェクトの画像がありました。 被験者には、正しいマークと誤ったマークも与えられました。 彼らは、どのラベルが正しいか、どのラベルが正しくないか、そしてなぜ、つまり、 被験者が画像のテクスチャの変化を見るかどうか。



その結果、被験者の83％がタスクを正常に完了しました。



研究のニュアンスをより詳細に知りたい場合は、科学者のレポートをご覧になることを強くお勧めします。



また、 このリンクでは、調査で使用された画像、データ、コードファイルが見つかります。

エピローグ

実施された研究により、科学者はシンプルでかなり明白な結論を導き出すことができました。人間の直感は、非常に重要なデータの源であり、情報の正しい決定や認識を行うためのツールとなります。 人は、オブジェクト認識システムの動作、選択するラベル、およびその理由を直感的に理解できます。



人が実際の画像を見て簡単に認識できる理由はいくつかあります。 最も明白なのは、情報を取得する方法です。機械はデジタル形式で画像を受け取り、人はそれを自分の目で見ます。 マシンの場合、画像はデータセットであり、変更を加えて、その分類を歪めることができます。 私たちにとって、地下鉄列車のイメージは、牛乳の缶ではなく、常に地下鉄列車になります。



科学者はまた、人は機械ではなく、機械は人間ではないため、そのようなテストは評価が難しいと強調しています。 たとえば、研究者は「ドーナツ」と「ホイール」を使用したテストについて話している。 これらの画像は「ドーナツ」と「ホイール」に似ています。認識システムがそれらをそのように分類するためです。 人は、彼らが「ドーナツ」と「ホイール」のように見えるのを見ますが、そうではありません。 これは、人とプログラム間の視覚情報の認識における根本的な違いです。



ご静聴ありがとうございました。好奇心を保ち、良い週をお過ごしください。



ご滞在いただきありがとうございます。 私たちの記事が好きですか？ より興味深い資料を見たいですか？ 注文するか、友人に推薦することで、私たちをサポートします。私たちがあなたのために発明したエントリーレベルのサーバーのユニークなアナログのHabrユーザーのために30％の割引： VPS（KVM）E5-2650 v4（6コア）についての真実20ドルまたはサーバーを分割する方法？ （オプションはRAID1およびRAID10、最大24コア、最大40GB DDR4で利用可能です）。



VPS（KVM）E5-2650 v4（6コア）10GB DDR4 240GB SSD 1Gbpsまで 6か月の期間を支払う場合、無料で夏まで、 ここで注文できます 。



Dell R730xdは2倍安いですか？ オランダと米国で249ドルからIntel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD 1Gbps 100 TVを2台持っているだけです！ インフラストラクチャビルの構築方法について読んでください。 クラスRは、1米ドルで9,000ユーロのDell R730xd E5-2650 v4サーバーを使用していますか？