多くの人が知っているように、2015年、スティーブン・ホーキング、イーロン・マスク、何百人もの科学者、人工知能開発者、大企業は、人類の存在に対するAIの危険性を強調する公開書簡に署名し、エンジニアや科学者のコミュニティに、人工知能を作成しないよう促しました人間によって完全に制御されます。 2016年、コード会議で、Space XとTeslaの創設者に質問がありました：今日AIを開発している企業は彼を心配していますか？ これに対して彼は、そのうちの1人だけが彼を怖がらせると答えた。 どの-言わなかった。 そして、AIが排他的に良いものであるというテクノ信者のすべての保証にもかかわらず、セキュリティメカニズムを無視することの代価は法外なものになる可能性があります。
おそらく、 AIに関連するリスクに関する意見の相違の理由の1つは、科学者とITビジネスマンの互いに対する懐疑論です。 他の人は問題の本質を完全に知らないようです。 サードパーティもあります-政府の構造です。そこでは、ビジネスはその鼻を越えて見えず、科学者は雲の中にいると信じています。 さらに、ビジネスマンと科学者の両方は、官僚を官僚的な沼地と見なします。 したがって、3つのコミュニティはすべてお互いを理解しておらず、自分自身で毛布を引っ張っています。
それでも、今日のさまざまなコミュニティの代表者の間では、「思考」プロセスが不透明な場合、インテリジェントソリューション、機械学習システム、または認知コンピューティングプラットフォームを展開して使用すべきではないという理解が高まっています。 彼らが何を考えているかを知る必要があります。
今日、私たちはシステムの結果をやみくもに信頼する傾向がありますが、そのほとんどの動作原理はアルゴリズムレベルで理解されていません。 これはFacebookの顔認識機能には受け入れられますが、非常に重要で価値のあるビジネスロジック、目標、優先順位のフレームワーク内でソリューションを開発するシステムには完全に受け入れられません。 そして、私たちの重要な活動は後者にのみ依存しています。
今日、一部の人にとって、AIテクノロジーの価値は、自分自身と私たちの周りの世界の存在を説明できるマシンの作成によって決まります。 そして、最も重要なポイントの1つは、知的システムと分析システムの考え方の透明性です。 少し前に、多くの開発者がパフォーマンスを優先してこの基準を無視していたように見えましたが、幸いなことに、ここ数か月でAIの透明性の問題がますます提起されています。
たとえば、アカデミック環境では、ディープラーニングシステムの作業の結果を展開するためのモデル、およびAIの思考プロセスに対するエビデンスに基づくアプローチに関連するアイデアが説明されています。 ビジネス環境では、トップマネージャーは、推論のラインが完全に未知であるトレーニングおよび意思決定システムを展開する方法をますます自問しています。 基本的に、誰も理解できないソフトウェアをどのように使用するかを尋ねます。 そして最後のストローは、DARPAからの最近の発表であり、「説明可能なAI」に取り組むことに対するエージェンシーの関心を表明しました。
明らかに、ますます多くの人々がAIの透明性の必要性を認識しています。 しかし、これをどのように達成するのでしょうか？ ディープラーニングモデルなどの一部のテクノロジは非常に理解しにくいため、実践者の間でも、アルゴリズムの仕様を少し超えた場合の動作方法について意見の相違があります。 そのような状況で何ができますか？
長期的には、考えるだけでなく、 考えて説明できるシステムの開発に集中する必要があります 。 その間、私たちはそのような開発の出現を待っています、私たちは既存のシステムの開発のためにいくつかの規則を守らなければなりません。
まず、推論の過程を説明できない場合は、インテリジェントシステムを展開しないでください 。 彼女がアルゴリズムレベルでそれをどのように行うかを理解していなくても、彼女が何をするかを理解する必要があります。 これは必要ですが、十分な条件ではありません。システムが必要とするデータ、決定を下すもの、理解する理由に基づいて、これらの決定が理解できるからです。 さらに、3つの重要な機会レベルがあります。
説明し、議論する 。 システムが彼らの思考の流れを説明し、議論できることを望みます。 特定のソリューションに至った経緯と代替案を明確かつ一貫して伝えることができるAIが必要です。 たとえば、ベンダー側の不正を検出するように設計されたシステムは、警告が発行された標識のリストを表示できるだけでなく、各標識が不正の事実を示す理由を説明できる必要があります。 一部のインジケータはデータセットの外にあるか、システムモデルに含まれていない可能性があるため、それらをシステムに提供し、その影響を評価することが非常に重要です。 「Xについてはどうですか？」と尋ねる機会は、人々とインテリジェントシステムの両方を扱うときに重要です。
文言 。 モデルのエンドユーザーが操作できないシステムでさえ、少なくとも、考慮すべき特性と推論自体の範囲を定式化できる必要があります。 これは、何らかの結論に至った1万個の証拠を単に投げ捨てるという意味ではありません。 システムは、少なくとも真に関連する特性を強調し、それらの関係を説明できる必要があります。 システムが不正行為の例を検出したことをユーザーに警告する場合、警告の発行に基づいて一連の不利なトランザクションを識別できるはずです。
検証可能性 。 システムがリアルタイムで説明を行わない場合、または原因と結果の関係を定式化する方法を知らない場合、その決定は少なくとも後で検証する必要があります。 そのアクションのロジックは追跡可能である必要があります。これにより、問題や論争の的となっている状況の状況を調査できます。 エンドユーザーが追跡にアクセスできない場合でも、バックエンドを開発したアナリストはそのような機会を得る必要があります。
AI技術の未開発を考えると、多くのシステムは説明、議論、定式化または検証の機能をまだサポートできていません。 これらは非常に効率的に機能しますが、上記の機能が必要ない領域でのみ使用してください。 Facebookの自動タグ付けと同じ写真認識のように。 しかし、例えば、住宅ローンの申請を分析する際に信用度を評価するために同じシステムを使用することはできません。作業が正確であるにもかかわらず、この申請またはその申請を承認または拒否した理由について有用な説明をすることができないためです。
人や家庭や職場の場合と同様に、AIシステムではなく、一緒に仕事ができるようにしたいと考えています。 しかし、このために彼らは彼らの考えの道筋を私たちに説明できなければなりません。 そうでなければ、私たちはただ耳を傾け、従わなければならない状況になります。 私たちは、パートナーになるか、何をすべきかを示すだけの人工知能を作成するという選択に直面しています。
AIの思考の透明性は、純粋に技術的なタスクのように見えますが、社会経済的に大きな影響を及ぼします。 この透明性がなければ、ユーザーはAIシステムを信頼し、尊重することを余儀なくされます。 そして、信頼と尊敬がなければ、そのようなシステムの導入は失速し、AIテクノロジーがもたらす利点を得ることができません。
Z.Y. ボーナスとして、AIのトピックに関する映画のセレクションへの参照 。