読者の質問に答えます：IBM Watson認知システムとは何ですか？

アレクサンダー・ドミトリエフ



こんにちは、Habrahabr！ 今日、モスクワのIBMクライアントセンターのビジネスコンサルタントであるアレクサンダードミトリエフは、ワトソンの認知システムとは何か、どのように機能するかについて説明します。 彼はこのトピックに関する他の資料を読んでいる間に読者が持っていた質問に答えます。



アレクサンダー、私たちの読者はHabréで定期的に質問をします。その主なメッセージは「IBM Watson認知システムとは何か、そしてそれはどのように機能するのですか？」と答えてください。



こんにちは。 まず第一に、ワトソンは全体として、多種多様なアルゴリズムを使用する多数のソフトウェアパッケージです。 これらのパッケージの一部はクラウドで利用でき、一部はローカル展開用です。 IBMは、さまざまな分析モジュールを組み立て、本当に膨大な量のデータを処理できるシステムを構築しました。 このシステムは、ロシア語を含むさまざまな言語のデジタル情報とテキスト情報の両方で機能します-まだ基本的ですが、それでもかなり深いレベルです。



情報を処理するとき、さまざまなデータ、イベント、事実、現象の間で関係と相関が確立されます。 システムの主なタスクの1つは、単純な目には見えず、通常の方法では検出できない、または標準的な方法を使用してこれを行うのが難しい関係を識別することです。 たとえば、企業が1分あたり数千の変化するパラメーターを提供する監視システムを持っている場合、アナリストはそのような情報を迅速に分析できません。 Watsonツールキットを使用すると、これを行うことができます。 これは、IBM Watson全般について話す場合です。







Watsonが人工知能かどうかに関する質問を見てきました。 答えはノーです。これは人工知能ではありません。 これは、人の自然な知能の一種であり、情報をより速く処理し、大量のデータをカバーし、人間の目を通るものを見つけることができます。



スタニスラフ・レムはこのことについて、彼の著書「The Sum of Technology」で次のように書いています。「人間は自然と直接競争することはできません。 比Fig的に言えば、人は自分と自然との間にリンクのチェーンを構築する必要があります。この場合、後続の各リンクは、マインドのアンプとしての前のリンクよりも強力になります。



これはどのように行われ、なぜですか？ ワトソンベースのトップレベルの分析システムと下位レベルの分析システムがあります。 後者は、実際には特定の詳細を備えた検索および分析システムです。 それらは、適用された問題を解決します。 どのように機能しますか？ 特定の件名に、xlsやcsvなどの一般的な形式のファイルの形式で大量の情報を注ぎます。 このデータをクラウドにアップロードすると、Watson Analyticsシステムはこの情報の分析を開始し、オペレーターの関与を最小限に抑えて、独自に相関を見つけます。 これは小さなものですが、他のシステムとの非常に重要な違いです。ここでは、以前にダウンロードしたデータを検索するだけではないためです。 私は強調します-システム自体がダウンロードした情報を分析します。



それはどういう意味ですか-彼女自身？ システムは、ダウンロードされたすべてのデータを調べてクリーンアップし、フォーマットの不一致、スペース、省略などの技術的な問題を示すように構成されています。 人は、エラーまたは個別の検討の機会であるすべての極値を捨て、処理方法を選択します。 次に、システムはデータを分析し、相関を検索し、最も強い相関を見つけ、オペレーターに相関のあるいくつかの仮説、たとえば0.3から0.8を表示します。



これらのタスクを条件付きで低レベルのタスクと呼びます。 アナリストの作業を簡素化し、スピードアップするように設計されています。 日常の操作はシステム自体によって自動化されています。 これは、ビッグデータ配列の相関を見つけるためのシステムとしてワトソンについて話す場合です。 約1週間で6人のアナリストが必要とするのは、クラウド経由のIBM Watson Analyticsシステムで約2時間です。 Watsonとの共同作業はどれくらい難しいですか？ 統計に多かれ少なかれ精通している人々のシステムに座って、私はかつて実験を行いました。 彼らは初めてインターフェースを見ました。 1時間半後、彼らはすでに独立して非常に積極的に彼女と働きました。



上位レベルは大規模システムであり、その実装にはかなりの時間（6か月以上）が必要です。 彼らの動作原理は、2030年までにほとんどの産業部門の専門家の全体的な資格が大幅に低下するとガートナーの研究の考えに基づいています。 この要因の1つを説明できます。 事実、絶えず参照情報を使用することに慣れている（そして義務を果たす必要がある）専門家は、専門家が「古い学校」（成層圏の高さから銅の沸点まで）で覚えていたすべてを覚える必要はもはやないと考えています。 新世代は、参考としてインターネットに喜んで頼り、すべての必要な知識を念頭に置いていません。 専門家はある程度機械システムに依存するようになり、それに応じて資格の一般レベルが低下することがわかりました。 今がその時です。







第二に、なぜこのような複雑なシステムが必要なのですか？ 石油生産者や他の多くの企業には、「世代から世代へ」の情報伝達という大きな問題があります。 たとえば、以前の従業員チームは、非常に貴重な技術情報のアーカイブを蓄積しています。 しかし、ここに問題があります-誰もそれを読むことができません。 結局のところ、これには膨大な時間がかかります。 専門家がこの情報に精通するには、数年かかります。この人は、食べ物や休憩なしで何日間も読み続ける必要があります。



そのため、新入社員のトレーニングは費用のかかる問題です。 大企業の人事異動-1年に何百、何千もの専門家がいる場合があります。 一人の男が去り、貴重な経験と知識が彼に残されました。 経験を移す方法は？ 録音することで？ 上記でそれらについて話しました。



膨大な量のデータ、命名法、数十万人がいる多国籍企業のレベルでは、特定のテーマ別専門分野のデータを蓄積する特定のシステムを作成する必要があります。 理想的には、このシステムは単なるリファレンスとしてではなく、アドバイスを提供するリファレンスとして使用できます。



Watsonトップレベルシステムの目的は何ですか？



Watson共通ツールキットの一部である非常に多様な分析パッケージがまとめられ、そこから特定の方法に従って情報を処理する必要なパッケージが選択されます。 その後、あらゆる種類のデータがシステムに読み込まれます-デジタル、会議の議事録、ビジネス通信と交渉、通信、連絡先、価格、機器の命名法、石油産業の教科書、さまざまな期間のレポート。 これには1年以上かかる場合がありますが、その結果、企業の主要な知識ベースのプールが作成され、積極的に使用することができます。



その後、情報の分析、詳細化、関連トピックのツリーの強調表示および構築を可能にするアルゴリズムが構成されます。同じ「石油産業」の場合、これは機器のセットアップ、貯水池開発、統計、技術動向などです。 これらはすべてトピックごとに収集され、ヒントシステムが作成されています。 IBMの専門家によって開発されたこの種のシステムは、オーストラリアの会社Woodside Petroleumを含む多くの企業ですでに稼働しています。







上記は例によって説明することができます。 エンタープライズにはチーフエンジニアがいます。彼は、関連データがある貯留層に井戸を掘削するタスクを与えます。 タスクを与えられた人は、自然言語でシステムに対処します：「そのような、そしてそのような深さにそのようなフォーメーションで井戸を掘削するために何をする必要がありますか？」 「石油産業」向けに構成されたシステムは、結論と「意見」を含む文書の選択を行います-以前はこれを行っていましたが、このように解決できる問題がいくつかありました。 これはWatsonシステムです。特定のケースで人が何をする必要があるかを示唆し、アシスタントとして機能します。



ワトソンのシステムは、腫瘍学者、気象学者、他の誰かとして働くことができますか？



アドバイザーまたはアシスタントとして-はい、もちろん。 IBM Watsonは、あらゆるアプリケーションに共通の製品システムを指します。 ただし、いずれの場合も、特定の問題を解決するようにシステムを構成する必要があります。



腫瘍学の場合、これは特定の疾患、たとえば肺癌のデータベースの作成です。 非個人化された患者記録を含む膨大な量のデータがシステムにロードされます。 その後、医師は特定の患者の治療方法について質問し、システムは個人の個々の特性に基づいて答えを出します。 ワトソンは医師の機能を引き受けません-とにかく、治療を診断して処方するのは医師です。しかし、治療を個人化して、エラーから必要なデータを消去し、現時点でこの特定の患者に最適な治療オプションを選択するのに役立ちます。



同じ医療データにエラーがある可能性があるため、システムがすべてのデータの正当性とエラーもチェックすることが重要です。 医師（医師だけでなく、現代の専門家全般）の問題は、彼らが新しいことを学ぶ時間がないことです。 これは彼らのせいではありません。 多くの仕事があり、資格のある専門家が常にそれを持っている場合は、トレーニングに十分な時間がありません。 したがって、同じ医師は、ほとんどの場合最新の方法を使用しません。 また、Watsonシステムは、患者を治癒させる一定の確率と、患者の健康に対する一定のリスクを備えた、新しい治療法、さらにはいくつかの方法を提供できます。 そして、医師は、患者または患者の親relativeと相談して、これらのデータに基づいて決定を下すことができます。 繰り返しますが、システムの回答は本質的に助言であるため、責任は医師にあることを強調する価値があります。 このシステムは、特定の患者に適した方法に関する最新情報を提供することにより、医師を支援します。







IBM Watsonは自然言語とどのように連携しますか？ システムは文学作品の文脈を理解できますか？



間違いなくはい。 しかし、問題はなぜですか？ 別の質問-誰がそれを必要とし、誰がそれを支払うのか？ 文学作品の処理に関して言語で作業する場合、作品自体の歴史的背景に関連してテキストを考慮する必要があります。 O.ヘンリーの作品を含むそのようなタスクが課せられた場合、システムはすべてを理解できます。O。ヘンリーの翻訳は、コルニー・チュコフスキーから最もよく得られました。 その言語で動作するシステムも構成され、訓練されていると言わなければなりません。 最も単純なケースでは、これは簡単な構文解析、つまり、冗長な情報のテキストをクリアする構文解析です。 ワトソンに関しては、まず第一に、異なる言語の辞書の作成です。 いずれの場合でも、システムは特定のタスクに目を向けてトレーニングする必要があります。



私は個人的に感情分析のプロジェクトに参加しました。 今日、ワトソンはテキストの感情的な色付けをキャプチャします。 たとえば、彼女は皮肉を定義することを学びました。 一般に、ここでも相関関係を明らかにすることについて話します。 同じ皮肉については-それは古代ギリシャ人によって発明されました。 何らかの特定の兆候によって誰もが彼女を認識しているようです。 マシンがこれらの兆候をキャプチャするように教えられている場合、皮肉を決定する方法も学習します。



繰り返しますが、システムの機能は解決される問題の関連性によって決まります。 基本的に、大企業はIBM Watsonの支援を必要とします。IBMWatsonは、従業員のレポートで最初に皮肉を判断する必要はほとんどありません（おそらくそうなりますが）。 しかし、彼らのために、必要に応じて、企業のブランドや製品に対するユーザー/顧客の態度を判断できるようにシステムを構成します。







例：2年以上前のスペインでは、ブランドに対するユーザーの態度を評価するために大規模なプロジェクトが実施されました。 顧客は大企業であり、ソーシャルネットワーク、新聞、雑誌などを含むさまざまな情報源に従って、顧客に対する態度を分析するように依頼しました。 これは正常に完了しました。 そのような作業の過程で、偽物に関連する偽データを分離して分析します。これは、元のブランドの評判に影を落とします。 現在、世界的に有名なブランドがこのシステムを使用しており、プロジェクトは非常に成功しており、販売効率を高めることができます。



一般に、ワトソンは特定の問題を解決します。 システムは多くのことを実行できます。つまり、問題の一般的な声明とその方向に応じて決定されます。



質問-システムの境界。 例を見てみましょう-同じO. Henryを取り上げた場合、Watsonをこの著者の作品の文学的な翻訳に設定することは可能ですか？ これは、支払いを希望する出版社に必要だと言ってください。



答えは間違いなく可能です。 しかし、どのくらい時間がかかるか正確には答えられません。 これは努力と投資の問題です。



専門のWatsonシステムは、それが医師であれ、金融アナリストであれ、エンジニアであれ、専門家の参加が必要です。 この場合、私は言語の理論と実践において最高の言語学者のチームを募集します。 チームの一部は、辞書、イディオム、テキストに関するデータの検索、ロシア語と英語の相関関係です。 なんで？ どの言語でも1つの単語が大きな意味を持ちます。 そのような単語は辞書に入り、知識の可能な限り広い範囲を示します。



その後、2番目の問題の解決を開始する必要があります。 つまり-最も高品質で成功していると考えられているO. Henryによる翻訳のテキストをデータベースに挿入します。 次に、ワトソンは、最大値との相関を評価する手法を使用して、意味のある単語を検索します。 システムは、単純なものから複雑なものまで、さまざまな翻訳オプション（単語、フレーズ、文など）を選択します。 このプロセス中、システムをさらにトレーニングするには専門家グループが必要になります。 彼らは翻訳を調整し、そのようなトレーニングの後にWatsonシステムが本当に良い翻訳を生成し始めるようにそれらを微調整します。 それがどのように機能するかです-最初の翻訳はあまり良くないでしょう、2番目の翻訳は良くなり、それからとても良いです。 Watsonの大きな利点は、フィードバックのおかげでシステムを調整できることです。 実際、フィードバックがなければ、システムは単純に制御を失います。 フィードバックにより、システムは作業中に動的に主要な目標を調整および調整できます。 私たちの場合、フィードバックは対象分野の専門家によって提供されます。 Woodsideのような石油会社の場合、最高の専門家がシステムの最良の成功した答えに気付くと、システムはこれを記憶し、発行される推奨事項の品質を徐々に改善します。 したがって、ワトソンには別の利点があります。 時間の経過とともにほとんどのシステムが陳腐化し、手直しが必要になった場合、このシステムは時間とともに経験を積むだけで、さらに強力になります。



別の質問-どのような条件下でもワトソンが現在解決できない問題はありますか？



非常に重要な側面があります-倫理的です。 既存の問題は技術システムの範囲を超えているため、タスクの一部は解決できません。 例はロボモービルです。 大まかに言えば-衝突を避けることが不可能である場合、車は誰または何にぶつかるでしょうが、選択があります-たとえば、壁、高齢者、または妊婦に対してですか？ とにかく人間の運転手が彼の選択をします。 しかし、自動車-いいえ、この問題はまだ法的にも倫理的にも解決されていないため、選択することはできません。 そして、車の中で、極端な状況での行動のこの知識と規則は、まだまだ築くことができません。 タスク自体に関連する多くの倫理的、法的、社会的およびその他の問題が解決されていないため、これはまだ解決されていない最初のクラスの問題です。







2番目のクラス-膨大なリソースを必要とする非常に複雑な技術タスク。 そのような問題の解決策があるかどうかを理解するには、少なくともそれを解決しようとする必要があります。 例は、O。ヘンリーのテキストと同じです。 誰もまだこれをしていません。 おそらく、あなたが試してみると、すべてがうまくいくでしょうが、確かに私たちは今言うことはできません。



上記を要約すると、ほぼすべての問題を解決できるという自信を表明したいと思います。 質問への回答を得ることは不可能であると今思えば、しばらくすると、前例のない機会を開くアイデアを与える人がいます。 例：かつて、星の組成を決定することはできないと信じられていたため、これを行うことはできませんでした。 しかし、すぐに分光器が発明され、すぐに星の組成の主な要素はヘリウムであることが決定されました。 しばらくして、星の組成が非常に正確に決定することを学びました。



定期的に私たちの世界のビジョンを根本的に変える解決策があります。 可能性の境界を確立することは困難であり、率直に言って、私もそれらを設定しません。



将来、IBM Watsonをどう見ますか？



上記のように、ワトソンは一般に、人が大きな不確実性の条件で決定を下すのを助けるシステムとして説明できます。 私は、他のすべてのシステムと同様に、大幅に安くなり、より普遍的になり、他の分野で使用できると信じています。



幅広い質問に答えることができ、私たちになじみのある普遍的なヒントシステムになると思います。そして彼女は、最新の検索エンジンのようには答えません。インターネットソースへのリンクを提供するだけでなく、情報のソースと使用された方法を示す推奨事項を提供します。