🎅🏾 📧 🧝🏾 探索的情報検索の方法に関するテーマ別モデリング。 Yandexでの講義 🎴 🤭 ⛹🏽

最近、モスクワはOpen Data ScienceコミュニティとYandexが主催するData Fest会議を主催しました。この投稿では、Data Festを使用した一連のレポート拡張を開始します。最初のレポートは、機械学習のスペシャリストであり、データ分析学部の教師であるコンスタンチン・ヴォロンツォフ博士によって執筆されました。

検索機能はYandexまたはGoogleを実行しますか？残念ながら、まだです。検索結果には正しいと見なされないタイプの検索があります。そして、ポイントは関連性すらありませんが、私たち全員の通常のほかに、別の検索が必要です。カットの下には、探索的検索に関する講義の記録とほとんどのスライドがあります。

友人、私たちは皆、世界をより良い場所にし、人々を賢くするためにここにいます。人々が賢くなるのを妨げるものは何ですか？人と知識の間には心理的、技術的障壁があると思います。私の報告書は、おそらく近い将来、現代の情報技術が、まだ残っているこれらの障壁をどのように破壊するかについてです。

ここで私は新しいファッションを紹介しようとしています-後でプレゼンテーションがインターネットに投稿されたときに初めて、それを発見した人がそれが何であるかを理解できるように。

アイデアはこれです：なぜ私たちは人々を賢くしたいと宣言しているのですか？「ハハハ、あなたは人を変えることはできない」と言う懐疑論者がおそらくいるでしょう。しかし、人々が読み方や書き方を知らず、知識が口コミだけで広まり、伝説や神話を習得し、忘れられ、認識を超えて修正されるなど、懐疑論者を思い出させます。しかし、人々は本を書くというアイデアを思いつきました。本を印刷します。これはヨーロッパの聖職者が理解したときに起こりました：彼らが説教を読んだとき、毎年同じことを覚えていますが、人々はまだ覚えていない、理解していない、何らかの形で間違っていると感じます。そして、みんなに読み書きを教えるために必要なもの。

その後、さらにいくつかの情報革命がありました。最終的に、インターネット、検索エンジン、および知識は人々により近くなりました。しかし、まだ何かが欠けているようです。とにかく、知識のある仲間の科学者から、研究を始め、多くの文献を読み始めたという苦情を時折耳にします。半年、3、5年後、私は突然発見しました。。どうして？あなたは何年も仕事をしており、あなたの前に誰かがしたことを見つけることができませんでした。最新の検索機能でこれはどのように可能ですか？それにもかかわらず、人間と知識の間にこの障壁が存在することがわかります。今、私は技術的な障壁について話しました。純粋に心理的なことなら、スリーは優秀な学生を決して愛しておらず、これは理解できるものであり、私たちは今あなたと戦うことはありません。しかし、私は本当に技術的な障壁を打ち破りたいです。

したがって、情報検索の新しいパラダイムが発生します。これについては、今日お話ししたいと思います。

そもそも、約10年前、情報検索の概念の新しいパラダイムが出現し、活発に議論され始めました。

特に、そのような表現は探索的検索です。ロシア語に翻訳するには？これを「探索的検索」と翻訳し、一部は「探索的検索」と翻訳します。この図を見ると、左側に私たちが慣れている検索ニーズがあります。そして、キーワードでうまく検索する最新の検索エンジンは、薬があり、最も安い薬局を見つける問題を解決します。または、具体的なものを見つけて、言葉で表現する方法を知っています。しかし、あなたがあなたのために新しい主題分野を理解したいなら、あなたは問題を抱えているでしょう。データ分析の専門家である私は最近、心電図を理解し始めました。私はまったく医者ではありません。心電図や心電図のことは何もわかりません。この分野の構造をすばやく理解する必要があります。私がよく知っていることとの接点にある場所を見つけるために、最初に正確に何を読むかを見つけてください。私はプロです。

そして、そのような情報のニーズは、ますます多くの職業の人々にますます発生します。私たちは学生、教師、科学者、研究者だけについて話しているのではありません。これらは、マーケティング担当者、医師、弁護士、ジャーナリスト-誰でもです。知識を補充するために、ますます多くの人々がインターネット上で何かを独自に検索し始めます。問題は、これを可能な限り効率的に行う方法です。

私たちは、独学のために検索エンジンを使用し始めています。何かを研究し、新しい何かを学ぶためです。そしてここでは、これらのニーズを十分にカバーしていないため、それらが欠落していることを理解しています。

問題は、キーワードで検索するとき、探しているものを正確に知る必要があることです。そして、正しい答えが存在すると仮定しなければなりません。私たちが新しいサブジェクトエリアにいるとき、これらの2つの前提はまったく同じではありません。一方では、何を探しているのかを正確に理解していません。私たちはそれを理解したいと思っています。用語はまだわかりません。できることは、検索行にいくつかの表現、単語を設定することだけです。また、検索結果は常に指定された単語に何らかの形で添付されます。新しい単語を学ぶとき、私たちは理解します。実際、これまで探していたものではなく、まさにそれを探す必要がありました。しかし、多かれ少なかれナビゲートを開始するには、反復プロセスで多くのこのような洞察が必要です。それでも、何年もこれを行うことはできますが、重要なことは何も見つかりません。

質問：人が自分の目の前のサブジェクトエリアのロードマップをすぐに見ることができるように、検索クエリに答えを提供する方法。

ですから、私たちが望むものと、主題領域の写真が欲しいということと、通常の反復検索との間には違いがあります。私たちはquery-browse-refineに慣れています。つまり、クエリを与え、答えを見て、クエリを改善し、何度も繰り返します。

ここに、10年以上前に生まれたパラダイムがあります。情報検索は、情報検索とどのように異なりますか？後者は、Yandexが行う情報検索の分野です。そして、情報探索はわずかにシフトされた重点であり、情報検索全体に関する科学ではなく、ユーザーが何かを探しているときの動作、この反復偵察プロセスがどのように機能するか、ユーザーが必要なものを見つけるときの科学です本当に必要です。

この情報探索の分野からのマントラがあります-最初に大きな画像を取得し、次にスケーリングおよびフィルタリングツールを使用し、奥深くに入り、画像をより広く見て、そこから何かを選択し、詳細に深く入り込む必要があります。

このマントラの一部を赤で強調したのはなぜですか？多くの場合、彼らが大量の情報を視覚化するいくつかの新しい方法について話すとき、彼らは大きな絵、グラフを示します。そして、多くはすでにそのような写真に特異性を持っています。それらは頻繁に多く表示されますが、次に何をすべきかを説明しません。

情報探索のイデオロギー家はこれを説明しました。概要を述べた最初の段階だけではないことを忘れないでください。また、ユーザーにコンテンツ自体をズーム、深化、フィルタリング、取得する方法を提供します。このテクノロジーが完全に実装され、インタラクティブになると、機能し始めます。そして、あなたが自分自身を最初の段階に制限しているなら、そしてもちろん、あなたは美しい絵以外は何も見ません。

読書の概念も生まれました。これが私たちが慣れ親しんでいるものです-テキストの線形読み取り。メモを取り、強調し、フェルトペンで強調表示します。

イタリアの文学の社会学者であるフランコ・モレッティが10年前に提案した別の概念があります。彼は、なぜ世界の文学の99.9％が誰にも読まれないのか、この文学が何であるかをどのように理解するのか疑問に思いました。彼がフィクションに関連してそのような質問をするなら、それはさらに科学文学や知識に当てはまります。どうすればすべてをカバーできますか？

大量の科学的知識をある種の地図の形で提示しようとするさまざまな試みがあります。もちろん、その場合はスケーラビリティがあると想定されます。

たとえば、医療知識カード。私はこの地図があまり好きではありません。ここには明らかに特定の地理的隠phorがあります。国のように何らかの形で呼ばれるものがあり、異なるフォントと異なる色で、都市のようなものが署名されます。さらに進んで、道路、川などに意味をなすことができます。しかし、これはすべて過負荷になっているようです。あなたはこれを見て、あなたが快適ではないことを理解します。なんで？気をつけてみましょう。

レンダリングの別の方法を次に示します。私は彼がより好きで、彼はより理解しやすいです。これはあなたと私たちの領域です-前のスライドとは異なり、データサイエンス、データマイニング、いくつかの単語がここにすでに表示されています。

ここが嫌いです大きなセルが小さなセルに分割されるとき、それは知識の階層構造です-そして、それが現れて、セルの中に深く入ることができるのは非常に良いことです。テキストは、どこかのテキストに到達するまで、示されたフラクタル方法でますます小さなフラクタルに断片化されます。それは素晴らしいです、良いアイデアです。しかし、大きなセルを真ん中に、小さなセルをその周りに配置するという事実に基づいて、このような大きなものから小さなものへの押しつぶしが純粋に視覚的、グラフィカルに行われるという原則はあまり好きではありません。二次元トポロジーが消えます。スクリーン上の特定の投影、平面上の特定のマップを表すため、そこにある近接性は何らかの意味でロードされるはずです。ここで、階層を導入したばかりであることがわかります。

ここに別の例があります。そして、インターネットにはそのような例がたくさんあります。多くの人々が、さまざまなコレクションの科学全体の地図を作成しようとしています。記事のコレクションだけがあり、注釈のコレクションがあり、記事間のリンクが考慮されるコレクション、つまり引用情報があります。ユーザーが特定の記事をダウンロードして読む方法についての情報があるコレクションがあります。一般に、これらのタイプの情報は、このような科学の地図を作成するために使用できます。

この地図をよく見ると、すべてがなんとなく円形に配置されていることがすぐにわかります。ここに経済学、ここにコンピューター科学、数学、農業、物理学、化学、医学、生物学、薬理学、神経科学、心理学があります-何とか何とか人道主義のサイクルに落ちました。正確で、自然で、人道的なサイクルがあることに気付きました。サイクルは閉じています。そして、このような知識の図のトポロジーは、ここにあるように2次元ではありません。それは円、一次元構造です。はい、彼女はリングに閉じ込められていますが、これは興味深い観察です。

そして、これは非常によく似た図です。完全に異なるコレクションで完全に異なる人々と手段によって作られましたが、コンピューター科学、数学、工学、物理学、化学、地質学、生物学、バイオテクノロジー、分子生物学、脳、医学、医療、人道、社会-また、彼らはコンピューター研究方法にロックされています。再び円が発生します。

ご覧になると、インターネットにはそのような写真がたくさんあります。何らかの理由でそれらの半分以上がそのような円です。

ここに別のビューがあります-しかし、残念ながら、自動ではなく手動で作成されます。このような複雑性理論の専門家であるブライアン・カステラーニは、毎年複雑性の科学におけるこの理論のマップを更新しています。主な分野を特定し、年ごとに整理します。以前のマップとは異なり、二次元性が現れました。時間に対応する水平軸と、トピックに対応する垂直軸があります。これらのトピックを約5行で作成し、コンピューターサイエンスとサイバネティクスでこれがどのように発生するかを示すことができます。最終的にデータ分析のどこかで、新しいサークルが登場しました。

強調表示されたトピックは水平方向に移動し、トピックがどのように展開されたかを追跡できます。そして矢印は、主な作品と主な貢献をした科学者の名前を示しています。男は働いて、この絵を描いた。疑問が生じます：これらの絵を科学分野で純粋に自動的に描くことは可能ですか？何千万という科学出版物すべてを取り上げ、何らかの形で強調し、要望を出しました。例えば、複雑性の理論は、10のサポート作品に従って、検索クエリです。そして、そのような画像を出力したいと思います。そうすれば、人々は自分の新しい知識分野に対処しやすくなります。これについて来たいです。

ちなみに、たとえばニュースフィードを時間内にレイアウトする写真も、非常に美しく構築することを学びました。視覚化技術の準備が整い、多くの開発が行われています。

たとえば、Rose Riverプロジェクトを取り上げます。 Snowdenに関連するニュースフローを視覚化する方法は次のとおりです。 2013-2014年。ニュースフローのサブセットでそのような写真を作成するために何をしますか？最初にトピック、メソッドの階層の特定のセクションを設定し、ニュースコレクションから特定の階層を自動的に構築し、別の専門家に表示します。彼は言う：ここで、トップレベルでクリッピングを行ってください、これらのトピックはあまり興味がありません。ここで、Snowdenについて-より詳細に、ここで下位レベルの階層をカバーする必要があります。

エキスパートがそのようなフィルターを設定すると、システムは自動的にそのような写真を表示し、トピックが時間とともにどのように進化したか、それらがどのように交差、結合、出現、およびフェードしたかを示します。すべてがテーマが川を流れる美しい絵の形で表示されます。さらに、この画像はインタラクティブに変更したり、新しい方法で生成したりすることができます。原則として、これはまさに遠隔読み取りと呼ばれるものです。この領域がどのように構造化されているかを理解したいと思います。この場合、特定のトピックに関連するニュースフローがあり、各トピックを修正し、サブトピックを入力して特定のニュースに移動し、それらを読むことができるため、さらに深く掘り下げる機会があります。指定されたシステムはほぼ同じですが、次のように配置されています。横軸は時間、縦軸は専門家が選択したトピックです。

かなり便利な視覚化ツールでは、最初に表示されたマップとは異なり、2つの軸が解釈可能であることが再びわかります。

大規模なテキストコレクション用の視覚化ツールは既に多数あります。 1年前、Data Festでそれについて話したとき、そのうち170人がいましたが、今は-330でしたが、1年でその数は2倍になりました。人々は、大量のテキストを視覚化するための便利な方法を考え出すことに多大な労力を費やしました。これは使用できます。

それにもかかわらず、探索的検索がどのように配置されるべきか想像してみましょう。何が欲しい？短いフレーズを求めることはできません。探しているものがわかりません。そして、私たちはそれから何を始めていますか？考えてみると、原則として、大きなテキストとテキストのコレクションが手元にあります。たぶん、私たちはまだそれを理解していません。ある記事があります。同僚が私たちにそれを投げかけたばかりで、まだ何もわかっていません。必要な科学の分野でこの記事がどのように位置付けられているのかわかりません。最初に見たいです。したがって、要求は任意の長さのテキストです-大規模なコレクションが可能です。そして、私たちのドキュメントに加えて、リクエストがどのトピックに関連するのか、それらからどのようなことが知られているのかを理解したいと思います。この主題領域の主題構造が何であるか、どの領域がそれに関連しているか、そもそも何を読むべきかを理解したいと思います。これは一連のクエリであり、独学に携わっているユーザーの検索ニーズは、特定の分野で知識を広げようとしています。

この機会が、テキストが含まれるあらゆるアプリケーションに参加したいと思います。このテキストがどのトピックに当てはまるかを理解し、リクエストとして使用したい-すぐにこの主題領域の視覚化で写真を得るために。これが探査の夢です。 GoogleやYandexにアクセスして検索バーに何かを入力することもありません。これをする必要さえありません。このような検索方法は、任意の長いテキストがある場合は常に手元にある必要があります。そのような夢。

これがコンセプトです。世界中の多くの人がこの夢にさまざまな方法で行くことは明らかです。私や私の科学グループのような人は、数学の観点から、技術の観点からの誰かです。どのようにアレンジしてほしいですか？情報を時間軸という2つの軸で視覚化することは非常にクールであることがすでにわかっています。トピックをサブトピックに分割して、かなり大きなツリーを作成する機会があれば素晴らしいです。さらに、自動的に構築されることが望ましいため、数万人の専門家のコミュニティによって100年以上にわたって発明された、8万ポイントで構成されるUDCはありません。この人間がサポートする構造は、常に時代遅れになっています。必要ありません。インターネット上のコンテンツに基づいて、そのような構造がオンザフライで自動的に構築されるようにするには、情報技術を使用する必要があります。

また、注目すべき特徴に気付きました。人道主義、自然、正確な科学-周囲にサイクルがあります。私たちはこのリングをどこかで壊し、垂直軸に表示し、そのような表現で作業します。特定の中心テーマを強調すると、右に、それが最後であり、左にあることがわかります-前に来たものと、下-関連する知識分野とのリンク。

この夢にどのように行きますか？

実際、多くのものがすでに準備されています。ここで構想されている技術チェーンは、現代の検索エンジンで機能する多くの有名で既製の技術で構成されています。 Yandex、Googleなどがあります。インターネットクロール、コンテンツフィルタリングを行うことができます-これは重要です。なぜなら、暗い情報である商業情報ではなく、知識検索システムが必要だからです。猫やハスキーなどは必要ありません。知識を強調する必要があります。そのような技術もあります。

テーマ別モデリング。科学文書のコレクションからさまざまなトピックを作成する方法は？これは重要な問題です。

検索方法アイデアは天才に簡単です。単語に従ってドキュメントを検索できます。これは逆索引と呼ばれます。そして、意味、主題ごとに検索する場合、どうすればよいでしょうか？ , — ? , . — , , , , — , . , . . , , . — -, .

, , 330 . — . なんで？ ? , , , , , , , , — . - , - , - , - . . , . , . . . , , , , .

? . , .

— . , ? , . , , , — , . , , . , .