セマンティック検索：神話と現実

数年前からセマンティック検索が話題になっています。 Googleをトップから押し上げることができるテクノロジーは、誰もが興味を持っています。 特に、待望のセマンティック検索の可能性について頻繁に議論されています。 ただし、検索結果はGoogleの検索結果とそれほど変わらないため、実際の研究結果の欠如にどれほど悲しみを感じているのか、この分野の進展にはあまり関心がありません。 問題は何ですか？



たとえば、検索バーに「Capital of France」と入力すると、どちらの方法でも同じ正解「Paris」が返されます。 さらに、略語の形で検索バーに入力するクエリのほとんどは、用語全体を紹介すると同じ結果になります。 明らかに、ここで何かが間違っています。 誰もがセマンティック技術が多くのことを行えることを知っていますが、なぜですか？ そして、彼らはどのように機能しますか？ この記事を読んだ後、実際、間違った質問をするだけであることがわかります。



エラーは、実際にはセマンティック検索エンジンにGoogleに似た入力行があるため、クエリを自由な形式で入力できることです。 そのため、最も簡単な形式で、慣れ親しんだクエリを入力します。 検索バーに「映画のパルプフィクションに出演した俳優」と「土曜の夜のフィーバー」は入力しませんか？ または「2人の米国上院議員が外国企業から賄briを受け取ったのはどれですか？」 私たちは常に単純なフレーズを駆動しますが、セマンティック検索の力はこれにありません。 すべてがどのように機能するかを理解するために、Google、SearchMonkey、Powerset、Freebaseのいくつかのセマンティック検索テクノロジーを検討することを提案します。



どのような問題を解決しようとしていますか？



セマンティック検索があらゆる種類の問題の解決策と見なされるようになると、Googleが支配的な最新の検索システムから計算では解決できないタスクまで、最初の困難が生じます。 現時点では、セマンティック検索が実際に優れている知識の領域がわずかしかないという事実によって、さらに複雑になります。これらは、複雑なデータシステムに関する結論と推論に関する複雑なクエリです。







上記のデータからわかるように、Googleは主要な種類のクエリに簡単に対処します。 残念ながら、自然言語の自動処理にはわずかな利点しかありません。 Googleは、ユーザーが検索バーに入力する名詞と動詞を理解することで検索プロセスを改善する機会を与えることなく、レオナルドの生年に関する質問に正しい答えを提供します。



セマンティック検索で簡単に対処できるタスクを検討する前に、最も複雑なタスクを検討します。 単語の意味を理解することとは関係のない、計算上困難なタスクがあります。 セマンティックWebの初期段階では、非常に複雑な問題でもその助けを借りて解決できると信じられていましたが、残念ながらそうではありません。 計算できるものには限界があり、可能な解決策が多数ある問題のクラスがあり、RDFで情報を提示したからといってこれらの問題を魔法のように解決することはできません。



しかし、セマンティックWebが見事に実行するタスクのレイヤーもあります。 テーマデータベースを使用してそれらを解決しました。 ただし、セマンティックテクノロジーは、ネットワーク全体に分散しているテーマ情報を見つけるのに役立つことを忘れないでください。したがって、セマンティック検索エンジンがテーマクエリを上回ることは驚くことではありません。



セマンティック検索エンジンの概要



セマンティック検索の本質は、私たちからの質問だけではありません。 Webは構造化されていないHTMLページのセットであるという事実により、基本情報もセマンティック検索の基礎となります。 Freebase-セマンティックデータベースが見つかりました。 Freebaseはテキスト検索だけでなく、最も重要なこととしてMQL（Metaweb Query Language）を介して機能します。 MQLはほぼ同じJSON（テキストベースのデータ交換形式）ですが、より多くの機能を備えています。 これを使用すると、Freebaseで任意のクエリを作成でき、答えは同じクエリになりますが、検索結果は既に挿入されています。







Powersetは、実際には、特定の構造化された情報で機能する主題データベースです。 一方、Googleは主にリクエストの統計的頻度に焦点を当てており、セマンティクスをほとんど考慮していません。 興味深いのは、Yahoo！の新しいSearchMonkeyです。 このシステムは、見つかった結果に何も追加しませんが、より完全でインタラクティブで便利なユーザーインターフェイスのためにセマンティックアノテーションを使用します。



HakiaとPowersetは、明らかに最大の可能性を発揮しています。 Freebaseに似た構造を作成し、上位の結果に基づいて自然言語を検索します。 違いは、Hakia（他の人と同様）はこのテクノロジーを使用してネットワーク全体を検索し、PowersetはWikipediaでの検索を終了したことです。



一般的なものと違いはどこですか？



この点で、「これらのテクノロジーのうち、どれが似ているのか、どれが根本的に違うのか」という疑問が生じます。簡単なものから始めましょう。 SearchMonkeyは、Googleや他の検索エンジンと同じです。なぜなら、 それらには一つの本質があり、違いは見た目にのみ存在します。 SearchMonkeyは、パブリッシャーに可能な限り最良の方法で検索結果を提示させるのに適しています。



Hakia、Powerset、Freebaseの場合、状況は異なります。 一見、両者はまったく異なります。Hakiaは検索にウェブ全体を使用し、PowersetはWikipediaとFreebaseのみを使用し、Freebaseには検索バーと検索言語の2つの検索インターフェイスがあります。 しかし、1つの問題があります。自然言語は、基本情報の代表性とは関係ありません。



事実、すべてのセマンティック検索テクノロジーにより、ユーザーは任意の複雑な質問に答え、それを解釈して既存のデータベースに適用できます。 Hakia、Powerset、Freebaseはそのようなデータベースであり、それらはすべて、自然言語の自動処理システムを備えており、データベースにとって理解可能な標準クエリに質問を「変換」します。



これがどのように機能するかを理解するには、FreebaseとそのMQL検索言語を想像してください。 さまざまな方法で質問をすることができる自然言語とは異なり、MQLはあいまいさを意味しません。 このJSONに似た言語により、ユーザーはFreebaseデータベースを検索するための明確なクエリを作成できます。 Powersetで自然言語で質問を作成できるという事実は、Powersetがデータベースではないという意味ではありません。 パワーセットがベースです Freebase検索文字列に基づいています。 FreebaseとPowersetの違いは、検索のアプローチと結果の表示方法にあります。



バックトゥザフューチャー：ユーザーインターフェイスがすべて







おそらく、セマンティック検索で最も重要な点はユーザーインターフェイスです。 Powersetは、セマンティクスがそれに反映されるべきであることを認識しました。 Powersetを検索した後、結果のセマンティクスに精通したコンテキストガジェットは、ユーザーがプロセス全体を完了するのに役立ちます。



Powersetの弱点はインターフェイスです。 これまでウェブで検索したことがある人なら誰でも知っている検索ボックスは古くなっています。 PowersetとHakiaのインターフェースはシンプルすぎてもメリットはありませんが、Freebaseにはあまり反映されていません。Freebaseは検索エンジンとしての地位を確立していません。



最近のPowersetの発売を思い出してください。 同社は、ウェブ上で最も強力な情報源の1つであるWikipediaを検索する最良の方法を提供しました。 しかし、批評家は何と言っていますか？ このシステムをGoogleの主要な競合相手と呼ぶことはできますか？ 答えはノーです。



Powersetに何らかの検索制限がある場合はどうなりますか？ 検索バーの代わりに別のインターフェイスを使用した場合、またはGoogleで簡単に見つけられるものを検索しないようにユーザーに指示した場合はどうなりますか？ たぶん、新しい会社は10年以上存在していた検索アルゴリズムを改善すべきでしょうか？ いずれにせよ、アイデアは、Googleが現在解決できない問題を解決することを目的とすべきです。



おわりに



セマンティック検索は、あまりにも高い目標を設定している未来の技術です。 Googleを倒し、最高品質の検索結果を提供するのに役立つと考えました。 これらのステートメントは両方とも偽であることが判明しました。 真実は、セマンティック検索は多因子現象であり、現在解決できない問題、つまりネットワーク上でしばしば見られる論理的に実証された複雑なクエリを解決するのに役立ちます。



セマンティック検索技術が市場でニッチを占めるためには、企業は目標を修正し、ユーザーインターフェイスを改善する必要があります。 検索バーは関連性がなく、損失を約束します。なぜなら Googleが簡単に処理できる簡単な質問に関連付けられています。 開発者は、ユーザーがセマンティック検索の力を完全に体験できるように、まったく新しいインターフェイスを提供する必要があります。