8月9〜13日に、情報検索ACM SIGIRに関する第38回国際科学会議がサンティアゴ（チリ）で開催されました。 このイベントの主なイベントと、学術環境と業界の両方の観点から、情報検索分野の発展における主要なトレンドをご紹介します。





ACM SIGIRは、情報検索分野の主要な研究者が結果を発表する今年の主要な科学フォーラムです。 すべての科学作品は、従来のレビュープロセスの枠組み内で厳格な競争力のある選別を受けます（この場合、二重盲検、つまり著者とレビューアは匿名のままでなければなりません）。 この会議は、従来、主要な検索エンジンや、検索テクノロジーの開発に関心のある他の企業（Baidu、Microsoft、Google、Yahoo、eBay、Facebook、IBM、Yandex）が主催していました。

会場

この会議はチリの首都サンティアゴでカトリック大学の建物で開催されました。 そのようなエキゾチックな会場の選択は、Yahoo！ 研究所、ならびにその頭の地位-有名なチリの探検家リカルド・バエザ・イェーツ 。







サンティアゴは対照的な都市です。美しい歴史的建造物とともに、ここでは旧市街の高層ビルを市内中心部で簡単に見つけることができます。 スタイルの失禁の正当な理由は、頻繁な地震です。 首都には、略奪されるリスクが高い不利な地域もあります。 その自然な特徴（都市は山脈に囲まれた谷にあります）により、スモッグはサンティアゴでよく見られます。 快適なコミュニケーションのためには、英語が完全に欠けているため、基本的なスペイン語が必要です。 土産物店-ネイティブアメリカンの特質、イースター島のモアイ人形、共産主義者アレンデの肖像、キリスト教のシンボルのワイルドハッシュ。 人々は友好的で歓迎しています。 一般に、あなたが典型的なラテンアメリカにいるという感覚は、時には魅力的で、時にはあまりそうではない、という感覚は去りません。

チュートリアル

会議は、情報検索のさまざまなトピックに関する9つの短いトレーニングコースによって開かれました。 非常に興味深いのは、Manish Gupta（Bing）とMikhail Bendersky（Google）が読んだ長い検索クエリ（ 詳細なクエリによる情報検索 ）のチュートリアルであることが判明しました。 チュートリアルでは、長いクエリを解決するためのアプローチを紹介しました。これは、原則として、nullクエリにつながります。 これらのクエリは、Q＆Aシステム（QuoraやAnswers@Mail.ruなどのCQAサービスを含む）、エンタープライズ検索、eコマース検索、音声検索アプリケーション（Cortana、Siri、Google Now）で珍しいことではありません。



チュートリアルの著者によると、主なアプローチには次のテクニックが含まれます。

• 個々の単語、組み合わせ、名前グループ、名前付きエンティティ、個人クエリログからの単語の強調表示による、1つ以上のサブクエリの削減によるクエリ削減
• 特定の用語または概念の重み付け（ WSDモデルを参照）
• リクエスト拡張（ PCEモデルを参照）
• クエリの再定式化：確率的言語モデルとクエリログに基づく
• クエリセグメンテーション：n-gram統計に基づきます。

主なプログラム

次の3日間は、会議のメインプログラムの報告に充てられました。 今年、メインプログラムの記事の受け入れ率は20％でした。つまり、レビューのために送信された記事の5分の1が受け入れられました。 A +クラスの会議の通常のレベルは何ですか（ COREを評価）。



ちなみに、スポンサーは記事の全文への無料アクセスを支払ったため、誰でも受け入れられた作品を知ることができます。 いつものように、多くの高品質の記事があったので、このレビューでは、賞を受賞した記事についてのみ、そしてディープラーニングセクションで別に説明します。







最優秀論文の賞は、ISTIの科学者チーム（CNR、ピサとヴェネツィアの大学）から授与されました。 彼らはQuickScorerアルゴリズムを提案しました。これは、ツリーとビット単位の論理演算に特別なバイナリ表現を使用し、その結果、回帰ツリーの学習済み加算アンサンブルの使用を高速化します（実際には50％以上）。 Lambda-MARTやGradient Boosted Regression Trees（GBRT）などのモデルの実用的な強さを考えると、これは重要な成果です。 ご存知のように、最新モデルはYandex MatrixNetの基礎です。



次の賞-なんてうれしい！ -ロシアに行った。 学生が書いた最高の記事の賞（Best Student Paper Award）は、エフゲニー・ハリトノフ率いるヤンデックスの作家チームによって受賞されました（エフゲニーはグラスゴー大学の大学院生であり、ヤンデックスの従業員です）。 この作業は 、統計テ​​ストの装置を使用して、短時間で検索品質の比較評価に関する実験を実行する方法を示しています。 このアプローチは、A / Bテストとインターリーブの両方に適用できます。



最後に、最近のディープニューラルネットワーク（ディープラーニング）のアプリケーションとして、このようなファッショナブルなトレンドに専念するセクションについて説明します。 ディープラーニングモデルを使用して達成された画期的なパフォーマンスの改善は、画像および音声認識の領域でのみ客観的に行われますが、自然言語処理および情報検索でのディープラーニングの成功はまだ納得できません。 同時に、ディープラーニングの主な利点の1つ-データを表示するための効果的な特性の手動モデリングの必要性をなくす（機能エンジニアリング）-検索とNLPの両方でこれらのアプローチに注意を払わざるを得ません。 さらに、以下の作品が示すように、これらの分野の改善はより重要になっています。





従来は画像認識に使用されていた畳み込みニューラルネットワークが、ワードプロセッシングタスク用に予想外に開発されたことがわかりました（最初の作品は文字通り昨年登場しました）。 これらは、構文および意味の特性を維持しながら、元の文を低次元のベクトル空間で表現する方法を提供します。 したがって、文の単語の隠されたスペース（埋め込み）のベクトルの列で構成される行列は、ネットワーク入力に供給されます（図を参照）。 後者として、 word2vecから単語の埋め込みを取得できます。 次の段階は、文行列の畳み込みです。 文行列とろ過行列の垂直層の要素ごとの積（ディープラーニングの場合、多くのろ過ベクトルが使用されます）および合計によるこれらの結果の集約。 さらに、結果は非線形活性化関数（この場合はReLU）を介して渡されます。 プール操作は通常の最大値です。



Aliaksey Severin（Google）とAlessandro Moschitti（トレント大学、QCRI）は、コンボリューショナルディープニューラルネットワークによるショートテキストペアのランク付けの学習で、質問応答システムでショートテキストをランク付けするタスクのためにこのアーキテクチャを拡張する方法を示しました。 同時に、要求とドキュメントの両方が単一の表現（共通ベクトル）に変換され、そのコンポーネントの相互作用がニューラルネットワークの追加の隠れ層を通じてモデル化されます。



（バイリンガル）単語の埋め込みに基づく単一言語および言語間情報検索モデルは、言語間の情報検索タスクのために、単語の埋め込みモデルを整列されたケースのケースに拡張する方法を示します。 そのようなケースの例は、異なる言語のウィキペディアの記事です。 主なアイデアは、整列されたドキュメントの参照単語とコンテキストを混合して、Mikolovの標準スキップグラムモデルをトレーニングすることです。このモデルは、文の参照単語によってコンテキストを予測します。 提案された関連性モデルは、クエリベクトルとドキュメントの近接度のコサイン測定に基づいており、単語埋め込みの線形結合の原理に基づいています。



Yahoo!調査チーム ラボは 、スポンサー付き検索で広告を表示するタスクに適合した単語埋め込みを取得するための新しいモデルを提案しました（主な問題は、広告を用語で完全に一致しないクエリに一致させることです）：context2vec、content2vec、context-content2vec。 Context2vecは同じスキップグラムモデルを使用します。クエリのみが「単語」と見なされ、「セッション」は検索エンジンログからのユーザーセッションです。 content2vecの場合、著者はより伝統的な見方に戻ります。「単語」がリクエストからの用語である場合、「文章」はリクエストのテキストです。 最新のモデルは、この2つの組み合わせです。 モデルの例：





最後に、Guocching and Callan（カーネギーメロン大学） は、言語モデル、SDM、BM25などの古典的なモデルの用語に重みを付けるための単語埋め込みの使用を調査しました。 示されているパフォーマンスの向上は、BM25で最大9％（MAPによる）、標準TRECコレクションの言語モデルで最大22％です。



ディープニューラルネットワークの実装に使用されるツールのうち、 Theanoは主に柔軟性を高めるために使用されます。 トーチは高レベルのライブラリと見なされ 、業界により適していますが、カスタマイズはより困難です。

科学的貢献

これは、ウェイン大学（米国）、カザン連邦大学、 Textocatの著者チームの共同作業です。 構造化FSDMドキュメントの新しいランク付けモデルを導入しました。これは、ドキュメントフィールドの重みを考慮したよく知られた言語モデルの混合（MLM）モデルの一般化であり、シーケンシャル依存モデル（SDM）はマルコフ確率場の理論。 ランキング式は次のとおりです。









ここで、マークTは、検索クエリからのバイグラム（O）およびウィンドウ内のバイグラム（U）に連続する用語を示すために使用されます。 また、fは、ドキュメントフィールドの言語モデルの混合に基づくドキュメント内のクエリからの用語（またはバイグラム）の外観の評価です。







モデルパラメータ（フィールドウェイトwおよびウェイトλ）は手動で設定できます（たとえば、2つのフィールドからのドキュメントスキームで：w（タイトル）= 0.8、w（ボディ）= 0.2、およびSDMの標準ウェイト：λ=（0.8、 0.1、0.1））、およびトレーニングセットがある場合は、記事で提案されているように、検索品質評価のターゲットメジャー（たとえば、MAP）を直接最適化する座標上昇法に基づく単純な2段階アルゴリズムでトレーニングできます。



新しいモデルは、データWeb上のエンティティ検索スクリプトで有効性を示し（既知のBM25Fモデルとの比較を含む）、同時に、複数のフィールドを持つ構造化文書の検索アプリケーションにも適用されます（複数フィールドのドキュメント）。 そのようなアプリケーションの例は、電子メールメッセージ（見出し、本文）およびeコマースの商品の説明（名前、カテゴリ、注釈、ベンダー）です。 GitHubとプレゼンテーションスライドの 記事 、 ソースコード、スタートアップファイルの全文 が 公開されています。

ポスター

ポスターセッションは、完全な記事でまだ完成していない結果を提示するための別の興味深い形式です。 そして今年、私はいくつかの記憶に残る作品を選び出すことができます。 まず、これは情報検索のためのコピュラの使用に関するCarsten Eihoff（現在-ETH、以前-Delft University of Technology）の作業の続きです。 コピュラスによる用語依存性のモデル化で、 Carstenと彼の科学顧問であるArjen de Vriesは、コピュラを効果的に使用してドキュメント内の用語の出現の依存関係を強調できることを示します。 さらに、 ディープコンボリューショナルニューラルネットワークを使用したTwitterセンチメント分析 （言及したセベリンとモスキッティは、トーナリティ分析問題で考慮されたコンボリューショナルニューラルネットワークを使用）、 検索品質メトリックの直接最適化（属性値によってソートされたタプルの関連性フィルタリング ）の作品を強調します属性によるフィルタリングの際の関連性によるランク付けは、eコマース検索の重要なタスクです）。

産業

産業用トラックでは、クラウドソーシングと商用検索でのジオロケーションの使用に関するマイクロソフトからの報告がありました。 Yahooは垂直検索の難しさ（ニュース、eコマース）について; オンライン検索の品質評価の側面に関するYandex。 ブルームバーグは、同社が金融アプリケーションの分野で自然言語処理、機械学習のランキング、クラウドソーシングをどのように適用しているかについて; 最大のプロフェッショナルソーシャルネットワークの検索デバイスで旅行先やLinkedInを推奨する際のパーソナライズに関するBooking.com。







Microsoft Researchの代表者は、ユーザーセッションの一部として、エンティティ検索（Microsoftには独自の知識ベース-Satori）をコンテキスト化するBing検索エンジンの機能を示しました。 クエリチェーンは、「トムクルーズ」、「トムクルーズの妻」、「彼女の身長は？」です。 また、Microsoft Academic Graphで科学出版物の重要性を評価するためのコンテストであるWSDM Cup Challengeも発表しました。 タスクの意味は、利用可能な意味情報を使用して、通常の引用数よりも重要な特性を提供することです。

おわりに

ACM SIGIRはますます産業会議になりつつあります（今年は業界代表者の記事の41％！）。 これは、研究トピックの分布に大きな影響を与えます。ユーザーの行動と検索評価に関する研究に対して、より大きなバイアスがあります。 さらに、理論と深層学習ツールの開発の影響下で、適応された単語の埋め込みに基づいた検索モデルがより普及しています。 最後に、知識ベース（Wikidata、DBpedia、Freebase、Google Knowledge Graph、Satori、Facebook Graph）の開発にもかかわらず、知識ベースを使用して検索品質を向上させるための新しいモデルを提供する作業が不足しています。