News360パーソナライゼーションシステム：情報クラスターのランキング

推奨システムが多くのコンテンツで機能する場合、主なタスクはこのコンテンツのフィルタリングではなく、ランキングです。 ニュースについて話すと、毎日何十万もの記事が発行されますが、何千もの記事がニュースを読むすべての人の興味に影響を与える可能性があります。 ただし、ほとんどのユーザーは1日あたり5〜10件を超える記事を読みません（News360による）。 最初に表示する記事はどれですか？



News360は、3年目のこの質問に対する答えをすでに探しています。 私たちはすでに多くの異なる答えを見つけましたが、今年はこの概念を放棄することにしました。これは過去のすべての年の主要な概念でした。



簡単な言葉での記事で、News360がイベントに関する記事のクラスタリングとイベントのランキングを行うシステムの実装と開発に数年間取り組んだ理由についてお話しし、その後、このアプローチを捨てて別のアプローチを実装することにしました。 また、News360がどのように機能するか、内部にあるもの、およびそれについての参照先についても少し説明します。







News360の主なタスクは、パーソナライズにより情報過多の問題を解決することです。 ソーシャルネットワークを使用し、ニュースを読み、客観的な視点を得るためにいくつかのニュース出版物を追いかけ、そしてもちろん、友人や他の興味深い人々からブログを読む現代のユーザーを想像してください。 そのようなユーザーは、すべてのニュースをフォローするのに何時間も費やすか、一部の情報をスキップします。 また、ソーシャルネットワーク上の新しいブログや友人が増えるにつれて、ますます興味深いものが見失われているという感覚がますます高まっています。 そのようなユーザー向けのNews360は、選択したソースで最も人気のあるすべての記事、ソーシャルネットワークで最も議論されている記事を選択し、ユーザーが最も読みやすいトピックに新しいコンテンツを追加し、すべてを便利で美しいフィードに整理します。



または、別の現代ユーザーを想像してください-政治以外のすべてに興味があり、料理が好きな人。 次に、News360はユーザーに最も興味深い非政治的な世界のニュースを表示し、料理のブログや出版物から最新で最も人気のあるフィードをフィードに追加できます。



ニュースフィードを整理するパーソナライズされたアプローチとパーソナライズされていないアプローチを比較するために、さまざまなフィードを見てみましょう。







CNNは、パーソナライズされたフィードではなく、最も重要で人気のあるニュースのセットを表示します。







Prismaticは、私が個人的に興味を持っているニュースフィードを示しています。 それとは別に、最もセンセーショナルな世界のニュースを掲載したコラムもあります。 （より多くの記事に合わせるために、このショットから写真をカットする必要がありました）。







News360のメイン画面は、私が興味を持ちそうなすべてのニュースを結合しようとします。 これは世界で最も重要なニュースであり、私は好奇心が強いかもしれませんが、それは私の興味に直接関係しています。



この問題を解決するために、インターネットからシステムに入ってくるニュースを分析して、追加情報を取得します。

• システムは、イベント内の言及された主な参加者-人、企業、ブランド、イベントが発生した場所など、テキスト内の名前付きコンセプトを認識します。 これを行うために、 「Named Entity Recognition：A LocalGrammar-based Approach」という作業に触発され、テキスト内のエンティティパターンを検索するための文法的アプローチに基づくアルゴリズムを実装しました。
• News360は、いくつかの異なるアプローチを使用してニュースを分類します。 参照ベクトル法は、スポーツ、ビジネス、政治などの人気のある見出しに従って記事を分類するために使用されます。libsvmベースのマシンは 、TFを使用して重み付けされた記事のキーワードがベクトルとして取得される1000のメディア記事の独自のラベル付きコーパスでトレーニングされます* IDF。
• より小さいテキストトピックと狭いテキストトピックを強調するために、 Oracle Rule Based Classificaitonおよび「技術テキストパッセージの分類手法の比較」での実装と同様に、単純なルールベースの分類実装が使用されます 。

簡単にするために、名前付きの概念、トピック、カテゴリ、および記事に関するその他のすべての知識を記事タグと呼びます。 これらの同じタグの形式で、News360は、好きな記事を分析するか、ユーザーが自分の興味を明確に表現することで、ユーザーの興味を判断します。







ニュースフィードをさらに最適化するために、News360は同じものに関するさまざまなソースの記事をグループ化します。これにより、ユーザーはメインフィードに繰り返しが表示されなくなりますが、ストーリーを読むことに突入して、知りたいと思う視点を選択できます。 このようなコンテンツのクラスタリングは、グラフベースの最小カットツリー法に類似したアルゴリズムによる特別なメカニズムによって実行されます。





News360記事のグラフ、クラスターが強調表示されます。



クラスタリングメカニズムの動作の結果、各クラスターには意味の近い記事が含まれるだけでなく、同じイベントに関するさまざまなソースからの記事のコレクションが含まれます。 News360は、ユーザーのニュースフィードの繰り返しを非表示にする問題を解決し、ランキングでのイベントの共鳴を考慮できるようにするために、記事ではなくこれらのイベントをユーザーに表示します。



クラスターに分類される記事の属性に基づいて、その属性が計算されます。 例えば、最新の記事、頻繁に遭遇するタグ、およびユニークな属性-イベントの共鳴は、このイベントが世界でどれほど活発に議論されているかを示しています。

1. CIAはクラウド契約でIBMよりもAmazonを選択したことで違反
   • 共鳴： 5
   • タグ： CIA、Amazon、IBM、クラウドコンピューティング
   • 最新の記事： Physorg.com、06/18/2013
2. 増加が見込まれるグローバルIT支出
   • 共鳴： 5
   • タグ：ガートナー、クラウドコンピューティング
   • 最新の記事： The Strategic Sourceror、06/19/2013
3. 使用するもの：Office 365およびSkyDrive Pro
   • 共鳴： 1
   • タグ： Office 365、SkyDrive、クラウドコンピューティング、ガジェット
   • 最新の記事： WinSuperSite、2013年6月20日

News360では、クラスターが情報の基本単位として使用されます。つまり、推奨されるのはそのシステムです。



ユーザーが記事を読んだり、共有したり、気に入ったりすると、システムはこの記事について知られていることからユーザーが最もよく知っていることを見つけようとします。 したがって、システムは各ユーザー向けにトレーニングされ、「ポートレート」を形成し、ユーザーにとって興味深いニュースを最も多く選択するためにこのポートレートを使用します。 たとえば、私の肖像画は次のようになります（読みやすくするために、まれなタグから長い尾を削除しました）。

クラウドコンピューティング	0.95
ウィリアム・ゲイツIII	0.72
スティーブ・ジョブズ	0.62
マイクロソフト	0.44
ミュージック	0.40
Ibm	0.24
スタートアップ	0.18
リチャード・ブランソン	0.17
事業内容	0.17
中小企業	0.16
エンターテインメント	0.16

重みは、クラウドコンピューティングが私にとって興味深いものであるというシステムの自信です。 この重みは、ユーザーが特定のトピックとどれだけ積極的に「対話」するかに基づいて計算されます。 たとえば、クラウドコンピューティングに関する記事を読んで、プロファイルでこのトピックの重みを増やしています。



ポートレートに基づいて、システムは実際の情報のクラスターを取得し、どのクラスターを表示するかを決定します。



3つのストーリーすべてがクラウドテクノロジーについて語っています。つまり、私の肖像画によれば、それらは私にとって興味があるかもしれません。 したがって、コンテンツをパーソナライズするプロセスは次のように表すことができます。







つまり、システムはユーザーの関心に従ってコンテンツをフィルタリングします。



このアプローチにより、ユーザーが興味のないニュースからユーザーを救うことができますが、コンテンツが豊富にあるため、ユーザーが関心のある分野で発生するすべての最も重要なことを学習することを保証しません。 情報過負荷の問題を解決しません。



「ユーザーにとってのニュースの重要性」という概念の導入により、比較特性（つまり、一部のニュースはユーザーにとってより重要であり、他のニュースはそれほど重要ではない）を導入します。



この手法は「コンテンツベースの推奨」と呼ばれ、imdb.comの推奨システムなどのさまざまな製品で広く使用されています。



各ドキュメントについて、一連の属性が識別されます。各属性はユーザーに関連して重み付けされ、このユーザーにとって重要なニュースの量が決定されます。 この記事の例では、このようなパラメーターの使用を試みます。

1. コンテンツの鮮度。
2. ユーザーのポートレートにあるニュースタグの数。
3. 関連タグのユーザーがニュースを好む可能性（表1の係数）。
4. 共鳴-このニュースをカバーするソースの数、つまり 記事が現在のクラスターに参加しているソースの数。

ニュースのためにシステムに目を向けた瞬間に、私について知られている情報（「ポートレート」）がシステムへのリクエストのパラメーターとして使用されます。たとえば、記事「Fab：Content-based、collaborative Recommendation」で説明されています。 そのため、記事のパラメーターとユーザー情報は、ニュースのランク付けに使用されます。



データでこれを試してみましょう（たとえば、2013年6月20日にランキングしているとしましょう）。

1. CIAはクラウド契約でIBMよりもAmazonを選択したことで違反
   • 鮮度： 2日（0ポイント）
   • ユーザーの好み：クラウドコンピューティング（0.95）、IBM（0.24）（2ポイント）
   • 共鳴： 5（2ポイント）
2. 増加が見込まれるグローバルIT支出
   • 鮮度： 24時間（1ポイント）
   • ユーザーの好み：クラウドコンピューティング（0.95）（0ポイント）
   • 共鳴： 5（2ポイント）
3. 使用するもの：Office 365およびSkyDrive Pro
   • 鮮度：関連性（2ポイント）
   • ユーザーの好み：クラウドコンピューティング（0.95）（0ポイント）
   • 共鳴： 1（0ポイント）

簡単にするために、各パラメーターのニュースを並べ替えてポイントを計算し、最初に2、3番目に0、その他すべてに1を割り当てました。



合計、次のようにランク付けされたニュースを取得します。

1. CIAはクラウド契約でIBMよりもAmazonを選択したことで違反
2. 増加が見込まれるグローバルIT支出
3. 使用するもの：Office 365およびSkyDrive Pro

ここでは、クラスター（=ストーリー=イベント）をランク付けしました。 クラスタをランク付けするとき、3つの議論の余地のない利点が生まれます。

• まず、ランキングの結果として、ユーザーに表示できるリボンがすぐに表示されます。
• 第二に、ランキングの要素が少ない（クラスターに一度に多くの記事が含まれる）ため、必要な作業をより速く行うことができます。
• 第三に、追加費用なしで、イベントのレゾナンスなどのパラメーターを取得します（つまり、このイベントについていくつのソースが書いたのか）。

しかし、このアプローチには問題があり、クラスターのランキングから抜け出し、記事を1つずつランク付けし始めました。 問題は、選択したクラスター属性の多くがユーザーの関心と一致しないことです。



たとえば、クラスターに5つの記事がある場合、クラスターの共鳴は5と見なされますが、これは5つの記事すべてがユーザーの関心を引くという意味ではありません。 つまり、各パラメーターで特定のユーザーの特定のクラスターをランク付けする場合、すべてのユーザーの関心を考慮する必要があります。 この場合、クラスタエントリの総数ではなく、ユーザーが関心を持っているクラスタエントリの数（ユーザーの関心に言及）で共鳴を計算します。



同じことは、クラスターの鮮度、およびクラスターの主要記事の選択（つまり、このクラスターから何をクラスターの「カバー」に表示するか）にも当てはまります。



同時に、ユーザーは記事ではなくストーリー（クラスター）を正確に表示する必要があります。 第一に、ユーザーは、異なるソースで公開されている場合でも、ストリーム内の同じ記事に関する複数の異なる記事を見たくないためです。 第二に、ランキングのためには、イベントの共鳴のようなパラメーターが必ず必要だからです。



そこで、記事がランク付けされるシステムになりましたが、イベントの共鳴が考慮され、ストーリーがユーザーに表示されます。



上記のグラフに示されているすべての記事を取り上げてみましょう。

これは、CIAがすぐにAmazonのウィッシュリストにアクセスできることを意味しますか？	時間	CIA、アマゾン	06/18/2013
Amazon、IBMがCIAスパイクラウド契約をめぐる争い	オーストラリア人	IBM、CIA、Amazon	06/18/2013
レポート：CIAがAmazonを選択してクラウドを構築	について調べる	CIA、クラウドコンピューティング	06/18/2013
政府のIT支出は世界的に減少	Silicononndia	ガートナーインド	06/19/2013
予測：世界の州機関は今年、情報技術（IT）に支出します	ヨパキスタン	パキスタン	06/19/2013
CIAはIBMよりAmazonを選択したことで違反	Physorg.com	IBM、CIA、Amazon	06/18/2013
レポート：CIAがAmazonを選択してクラウドを構築	ビジネスインサイダー	CIA、Amazon、クラウドコンピューティング	06/18/2013
使用するもの：Office 365およびSkyDrive Pro	Winsupersite	Office 365、SkyDrive、クラウドコンピューティング、ガジェット	06/20/2013
増加が見込まれるグローバルIT支出	戦略的ソース	ガートナー、ワールドニュース	06/19/2013
モバイルおよびクラウドのトップ政府の技術買い物リスト	技術共和国	Gartner、クラウドコンピューティング、World News	06/19/2013

そして、それらからユーザーに適したものを選択します（フィルタリング）：

Amazon、IBMがCIAスパイクラウド契約をめぐる争い	オーストラリア人	IBM（0.24）	06/18/2013
レポート：CIAがAmazonを選択してクラウドを構築	について調べる	クラウドコンピューティング（0.95）	06/18/2013
CIAはIBMよりAmazonを選択したことで違反	Physorg.com	IBM（0.24）	06/18/2013
レポート：CIAがAmazonを選択してクラウドを構築	ビジネスインサイダー	クラウドコンピューティング（0.95）	06/18/2013
使用するもの：Office 365およびSkyDrive Pro	Winsupersite	クラウドコンピューティング（0.95）	06/20/2013
モバイルおよびクラウドのトップ政府の技術買い物リスト	技術共和国	クラウドコンピューティング（0.95）	06/19/2013

上記と同じ方法で計算されたポイントの合計で記事をソートします。クラスターの重みを計算しました（各パラメーターのポイントは括弧で示され、ポイントの合計は最後の列にあります）。 この場合、共鳴として、クラスター内の記事の総数ではなく、クラスター内のユーザーが関心を持つ記事の数を考慮します。

使用するもの：Office 365およびSkyDrive Pro	Winsupersite	クラウドコンピューティング（0.95）（2）	06/20/2013（2）	1（0）	4
レポート：CIAがAmazonを選択してクラウドを構築	について調べる	クラウドコンピューティング（0.95）（2）	06/18/2013（0）	4（2）	4
レポート：CIAがAmazonを選択してクラウドを構築	ビジネスインサイダー	クラウドコンピューティング（0.95）（2）	06/18/2013（0）	4（2）	4
モバイルおよびクラウドのトップ政府の技術買い物リスト	技術共和国	クラウドコンピューティング（0.95）（2）	06/19/2013（1）	1（0）	3
Amazon、IBMがCIAスパイクラウド契約をめぐる争い	オーストラリア人	IBM（0.24）（0）	06/18/2013（0）	4（2）	2
CIAはIBMよりAmazonを選択したことで違反	Physorg.com	IBM（0.24）（0）	06/18/2013（0）	4（2）	2

最後の段階で、出力をクラスターにグループ化し（上の図のグラフに従って）、各クラスターの最初の記事を取得し、残りを非表示にします。

1. 使用するもの：Office 365およびSkyDrive Pro
2. レポート：CIAがAmazonを選択してクラウドを構築
3. モバイルおよびクラウドのトップ政府の技術買い物リスト

この結果は、私が興味を持っているものに似ています。



システムは、ユーザーのポートレートからタグの重みを使用することに加えて、さまざまなタグに関連してさまざまな方法で記事のパラメーターに重みを付けることができます。 パラメータは、記事の日付、ソースの数、テキスト情報の量、ソーシャルネットワークでの影響のインデックス、およびその他の類似の記事属性です。 たとえば、Politicsタグの分析記事に含まれるテキスト情報は少し悪いです。 ただし、フォトブログの情報とまったく同じ量が許容されます。 したがって、同じ記事のタグごとに重みが異なります。 News360で開発されたランキング関数を使用して正規化した後、これらのパラメーターはタグに関連する記事の重みに集約されます。



ユーザーのポートレートを記事内の1つまたは別のタグを見たいと考えると、ユーザーがポートレートに持っているタグ内の記事の重量を集計し、ユーザーに対する記事の最終的な合計重量を取得します。



最後のメカニズムでは、次の機能のセットを使用してストーリーをランク付けできます。

• ストーリーの客観的な特性。 例：
  • 記事の日付
  • テキスト情報の量
  • ソーシャルでの評価。 ネットワーク。
• 特定のランキングが実行されるユーザーの主観的な好み。 例：
  • 優先記事のジャンル（分析記事、ニュース）
  • 優先トピックの重み付きリスト（IBM（0.24）、クラウドコンピューティング（0.95））
• ユーザーが情報エリアを探索するビュー：
  • つまり、政府のIT予算に関する記事は、政治コラムとITコラムの両方に分類できますが、重みは異なります。

また、ユーザーにテープのプレゼンテーションを選択する十分な機会を提供します。

• （同じトピックに関する異なる出版物の一連の記事から）特定の記事を正確に選択する機能は、ユーザーに表示されます。
• ニュースフィードから重複した情報を非表示にします。

このランキングシステムは現在News360内でテスト運用中ですが、次のシステムアップデートの開発が既に開始されています。これには、ランキングに関するニュースに関する共同知識の使用などが含まれます（記事が一般のすべてのユーザーまたは現在のユーザーと同様のユーザーに好まれる限り） 、プロファイルに特定の関心を追加するための推奨事項、反復テストプロセスに基づいた特定のユーザーに対する推奨事項アルゴリズムの自動適応、およびその効果の評価 このユーザーのさまざまなアルゴリズムのアクティビティ。



参照：

1. ウィキペディア：名前付きエンティティの認識
2. トラブールシ、HN（2006）。 名前付きエンティティの認識：ローカル文法ベースのアプローチ。 博士論文、コンピューティング学科、電子物理学部、サリー大学、ギルフォード、サリー、英国取得元： scribd.com
3. ボザー、ベルンハルトE .; Guyon、Isabelle M。; およびVapnik、Vladimir N。; 最適なマージン分類器のトレーニングアルゴリズム。 Hausslerでは、David（編集者）; COLTに関する第5回年次ACMワークショップ、144〜152ページ、ペンシルバニア州ピッツバーグ、1992年。ACMPress。 取得元： citeseer.ist.psu.edu
4. Chang、C。、およびLin、C。（nd）。 Libsvm-サポートベクターマシン用のライブラリ。
5. Oracleテキスト内のドキュメントの分類。
6. Kornfein、MM、およびGoldfarb、H。（2007年7月）。 MM Kornfein（議長）にて。 技術的な文章の一節の分類手法の比較。 WCE 2007、ロンドン、英国取得元： citeseerx.ist.psu.edu
7. フレーク、GW、タージャン、RE＆Tsioutsiouliklis、K。（2004）。 グラフクラスタリングと最小カットツリー。 インターネット数学、1、385-408。 取得元： citeseerx.ist.psu.edu
8. ウィキペディア：レコメンダーシステム：コンテンツベースのフィルタリング
9. Balabanovic、M.＆＆Shoham、Y.（1997）。 Fab：コンテンツベースの共同推奨。 コンピューティング機械協会の通信、40（3）、66-72。 取得元： citeseerx.ist.psu.edu