コンテンツの関連性を測定する方法

コンテンツレーティングは、関連式の主要コンポーネントの1つです。 テキスト属性の知識と、各属性がサイトの評価に貢献することにより、リソースでより専門的な作業に近づくことができます。 この記事では、特定のリクエストごとにランキング式を復元できるモデルを検討し、特定のリクエストを促進する際にサイトの主題を決定することの重要性を示し、不自然なテキストを決定する問題にも対処します。



ランキング式を復元する



このタスクを数学の分野に変換すると、入力データはベクトルのセットで表すことができます。各ベクトルは各サイトの特性のセットであり、ベクトル内の座標はサイトを評価するパラメーターです。 説明されているベクトル空間では、2つのオブジェクトの順序の相互関係を決定する関数を指定する必要があります。 この関数を使用すると、「多かれ少なかれ」の原則に従ってオブジェクトをオブジェクト間でランク付けできますが、同時に一方が他方より多いか小さいかを言うことはできません。 このタイプの問題は、順序回帰を評価するタスクを指します。

当社の従業員は、選択性を調整できる線形回帰モデルに基づいたアルゴリズムを開発しました。これにより、ある程度の誤差でサイトのランクを復元し、サイトパラメーターを適切に調整して出力の変化を予測することができました。 アルゴリズムの最初のステップは、モデルのトレーニングです。 この場合、トレーニングサンプルは、単一の検索クエリ内でサイトをランク付けした結果を表します。 検索クエリのフレームワーク内でのサイトの順序付けは、実際には、属性空間でトレーニングセットのオブジェクトを正しい順序で設計する必要がある方向があることを意味します。 この方向は、ランキング式を復元するタスクで求められているものです。 ただし、図1から判断すると、このような方向は多数存在する可能性があります。



図 1.ガイドベクトルの選択



この問題を解決するために、ピボットポイント法の根底にあるアプローチ、つまり、互いからオブジェクトを最大限に除去できるような方向の選択が検討されました。

解決された次のタスクは、学習戦略の選択です。 2つのオプションが検討されました。2つの対応する要素の順序を考慮した簡略化された学習戦略と、オブジェクトの順序全体を考慮した完全な戦略です。 実験の結果、短縮戦略が選択されました。これは、次の方程式を解くことになります：（1）

どこで -線形制約を伴う標準二次計画問題の解： どこで

-対称行列

-係数ベクトル

-特性ベクトルの違い



さまざまなサンプル（20種類の検索クエリで100個の機能と500個の機能）に対するこのアプローチは、良い結果を示しました（表1を参照）。





表1.縮小モデルの結果







図 2. n = 100で回収された回帰係数



図 3. n = 500で復元された回帰係数

特定のクエリの結果について話すと、実行された実験は次のエラーインジケータを与えます



表2.計算エラー







プロジェクトで作業するとき、このアプローチは、サイト上の特定の変化を伴う位置を予測するために使用されました。 同様の実験は、テキスト属性に基づいて実行されました。 最初に、問題のクエリのTOP20からサイトでデータが収集され、その後、適切なアルゴリズムを使用してデータが標準化されました。 その後、アルゴリズムを直接実行して、二次計画法を使用して「関連性」を計算しました。

取得したサイト関連性の値はソートされ、復元された位置について結論が下されます。



表3.ポジションリカバリー







クエリ「タイヤフィッティング」をランク付けする際の位置への最大の影響は、Yandexカタログでの存在、クエリ「タイヤフィッティング」の最初の単語の出現、クエリ「タイヤフィッティング」の最初の単語のh1での出現、2番目のクエリ単語のページのタイトル機器」。

対応する修正がサイトパラメータで行われ、プログラムが開始されました。 その結果、対応するポジションの予測が行われました。





図 4.ランキング式を復元するプログラム



これらの変更はすべてサイトで行われ、次の更新後、サイトは予測されたものに近い位置を占めました。 初期位置は50でしたが、これらの変更後はTOP20になりました。





図5 クエリ「タイヤフィッティング機器」の結果



テキスト対象の測定



ランキング式の復元の作業で、サイト全体の主題に対するテキスト主題の主題の近接度を測定することの重要性が確認されました。 同様のメトリックは、ページの関連サブジェクト、関連クエリ、およびサイト全体のベクトル間のコサインの計算に基づいて構築できます。（2）



どこで そして したがって、サイトおよび問題のドキュメントの主題ベクトルの指定。

Nは、コレクションディクショナリ内の単語の数です。 文書Di内の各単語jの重みは、式（3）によって計算されます。



ここで、countijはドキュメント内の単語の出現回数、IDFwjはコレクション内の単語の逆頻度です。 文書内の各単語の重みを計算した後、ベクトルは正規化されます：（4）





同様に、ベクトルはサイト全体に対して構築されますが、サイトのテキストは、含まれているすべてのドキュメントのテキストを結合することによって取得されます。

したがって、ドキュメントの主題値を決定するアルゴリズムは、次のように表すことができます。

1）辞書は、まれな単語やストップワードが存在しないものとして定義されています。 辞書を構成する単語のIDFは、意味のある単語の範囲内にあります。

2）N次元の主題ベクトルが構築されます 問題の文書用 式3および4を使用します。

3）N次元の主題ベクトルが構築されます サイト全体 式3および4を使用します。

4）（2）を使用して、ベクトルの近接性を確立します そして 。 ベクトルが近いほど、ドキュメントの主題値 上記。



このモデルに基づいて、問題のドキュメントとサイト自体のテキストコンポーネントのテーマの類似性を判断するプログラムが作成されました。 実験は、同じテーマ、類似のテーマ、異なるトピックの3つのサイトグループに基づいて実行されました。 合計200件の記事が処理されました。 処理の結果、表に示されている「1つのテスト文書/ 9つのトレーニング文書」の20グループについて、以下のデータが取得されました。



表4.テーマの完全性テストの結果







この表は、情報リソースの主題の完全性を判断するための提案された方法が実際に機能することを示しています。 ただし、開発されたシステムの欠点が特定されました。 まず、多くの場合、サイトには情報のないページや情報のないページ（注文フォーム、フィードバック、連絡先など）があります。 第二に、ランダムに指定された数のトレーニングテキストを選択する際に、テーマのないページを選択できます。 第三に、特定の言葉ではないが、特定の単語のスペルなど、主題が類似している非特定のコンテンツがテストテキストとして認識される場合があります。 第4に、意味が交差しながら、さまざまなテーマ領域をカバーするサイト（オンラインストア、ニュースサイト、抽象的な銀行）があります。

これらの欠点により、全体像からリソースの主題の完全性を評価できます。 例として、機器に関するリクエストがあるトピック「ロジスティクス」のサイトを検討します（ロジスティクスに関する情報に加えて、サイト上にカタログがあります）。 このサイトはYandex.Catalogに登録されており、「貨物輸送と輸送」という基準があります。



図 6. Yandexカタログで割り当てられたセクション。



上記の方法を使用して、宣伝されているページの主題の完全性は、「中国からの輸送と配送」というトピックの要求に関して完全ではなく、「機器」のトピックに関してかなり大きいと結論付けられました。 「物流：機器」ページの比率はそれぞれ「30：200」でした。 したがって、位置とトラフィックの両方は、機器に関連するリクエストのみでした。 同時に、「物流」が優先事項でした。 問題を解決するために、詳細な情報を取得するためにレターがYandexに書かれました。 しかし、プラトンからサイトの改善と開発に関する標準的な回答が寄せられましたが、一般的にはすべてが順調です。

解決策として、サイトで必要なトピックを開発するか、2つのトピックを異なるサブドメインに分離するかの選択がありました。 迅速な結果を得る必要があります。 TORは、「機器」の方向をサブドメインに転送するためにコンパイルされ、「物流」に関する情報はメインサイトに保存され、トピックに関連する新しいページを追加してリソースを開発しました。 変更の結果を図に示します。 機器のリクエストはサブドメインに正常に切り替えられ、肯定的な位置を占めました。 そして、物流と輸送のリクエストにテーマ別ページを追加した後、彼らはポジティブなダイナミクスを示し始めました。



図 6.トピックを育てた後のプロモーション結果



したがって、「サブドメイン+ドメイン」スキームにより、損失なくトピックを広めることができ、それにより各トピックの関連性を個別に高め、要求に応じて積極的なダイナミクスを達成することができました。



テキストの自然さの測定



Yandex.Catalogにアクセスするための要件が​​厳しくなりました。 最近、サイトをチェックするときに、Yandexの従業員が低品質のコンテンツを報告するという事実に直面する必要があります。 大規模なサイトでこの事実を手動で識別することは問題です。 したがって、現時点では、これらのテキストの特性を分析する作業が進行中です。 それらのいくつかについて説明します。 スパムテキストを受信する2つの主なアプローチは区別できます。ロシア語の文字をラテン文字に置き換えることと、意味のないコンテンツを生成することです。

最初のアプローチは、反転した周波数の助けを借りて変更された単語を特定し、経験的な方法で確立された臨界値と比較することによって明らかにされます。 ロシア語の文字を同様のラテン文字に置き換えて形成される単語は、使用統計の観点からはまれな単語です。 共通のコレクションで逆周波数を使用すると、そのような単語を識別できます。 テキストノードの各要素へ 値が割り当てられます 逆周波数関数fhの使用：（5）



反転周波数の関数として、（6）、（7）、（8）を考慮しました。



ここで、Dはコレクション内のドキュメントの数、DFは補題が発生するドキュメントの数、CFはコレクション内の補題の出現数、TotalLemmsはコレクション内のすべての補題の出現数です。 これらの選択肢のうち、実験およびグリンAの研究での最良の結果はICFによって示されました（7）。 ここで、検討中のテキスト内の補題の出現回数は、集合内のすべての補題の出現総数です。

関数fhの値が大きいほど、単語の出現頻度は少なくなります。 意味のある単語のICF間隔を取得するために、プログラムが作成され、その入り口でさまざまな内容のテキストが提出されました（テーマの影響の排除）。 プログラムは約500 MBのテキスト情報を処理しました。 処理の結果、ICF単語の逆頻度の辞書が通常の形式で取得されました。 単語の語彙化は、パーサーのmystem社であるYandex社を使用して実行されました。 すべての辞書エントリは、逆周波数の昇順でソートされました。 この辞書の分析の結果、重要な単語の間隔が得られました：[500; 191703]。

スパムテキストを検出するための基準を確立するために、臨界値Hcritも導入され、Hpは、経験的に確立された臨界値Hcritを超える特性を持つ単語の割合に対して計算されます：（9）



重要なマークとして、重要でない単語の割合が使用されます-50％（公式単語の頻度の最高の指標は37.60％であり、著者は平均で単語を発明しました-5.63％）。 1つのテキストでこのような語形成Hpを使用している割合が高い場合は、ドキュメントが生成されていることを示します。

ただし、このようなスパムテキストを含むサイトはほとんどありません。 2番目のアプローチはより一般的です。 マルコフ連鎖に基づいたジェネレーターによって生成された不自然なテキストのクラスがあります。 パブロフA.S.の研究に基づく このようなテキストを識別するためのモデルが提案されています。

文書DのテキストコンポーネントB全体には、多くの機能があります 著者が制御するのは難しい。 不自然なテキストの自動分類器を構築するには、機械学習で選択された機能が使用されます。 開発中のアプローチとして、決定木C4.5に基づくアルゴリズムがあります。 不自然なテキスト自体を決定するアルゴリズムは次のとおりです。



図 7.生成されたコンテンツを決定するアルゴリズム



決定木を取得するために、2000年の自然なテキストデータベースが用意され、2000年の不自然なテキストデータベースも利用できました。一部はインターネットで見つかり、一部は生成され、残りはサンプルドキュメントの同義語化または外国語からの翻訳によって取得されました。 元のコレクションはROMIP By.Webコレクションでした。 生成および同義語化ツールはインターネットで発見されました（TextoGEN、Generate The Web 2.2、SeoGeneratorなど）。

結果として得られたテキストのセットは、2つの等しい部分に分割されました。 最初のグループはトレーニングサンプルとして使用され、2番目の部分はテストセットでした。 両方のサンプルには、同じ数のサンプルドキュメントと生成されたテキストがありました。

学習プロセスでは、テキストごとに、テキストの自然さの決定に影響するパラメーターを推定するベクトルを作成するプログラムが作成されました。 Pavlov A.S.の研究によると 学習への最大の貢献は、テキストの多様性と品詞の使用頻度を決定するパラメータのリストにあります。 この表には、ロシア語のテキストの分類に最も価値のある機能のリストが示されています。各機能のFメジャーと機能のタイプが示されています。



表5.テキストの分類に最も価値のある機能





得られた各文書DのベクトルPを使用して、決定木が構築されました。 この手順は、分析プラットフォームDeductor Studio Academicバージョン5.2を使用して実行されました。 Deductorでは、ディシジョンツリーハンドラーは、分類問題を解決する修正C4.5アルゴリズムに基づいています。 その結果、157個のノードと79個のルールでツリーが構築されました。 図 結果のツリーの一部が表示されます。 取得したルールは、サイトのスパムテキストを決定するときにメインプログラムで使用されました。





図 8.決定木。 分析プラットフォームDeductor 5.2。





図 9.テキスト分析プログラムの結果



実際には、このアプローチは、オンデマンドでのダイナミクスの欠如の理由を見つけるのに役立ちました。 プログラムは、サイトカテゴリのすべてのページで生成されたテキストを検出しました。 調査中に、同じサイトの機械翻訳の内容を表しているが、英語版であることが判明しました。





図 10.カテゴリページのテキスト



これらのテキストを編集した後、プロモートされたページのみでさえ、優れたダイナミクスが得られました。TOP500からのリクエストは9週間ですぐにTOP10に到達しました。





図 11.変更されたテキストの例。





図 12.計算後数週間ごとのポジションの変更。



結論として、考慮される機能の開発は必須ではないことに注意してください！ グローバル検索エンジンの研究に役立ちます。 サイトを宣伝するときは、TOP分析に基づいてクエリを正確に処理できるアプローチを開発するだけで十分です。 これには多くの自然なツールがあります。

1）サイトで要求されている関連ページの数を確認し、競合他社と比較します-サイトのテキストの完全性を評価できます

2）保存されたコピーの詳細なクエリで強調表示された単語に注意を払います-テキストの作成、単語が互いにどの程度離れているかを支援します

3）クエリ言語を使用します。 たとえば、正確なリクエストの出力を引用符なしで分析することにより、テキストコンポーネントの問題を特定できます。

4）高度な検索を通じて、特定のサイトでリクエストを検索し、どのページとその理由がプロモートよりも高いかを分析します

5）Webmaster.YandexおよびWebmaster.Googleの結果、指標、GAデータも問題を特定し、それらと連携するのに役立ちます。

要求に応じた意図的な活動は、常に肯定的な結果をもたらします。



記事の著者：Neelova N.V. （Ph.D.、ソフトウェアインゲート部門長）、Polenova EA （チームリーダーインゲート）。