SEO用の一意のテキストを自動的に生成する実用的な側面

自分のサイトにコンピューターで作成されたコンテンツを掲載したい人にとって最も恐ろしい話は、検索エンジンの制裁です。 かつて、ユニークではないテキストや生成されたテキストを含むサイトのインデックスの作成が不十分であったり、一般的に禁止されているという事実も怖かったです。 同時に、誰もテキストの正確な要件を教えてくれませんでした。 一般的に、ユニークなコンテンツのテーマとウェブサイトのプロモーションにおけるその役割は、オカルトの知識に似ています。 次の「専門家」はそれぞれ、彼のページで恐ろしい真実を発見することを約束しますが、真実は開かれず、フォーラムでの多くの議論の本質は、たとえば、Yandexが魔法を使用して生成されたコンテンツを認識することです。 これらの言葉ではありませんが、ポイントはこれです。



最近、顧客がサイト上の製品の説明を作成するタスクで私たちにアプローチしてきたので、この問題をより詳細に調査することにしました。 自動的に書かれたテキストを決定するために存在するアルゴリズム、テキストがWebスパムとして認識されないようにするためにどのようなプロパティを使用する必要がありますか？



近年、検索エンジンでサイトを宣伝するためにSEOの専門家が推奨する一般的なツールは、一意のテキスト（および一般的にテキスト）になりました。 ちょうど最近、サイト所有者は、著者のテキストの価格は常に1000文字あたり1〜3ドルの範囲であったため、人々がテキストを注文するのはかなり高価であることを認識しました。 オンラインストアの所有者は、3〜4千アイテムの控えめな品揃えであっても、テキストに対して300,000ルーブルを支払う必要があることは明らかです。品揃えは更新される傾向があるため、これは1回限りの費用ではありません。 当然、サイトのページに自動的に生成された製品説明が表示されます。



検索エンジンが実際に自動生成されたコンテンツを認識する方法...

...もちろんわかりません。 しかし、秘密の方法の一般原則はそうではなく、主要な情報源に目を向けると、可能性の境界についていくつかの合理的な結論を引き出すことができます。 まず、Yandexの科学出版物のサイトに、有望なタイトル「不自然なテキストの検索」[1]を含む記事があります。 「不自然なテキストのペア[単語]の分布に違反する必要があります。言語ペアのまれで特徴のない数は標準に比べて過大評価され、頻出ペアの数は過小評価される必要があります」。 したがって、私たちの前に、メソッドの最初のグループがあります、つまり、あるテキストの統計的パラメーターを「自然な」テキストのパラメーターと比較することについて何らかの形で話しているのです。 ペア分布に加えて、より大きなn-gram頻度を使用できます。 より現代的な作品[2]では、最初に各単語が品詞（SUSH-PRI-SUSH-GLAG）によって決定される場合、n-gramの頻度は単語自体ではなく品詞の頻度で使用され、次に受信したn-gramの頻度が計算されます。 。



元のテンプレートは人間によって作成されたため、自然な特性を持っているため、テンプレートテキスト内の商品のパラメーターを置き換えることによって生成される最も原始的な説明は、このフィルターを回避します。 もちろん、テンプレートが出産とケースの対応に一致し、「10,399ルーブルの洗濯機を購入する」などのように動作しない場合に限ります。



ニューラルネットワーク言語モデルなどの最新の言語モデルに基づくジェネレーターも、このフィルターを回避する可能性が非常に高いです。一般的なルールでは「ある言語モデルによって生成されたテキストをキャッチするには、より高度な言語モデルを使用する必要があります」 より良い言語モデルは不足している可能性があり、膨大な計算コストが必要になるため、インターネット上の自動テキストを決定するためにそれを使用することは単純に非合理的です



しかし、直接適用された言語モデルに基づいたジェネレーターは、意味のないテキストを生成します。 たとえば、そのような「給湯器の信頼性」アリストンは「ボイラーの評価を勝ち取りました」。



オンラインストアの所有者は通常、給湯器でボイラーの評価を獲得することを望まないため、単純な定型文が好まれます。 しかし、潜在的な困難もあります。



テンプレートテキストは、単一のコピーで使用できる限り、自然と区別できません。 伝播されると、これらはマシンテキストを決定するためのメソッドの2番目のクラスの主題になります。 この方法の本質は、特定の製品のパラメーターが挿入される部分を除いて、テンプレートに基づいて書かれたすべてのテキストが互いに類似していることです。 それは、英国文学で「ほぼ二重」と呼ばれるものであることが判明しました-ほぼ複製。 検索エンジンは、シングルのよく知られた方法とその高度なオプションを使用して、それらを決定できます[3]。 追加のシノニマイザーを使用すると、考えられない言語構成要素の数が増え、アルゴリズムの最初のグループでテキストが認識可能になります[1]。 さらに、シノニマイザー専用のアルゴリズムがあります-辞書に同義語が存在するすべての単語をテキストから削除し、残りの単語のテキストを比較します[4]。



したがって、機械で生成されたテキストの認識アルゴリズムは、一方ではかなり複雑ですが、魔法やスーパーインテリジェンスは含まれていません。 必要に応じて、テキストテスト用に複製することができますが、これには時間がかかりますが、一般的には難しくありません。



哲学の隠れ家

私たちは、マシンのテキストを悪と見なし、インターネットを詰まらせ、ユーザーを欺くつもりの人々がいるという事実に直面しています。 しかし、特定の製品をパラメーターで説明する意味のあるテキストを参照することはほとんど正当ではないと考えています。 結局のところ、これらのテキストには、製品に関する正しい情報が事実上含まれています。 そのようなテキストをページに配置することにより、そのコンテンツを検索エンジンに指定するため、これは検索エンジンや購入者にとってのデマではありません。



練習：機械テキストはどれくらい良いですか？

上記を考慮して、我々はテキストを生成するためのハイブリッドな方法に決めた。 その中で、最初にテキストの基本フレームが手動で定義された文法を使用して生成されます（ 詳細については、前の記事を参照してください ）。次に、ニューラルネットワークアナライザーが上部で使用され、意味を失うことなく特定の単語のクラスを挿入または削除できる場所を特定するようにトレーニングされます。 もちろん、生成文法を手動で作成する必要があるため、ソリューションのコストは増加しますが、それでもコピーライターのテキストを注文するよりも桁違いに小さいままです。 今、品質の面で。

読みやすさ ：



「 Grohe Allureのミキサーは、新しいAllureコレクションの19386000をシンクし、わずか5800ルーブルしかかかりません。 フラッシュマウントにより、使いやすさが向上し、もちろん設置も容易になります。 GROHE SilkMoveシステムにより、非常に簡単にレバーを動かすことができます。 StarLightテクノロジーによって生成された特別なコーティングは耐久性を生み出し、長年にわたって製品の良好な外観を維持します。 2つの取り付け穴を使用した垂直取り付けは非常に便利であり、問​​題は生じません。 ここでの流出量は220 mmです。 オフセットサイズを大きくすると、製品の使用がはるかに簡単になります。 製品全体の総重量は1.955 kgです。 このモデルの最小圧力は1 barです。 電気に接続する必要はありません。 Grohe Allure 19386000ミキサーを購入する主な理由は、長年にわたって実証された送料無料で信頼性が高く、有名なドイツブランドの品質です 。



もちろん、これは素晴らしい文学作品ではありませんが、明らかな欠陥はありません。 テキストが自動的に生成されると判断することは、人間にとっても困難です。

一意性：

a）グローバルな一意性。 グローバルな一意性の本質は、発行時にインターネット上で利用可能な他のすべてのテキストに対してテキストが一意であることです。



グローバルな一意性をテストするために、よく知られているtext.ruサービスを使用しました（客観性を目的として、この記事ではアルゴリズムのデータではなく、サードパーティのサービスからの分析結果を示します）。







ご覧のとおり、グローバルな一意性に問題はありません。 サービスはスペルに文句を言いますが、エラーを考慮すると、「Allure」、「StarLight」、およびサービスが知らない他の特定の用語の使用に関連しています。 注：これは、お客様のウェブサイトにテキストを投稿する前のデータです。 今、もちろん、これらのテキストはそこにあります。



b）ローカルの一意性。 すでに述べたように、あまりにも類似したテキストは、検索エンジンによって互いに重複していると見なされる可能性があります。 これを行うために、backlinkmanager Webサイトでホストされているサービスを使用しました（シングルアルゴリズムを使用した他の比較でも同様の結果が得られます）







一致するパラメーターを持つ非常に類似したモデルに関する2つのテキストは5％しか類似しておらず、その類似性は主に製品名「Grohe Alira sink mixer」の言及によるものです。 同じ一連の製品パラメータを異なる方法で記述する方法は多くないため、これは良い結果であると考えます。



検索エンジンのインデックス作成

機械で生成されたテキストのインデックスは、サイトreviewdot.ruの例で以前に確認されました。 このサイトのページには固有のコンテンツはありません。 したがって、最初はこのサイトはYandexインデックスに登録することを望みませんでした（10万ページを超えるページのうち、約1300ページがインデックスに登録されていました）。 テンプレートテキストを最初に投稿し（インデックス内のページ数が5000に増加）、次に上記のようなより複雑な生成アルゴリズムを使用して、これと懸命に戦いました。 現在、Yandexインデックスには約70,000ページがあります。 状況に正確に影響したもの-Yandexアルゴリズムの努力または変更は、私たちには知られていません。 それにもかかわらず、事実は残ります-自動生成されたテキストを含むページは、検索エンジンのインデックスに正常に分類されます。 SEOスペシャリストのすべての懸念にもかかわらず、このサイトが検索エンジンの制裁の対象にならなかったというモンスターは現れませんでしたが 、これには理論的な理由がありました。







さらに、インデックスにはページだけでなく、特定の自動生成されたテキストもあります。これらは、検索行にこれらのテキストの断片を入力することで確認できます。





そのため、少なくとも、マシン生成コンテンツを使用して、特定のリクエストに関連するページを作成できます。



もちろん、無意味なテキストを投稿したのではなく、ユーザーにとって有用な情報を含むテキストを投稿したことに注意してください（reviewdotは、異なるサイトに残された製品のレビューを分析し、マークされた長所と短所の簡単な概要をユーザーに提供します）。



また、ページでユーザーが費やした時間とテキストを比較した結果、ユーザーがページで費やした時間などのパラメーターにテキストがプラスの影響を与えることがわかりました。 どうやらこれの理由は、必要な情報を含むページに一貫性のあるテキストが表示された場合、そのテキストの読み取りを開始し、テキストの読み取りに時間がかかるためです。



結論の観察

現在までに、テキストは顧客に引き渡され、ウェブサイト（ オンライン配管店g-online.ru ）に投稿されています。希望する人は、テキストに慣れることもできます。 これまでのところ、生成されたテキストは「自然な」テキストと非常に似たものにすることができ、ビジネスへの正しいアプローチでサイトに悪影響を与えないと結論付けることができます。 生成されたテキストは、サイトページのインデックス作成を改善し、特定のクエリに関連するページを作成します。 ジェネレータをプログラムして、指定されたキーワードまたはフレーズを正確に指定されたテキストサイズの割合で指定することができます。



文学

1. E.A. グレチニコフ、G.G。 A.A.グセフ クスタレフ、AM レイゴロツキー。 不自然なテキストの検索//第11回全ロシア科学会議「デジタルライブラリ：高度な方法と技術、電子コレクション」の議事録-RCDL'2009、ペトロザヴォーツク、ロシア、2009年。

2. Aharoni、Roee、Moshe Koppel、およびYoav Goldberg。 機械翻訳されたテキストの自動検出および翻訳品質の推定//計算言語学協会（短編論文）の第52回年次会議の議事録、289〜295ページ、米国メリーランド州ボルチモア、2014年6月23〜25日。

3. GS Manku、A。Jain、およびA. Das Sarma。 Webクロールのほぼ重複を検出します。 2007年5月の第16回WWW会議の議事録

4. Zhang、Qing、David Y. Wang、およびGeoffrey M. Voelker。 「Dspin：Web上で自動的にスピンされたコンテンツの検出。」NDSS、2014年。