サイト解析に関する真実、または「すべてのオンラインストアがそれを行う」

この記事では、サイトの解析とその主なニュアンスについて最も簡単に説明しようとします。 私の会社は3年以上サイトを解析しており、毎日約300のサイトを解析しています。 私は通常、これについてソーシャルネットワークで公然と書きます（さらに、ロシアの最大規模の店舗の解析結果を無料で公開しています）。これにより、ユーザーからの激しい議論や不承認が生じます。 コメントを読んだ後、PMを調べて、投稿の下のコメントで私たちを非難した同じ人々からの協力の申し出でメッセージを読むのは面白いです:)記事全体は、最もよく寄せられる質問と正直な回答（技術資料ではなく、マーケティング資料）の形式になります）

1.解析とは何ですか？

定義上、解析とは、非構造化情報、その変換、および構造化形式での出力の自動化されたコレクションです。 かなり無害ではありませんか？ しかし、社会はこれを10代のマスターベーションとして非常に奇妙に扱っています-多くの人がそれをしました:)が、誰もそれについて公に話しません。 さらに、解析はしばしば眉をひそめられ、やや恥ずかしいと見なされます。 理由は、ほとんど同様の場合と同様に、間違った認識にあります。



秘密をお伝えします。誰もが解析に携わっています...少なくとも、市場のすべての主要なプレーヤー。 数年前、Vedomostiの記事の1つで、M-video、Svyaznoy、Citylinkの代表者は、FASの関心に応えてこれについて公然と話しました（ こちらを参照）。

2.解析の目的は何ですか？

まず、解析の目的は、価格の「インテリジェンス」、品揃え分析、および商品在庫の追跡です。 「誰が、何を、どれだけ、どのような量で売れますか？」解析が答えるべき主な質問はありますか？ より詳細には、競合他社の範囲または同じYandex.Marketを解析して、最初の3つの質問に答えます。



商品の流通には多少複雑です。 ただし、Wildberries、Lamoda、Leroy Merlinなどの企業は、日々の販売（注文）または製品の残高に関する情報を公然と提供しており、これに基づいて販売の一般的なアイデアを形成することは難しくありません（これらのデータが歪んでいるという意見をよく耳にします）意図的に-たぶん、そうではないかもしれません）。 今日、明日、翌日など、1か月間の在庫の量を確認します。スケジュールは既に準備ができており、位置ごとの数量の変化のダイナミクスが作成されています（実際の商品の売り上げ）。 ダイナミクスが高いほど、売上高は大きくなります。







サイトLeroy Merlinの残党を毎日分析することにより、商品の売り上げを調べる可能性のある方法。



もちろん、ポイント間の商品の移動を参照できます。 しかし、合計すると、例えばモスクワを例にとると、その数はあまり変わらず、地域間での商品の実質的な移動を信じることは困難です。



状況は販売量と同様です。 もちろん、多く/少数の形で情報を公開している会社もありますが、これでもあなたは働くことができ、ベストセラーのポジションは簡単に追跡できます。 特に、安いポジションを切り捨てて、最も価値のあるものだけに集中する場合。 少なくともこのような分析を行いました-興味深いことに判明しました。



次に、コンテンツを取得するために解析が使用されます。 ここでは、「グレーの合法的な色合い」のスタイルの物語がすでに行われています。 多くの人は、構文解析はコンテンツの盗難であるという事実に取りつかれていますが、これは完全にそうではありません。 解析は単なる自動化された情報の収集であり、それ以上のものではありません。 たとえば、特に透かしを含む写真の解析は、コンテンツの盗難や著作権侵害です。 そのため、彼らは通常これを行いません（私たちの仕事では、画像へのリンクを収集することだけに制限しています...それ以外の場合は、写真の数を数えたり、製品のビデオの可用性を追跡したり、リンクを提供したりするように依頼することもあります）。



コンテンツの収集に関しては、製品の説明がある状況はより興味深いです。 最近、大規模なオンライン薬局の50サイトでデータを収集するように注文を受けました。 品揃えと価格に関する情報に加えて、医療機器の説明を「スパース化」するように求められました。各パックに同封されているものは、いわゆるものです。 事実情報、すなわち 著作権法に該当する可能性は低いです。 その結果、顧客は手動の指示セットではなく、指示テンプレートをわずかに調整するだけで済み、それでサイトのコンテンツの準備が整います。 しかし、はい、公証人によって認定され、特にコンテンツ泥棒の一種のasとして作られた薬の著者の説明があるかもしれません:)。



OZON.RUやLabyrinth.ruなどを使用して、書籍の説明も収集することを検討してください。 ここでは、法的観点から状況はそれほど単純ではありません。 一方で、そのような説明の使用は、特に各製品カードの説明が公証されている場合、著作権を侵害する可能性があります（私は強く疑います-それは認定されていない可能性があります、例外は彼らが裁判所を通してコンテンツ泥棒をドラッグしたい小さなリソースです）。 いずれにせよ、この状況では、この説明の独自性を証明するために多くの汗をかかなければなりません。 一部のクライアントはさらに先へ進みます。同義語を接続し、常識を維持しながら「オンザフライ」で説明の単語を変更します（良いか悪いか）。



構文解析の別のアプリケーションは非常に独創的です-「自己解析」。 ここではいくつかの目標を追求しています。 そもそも、サイトのコンテンツで何が起こっているかを追跡しています。リンク切れ、説明の欠落、商品の複製、イラストの欠如などです。 パーサーの作業の30分-これで、すべてのカテゴリとデータを含む完成したテーブルができました。 便利に！ 「自己解析」を使用して、サイトの残高と倉庫の残高を比較することもできます（サイトへのアップロードの失敗を追跡する顧客もいます）。 私たちの仕事で遭遇した「自己解析」のもう1つのアプリケーションは、YandexマーケットにアップロードするためのWebサイトからのデータの構造化です。 手動で行うよりも、これを行う方が簡単でした。



広告は、たとえばCyan-e、Avitoなどでも解析されます。 ここでの目標は、不動産業者やツアーオペレーターへの拠点の再販、およびあからさまな電話スパム、リターゲティングなどです。 Avitoの場合、これは特に明白です。 ユーザーの携帯電話を含むテーブルがすぐにコンパイルされます（Avitoはユーザーの携帯電話を保護のために置き換え、画像として公開するという事実にもかかわらず、着信通話からどこにでもアクセスすることはできません）。

3.「要約の内容は？」またはHH.RUの解析

最近、Headhunterの解析要求が関連するようになりました。 確かに、最初は人々に「ヘッドハンターベース」を販売するように求められます。 しかし、彼らがすでに私たちに何の基盤も持っていないことを理解しているなら、私たちは彼らのプロファイルでの解析について話し始めます（「パスワード付き」）。 これは構文解析の特異な方向であり、率直に言って、それは私たちにとってあまり面白くないですが、それについて話す価値はあります。



繊細さは何ですか？ クライアントは自分のアカウントへのアクセスを提供し、データを収集するタスクを自分のニーズに合わせて設定します。 つまり 彼はすでにHHデータベースへのアクセスに対して支払いを行っており、私たちとの契約に署名して、彼の利益のために、そして彼のアカウントの下で情報を自動的に収集するタスクを設定します。 HHが異常なアクティビティを検出すると、アカウントはブロックされます。 そのため、データ収集における人間の活動を可能な限りシミュレートしようとします。



HH（私が知る限り、APIの実験に「成功」​​して失敗した）が地域ごとにタブレットのデータを提供（販売）した場合、たとえばモスクワで現在働いているすべてのマーケティングディレクターの連絡先は、誰も私たちのところに来なかったでしょう。 その間、人々は「ペン」でこれをしなければなりません、彼らは私たちのところに来ます。 結局のところ、このようなテーブルがある場合、コールドコールという広告スパムに関与する方がはるかに便利です。



繰り返しますが、HHデータベースはありません。各クライアントのニーズ、アカウント、責任に応じてデータを収集するだけです。 また、提供契約の違反は、解析者によるサイトの使用とは関係ありません。 私たちとの契約に署名することにより、クライアントは約450人の意思決定者の実行連絡先を受け取り、それをサーバー上に置いてから、彼の営業部門がそれをどうするかを決定します。 ええ、そのような基盤があれば、「スパム」になります。 冗談です:)



個人的には、パスワードを解析する見込みはないと思います。 オープンリソースの解析は別の問題です。 すべてを設定して絶えず解析したら、収集したすべてのデータへのアクセスを再販します。 これはより有望です。

4.解析は合法ですか？

ロシアの法律には構文解析を禁止する記事はありません。 ハッキング、DDOS、著作権で保護されたコンテンツの盗難は禁止されており、解析は1つでも他でもなく、3番目でもないため、禁止されていません。



一部の人々は構文解析をDDOS攻撃と認識し、それを疑います。 ただし、これらは完全に異なるものであり、逆に解析するときは、ターゲットサイトの読み込みを可能な限り少なくし、ビジネスに害を及ぼさないようにします。 健康的な寄生の場合のように、私たちはビジネスに「ひづめを落とす」ことを望みません。そうでなければ、「寄生する」ことは何もありません。



通常、彼らはロシアのトップ300から500サイトから、大規模なサイトを解析するように求めます。 このようなサイトでは、通常、トラフィックは1か月あたり数百万であり、さらに多い可能性があります。 このような背景に対して、1秒間に1つまたは2つの製品を解析することはほとんど目に見えません（より頻繁に解析するのは意味がありません。製品あたり1〜2秒が大規模サイトに最適な速度です）。 したがって、アクションにDDOS攻撃のヒントはありません。 まれに、たとえば、1日あたりBERU.RUサイト全体を更新するように依頼されることはほとんどありません。率直に言って、やり過ぎであり、サイトの負荷が高すぎます。通常、3〜4日かかります。



解析は、サイト上で自分の目で見ることができ、手にコピーできるもののコレクションにすぎないことを思い出させてください。 したがって、すでに収集された情報を持つアクション、つまり 顧客自身の行動。 それはただ、人が長い間、ゆっくりとエラーでこれを行い、パーサーが-素早く、間違いを犯さないことです。 AliExpressまたはWildberiesからデータを収集する場合はどうすればよいですか？ そのようなタスクは単に人間の力を超えており、構文解析が唯一の方法です。



確かに、彼らは最近、州の組織のウェブサイトを解析するように頼みました-私が間違っていなければ、裁判所。 そこでは、すべての情報が公開されていますが、（念のため）拒否しました。 :)

5.「なぜ私たちを解析するのか、私たちは顧客なのか」、または解析と価格監視の違いは何ですか？

価格監視は、解析の最も一般的な分野の1つです。 しかし、彼にとってそれほど単純ではありません。この場合、私たちは仕事をするだけでなく、クライアント自身も仕事をしなければなりません。



価格監視を注文する際、競合他社だけでなく顧客も解析することをすぐに警告します。 これは、商品と価格で同様のテーブルを取得するために必要であり、自動的に更新できます。 ただし、このようなデータだけでは、相互接続されるまで価値がありません（いわゆる商品の一致）。 異なるサイトの一部のポジションを自動的に相関させることができますが、残念ながら、現時点では「機械」はエラーなしで保証されるほど良くなく、人よりも優れている人はいません（たとえば、地域の非常勤従業員でリモートで作業するなど）します。



誰もがサイトにバーコードを表示した場合、それは素晴らしいことであり、すべての「バンドル」を自動的に行うことができます。 しかし、残念ながら、これはそうではありません。また、企業が違えば製品名も異なります。



そのような作業を1回行う必要があり、その後、必要に応じて定期的に再確認し、小さな調整を行うのは良いことです。 リンクがある場合は、そのようなテーブルをすでに自動的に更新できます。 さらに、通常、人々はすべての価格を監視する必要はありません。条件付きで3〜5千のポジションがトップにあり、些細なことは興味がありません。 また、この地域のオペレーターは、月に約10,000ルーブルでそのような作業を簡単に行うことができます。



私の意見では、このケースで最も成功した正しいケースは、競合他社の結果の価格表を直接1C-ku（または他のERPシステム）にアップロードすることです。そこで、すでに比較を実行できます。 そのため、価格監視は、アナリストの日常業務で最も簡単に実装できます。 そして、分析がなければ、誰もそのような解析を必要としません。

6.解析から身を守るには？

まさか。 そして、解析から身を守る価値はありますか？ しません 動作する100％の保護はまだありません（より正確には、私たちはまだ会っていません）。したがって、私は自分自身を守ろうとすることにはあまり意味がありません。 解析に対する最善の保護は、完成したテーブルをサイトに配置して書き込むことです。ここから取得し、数日ごとに更新します。 人々がこれをすれば、私達はパンを持っていないでしょう。



ところで、彼らは最近、大規模ネットワークのITディレクターに電話をかけました-解析に対する保護をテストしたかったのです。 なぜそうしなかったのか、彼に直接尋ねました。 技術の専門家として、彼は構文解析に対する保護は保存せず、アマチュアを怖がらせるだけであることを完全に理解しています。 しかし、解析でお金を稼ぐ企業は、この方向の研究活動に非常に余裕があります-長く苦しい時間のために新しい保護を理解し、最終的にそれを回避するために...



原則として、誰もが同じ種類の保護を使用し、そのような研究は複数回役立つでしょう。 そのため、マーケティング部門にはこれに対する準備ができていないことがわかりました：「なぜ競合他社の生活を単純化するのですか？」 公平に言うと、「学生」がpythonを学習し、「動く」ものすべてを急上昇させることで十分に役立つことは注目に値します。



ところで、YandexとGoogleの両方が解析に取り組んでいます。彼らはサイトにアクセスしてインデックスを作成し、情報を収集します。 誰もが明らかな理由でYandexとGoogleがサイトのインデックスを作成することを望んでおり、誰も解析されたくない:)

7.「ここを無料で見た...」またはフライトの話

テスト解析の興味深い順序でアプローチされると。 同社は航空券を扱っており、最も人気のあるいくつかの目的地の競合他社の価格に関心がありました。 タスクは簡単ではありませんでした、なぜなら フライトの代替と比較をいじらなければなりませんでした。 同じフライトの「Onetwotrip」、「Aviasales」、「Skyscanner」の価格がわずかに異なっていることが興味深いことがわかりました（スプレッドは約5〜7％です）。



このプロジェクトは私にとって非常に興味深く思えたので、ソーシャルネットワークに投稿しました。 驚いたことに、このポストでの議論は非常に積極的で、その理由がすぐにはわかりませんでした。 それからロシアのチケット販売のマーケットリーダーの会社の一つのゼネラルディレクターが私に手紙を書いて、状況は一掃されました。 そのような企業のチケット価格のリクエストは支払われることが判明しました。 彼らは国際的な有料サービスから情報を取得します。 そして、寄生負荷に加えて、解析もそれらにとって経済的です。



いずれにせよ、これらのサービスのチケットを個人的に探している場合、誰も支払いを要求しません。また、一般の人々はさまざまなオプションをソートしながら多くのリクエストを行います...一般的に、そのようなビジネス上のジレンマがあります:)

8.「シェフパーサーのレシピ」。 またはどのように作業しますか？

解析のすべての側面をよりよく理解するには、「インナーキッチン」のベールを開く価値があると思います。



それはすべて注文から始まります。 顧客が自分で連絡することもあれば、電話することもあります。 これは、価格を監視する注文で特によくわかります。 この場合、競合他社だけでなく顧客自身も解析する必要があります。 したがって、私たちは時々、何らかの方法で解析する人に電話をかけ、それについて公然と話し、サービスを提供します-仕事はすでに私たちによって行われています。 最初は非常に否定的な反応がありますが、2、3日経つと感情が静まり、顧客自身が電話をかけます。 まだ誰を解析していますか？」



訪問したリソースの非常に多くの所有者と解析すると、感情が発生します。 鍵穴を覗くのに似ているため、最初は否定的です。 それから興味に発展し、そして必要性の認識に発展します。 ビジネスマンは賢い人です。 感情が無になり、冷酷な計算が残っているとき、疑問が常に生じます。「それとも、どこかで未発達だったのかもしれませんが、これも必要ですか？」



これらの感情のおかげで、私たちは非常に積極的に成長し、発展しています。 現時点では、1日に約300サイトを解析しています。 通常、私たちは8〜15個のサイトを注文し、各サイトは個別に接続する必要があるため（リソースに約4〜5時間かかります）、接続の複雑さに応じて1つを解析するのに1か月あたり5〜9,000ルーブルの費用がかかります。 難点は、一部が保護されていることです。 格闘は、特定の寄生負荷のように構文解析ではなく、利益をもたらさないが、時々あなたはいじくり回さなければならない。



いずれにせよ、商品の価格が写真としてサイトに公開されている場合でも、すべてがパリッシュされています:)解析に手を試したい人のために、Stolichki Pharmacyのウェブサイトと価格設定を試してみることをお勧めします。







Stolichki薬局チェーンのオンラインストア-価格は内部フォントで書かれており、それらを解析するための解決策の1つは画像の形成と認識です。 少なくともこれは行います。



収集されたデータはクライアントに送信されます。 通常、それらを独自のクラウドに配置し、常に更新し、クライアントにAPIアクセスを提供します。 突然何かデータに問題が生じた場合（3〜4か月に1回程度）は、まれに発生し、すぐに私たちに電話をかけて書き込み、できるだけ早く問題を解決しようとします。 このような障害は、新しい保護またはブロックがインストールされたときに発生し、それぞれ調査とプロキシを使用して解決されます。 別のケースでは、サイト上で何かが変更されると、ボットはそれがどこにあるかを理解しなくなり、プログラマーはそれを再構成する必要があります。 しかし、すべてが解決され、顧客は通常、そのような問題を理解して処理します。



私たちの場合、顧客の身元は一度も明らかにされていないことに注意してください-私たちはこれに非常に敏感であり、秘密保持契約の条項をキャンセルした人はいません。 解析には非難できるものはありませんが、多くは恥ずかしがり屋です。



要約すると、成長中のビジネス、広範囲にわたる商品の取引、または急速に変化する環境での仕事（特定のカテゴリのクリエイター、履歴書、およびインターネット上の他の「掲示板」のコンテンツに対するスタッフの雇用や特定のサービスの提供など）または後で（顧客またはターゲットとして）解析に遭遇します。



PS：この記事が気に入ったら、技術的な側面-保護をバイパスする方法、使用する容量、書き込む内容（spoiler .net）などについて書きます。



Maxim Kulgin、 xmldatafeed.com