サイトの解析-ロシアでは一般的に合法ですか？

定義の1つによれば、解析は情報の解析です。 インターネットプロジェクトの情報を収集および処理する特定のタスクに関与していない人にとって、これは何の意味もありません。 そして、まさにその定義は、一般的な用語でのみ、数億人の人々と数千万のロボット（仮想的ではあるが現実的ではない）が世界中で毎分行う膨大な量の仕事を示しています。 しかし、このタスクは人にとって一般的なことです-オンラインでチケットの価格を比較し、店舗のサイトで適切な電子機器を選択すること...家に最も近いスーパーマーケットの便利なモバイルアプリケーションで価格とプロモーションを見て、私たちは誰もパーサーと呼ぶことさえ考えません。





それにも関わらず、ビジネス解析は存在し、機能し、そしてもちろん、倫理的、法的、技術的、財政的など、多くの考慮レベルで活発な議論の対象となっています。



この記事は明確な意見を表明せず、アドバイスも秘密も明かしません-ここでは、構文解析に関する特定の記事に関する最も興味深いコメントの例として、いくつかの意見のみを検討します（5万ビューと400以上のコメント！）Habréでは、 Webプロジェクトの解析の経験。 言い換えれば、私たちは多くの時間を費やし、最も興味深い読者のコメントをまとめて分類しようとしました...いわば世俗的な知恵:)



したがって、解析について：

「技術の問題。」 幻想的なプロキシとその場所。

解析自体の考えが自然であるように（「隣人」で何が起こっているかを見るのは常に興味深いです）、その実装の基本的な方法は同じくらい簡単です。 知りたい場合は、尋ねますが、大きなデータ配列の実際の値（商品の価格、その説明、注文可能なボリューム、ホットディスカウントなど）を知りたい場合は、頻繁に「尋ねる」必要があります。 このデータを手動で収集しようとすることは誰にも起こり得ないことは明らかです（おそらく最も人道的な方法ではないインスピレーションを受けた南国の勤勉な子供たちの大規模なチームを除きます）。そのため、額にシンプルで効果的なソリューションが使用されています。ボットを収集し、関心のある指標のターゲットサイトを「タップ」し、便利な形式で「メモ帳」に回答を注意深く書き留め、収集したデータを分析して、繰り返します。



ここに、読者と私たちからの「構文解析手法」へのアプローチをいくつか示します。

1. 「Selenium farm-and go！」（Selenium / SplinterのようなBeautifulSoupのようなソリューションを備えたヘッドレスブラウザを意味します）。 読者によると、彼はRRC / MRCのポリシー（推奨小売価格）に違反しないように、売り手サイト（彼女は輸入業者）を監視するために、ドッカー群に小さなサイトを妻に書きました。 著者によると、すべてが安定して動作し、構文解析の経済は収束します-「すべてのコストはそれぞれ3ドルで4ノードです」。 確かに、誇りに思っている著者は、解析で約1,000の製品と数十のサイトしか持っていません。
2. 「私たちはChromiumを起動しましたが、すべて問題ありません。4〜5秒で1つの製品を取得できます...」 1人の管理者がサーバーの急激な負荷を喜んでいないことは明らかです。 このサイトはもちろん、この目的のために興味のあるすべての人に情報を提供するために必要ですが、「あなたはたくさんいますが、私は一人です」、したがって、特に興味を持っている人は無視されます。 問題はありません。Chromiumが助けになります-ブラウザが「問い合わせのみ」モードでサイトをノックしている場合は、順番に待たずに実行できます。 実際、解析タスクの一般的な配列では、htmlページの解析はケースの90％で行われ、「特に難しいケース」（同じYandex.Marketがcaptchaを要求するなど、サイトが積極的に保護されている場合）で処理されます。
3. 「LTEルーター/モデムからの純粋なDIYプロキシ。」 検索エンジンの解析に適したクリーンプロキシを設定するための非常に有効な方法があります。3G/ 4Gモデムファームまたはランダムなダーティプロキシの代わりに白いプロキシを購入することです。 このような産業解析に使用されるプログラミング言語は1日あたり300サイト（そして正解は.Net！:)です。 実際、インターネットにはオープンプロキシリストを備えたサイトがたくさんあり、その50％が非常に機能しています。これらのサイトからプロキシリストを解析することは、他のサイトを解析できるようにそれほど難しくありません。
4. セレンを支持する別のケース：「私は自分で構文解析を行います（しかし、RuNetでは構文解析を行いませんが、愛用のupwork.comで注文をキャッチします。 比率はわずかに異なりますが、75〜25前後です。しかし、全体的に、もしそれが怠lazであるか難しい場合、誰もまだセレンをかわしていません:)しかし、私が協力しなければならなかった数百のサイトのうち、ターゲットデータを取得するための画像。 通常、htmlにデータがない場合、それらは常に何らかのjsonに取り込まれます（実際、以下の例を既に示しています）。
5. 「Python Tamers。」 また別の読者の事例：「以前の研究では、prisma.fiやverkkokauppa.comから3〜5個の製品まで、さまざまなサイズの1日180以上のサイトでPython / Scrapy / Splashを使用しました。 昨年末に、Ubuntu Serverを搭載したHetzner（https://www.hetzner.com/dedicated-rootserver/ax60-ssd）からこのようなサーバーをレンタルしました。 ほとんどのコンピューティングリソースはまだアイドル状態です。
6. 「WebDriverがすべてです。」 可能な限り信頼性の高い一般的な自動化（解析が既に行われている場合）に従事（QAタスク）。 優れたワークステーション、1ダースまたは2ブラウザーの並列-出力は非常に邪悪で高速な脱穀機です。

ホバリングする「紳士のセット」-4台の仮想マシン、無制限のトラフィック、それぞれに4つのプロセッサ、8 GBのメモリ、Windows Server ...これまでのところ、条件付きで50サイトの新しいバッチごとに十分-あなた自身の仮想マシンが必要です。 しかし、それはサイト自体に大きく依存しています。 Visual StudioにはSystem.Netもあり、実際にはWindowsにインストールされているInternet Explorerを使用します。 それも動作します。

「（解析から）自分の心を守る方法は？ まさか、とにかくクロールします ''

ビジネスのアイデアを分析し、私たちのビジネスについて話すことは、常に私たちに投げかけられます。

1. 多くのSEOサービスと同様に、Yandex解析を発行します。 「これに対するより多くの需要、より多くのお金があります。 確かに、彼らは基本的にSEO分析システム全体を販売します。「しかし、配信を解析しませんでした-質問しませんでした。100件のリクエストの直後にキャプチャがあります。きれいなプロキシが必要です。それらを取得するのは難しいか、高価です...それ自体、大きなプレーヤーは持ちやすいとは言えず、読者はこれを私たちと共有します（GoogleとYandexは解析しません）。 経験によると、Yandex、Google、および同様の大企業は、データセンターサブネットを持つ特定のベースを持っています（結局、プロキシデータベースが更新され、主要なプレーヤーはそれらをサブスクライブして禁止します）。 したがって、データセンターに発行されたIPアドレスで発生したプロキシネットワークは、CAPTCHAおよびその他の奇抜な問題の発行を完全に禁止されています。 結果として、ボットネットの所有者からのプロキシの購入と同様の「ダート」を伴う違法なオプションのみが存在します。この場合、実際のユーザーIPがあります。 たとえそうであっても、そのような企業では、あなたが追跡できるサイト（たとえば、ヒットカウント）でしばらく「クロール」済みの「決済済み」Cookieが必要です。 しかし、彼らはどのようにパーサーと睡眠エリアのNATを区別するのでしょうか？ 条件付き100のリクエストはまったくありません。
2. 解析からの保護：「偉大で恐ろしい」ことを考慮から取り除き、私たちは「単なる人間」に焦点を合わせます。 構文解析に携わっている人がいる場合、これを行わないようにしようとする人がいるに違いありません。 生きている人々と遊ぶことはより興味深いです。ライバル関係の要素が現れ、それぞれの側が互いに相手をだまそうとします。 そして、誰もまだ情報を手動で収集するつもりはないので、彼らはボットを生きている人に最も似たものにし、実際のユーザーからのリクエストに応答し続けながらこれらのボットをより効率的に認識できる人を演じます-サイトはビジネスを支援するように設計されています、これに反発されます。 そして、ビジネス効率のタスクのフレームワーク内にとどまり、リソースの合理的な配分と、実際にはそれに対する解析と対抗策の手段の収益性を考慮せざるを得ません。
   
   
   
   
   • 構文解析（「学生」を除く）から身を守ることはできませんが、それに費やすためのしきい値（時間とお金の両方）を増やすことはできます。 その結果、私たちが保護するデータ（サイトのいくつかのセクション）は、解析するのではなく、購入したのと同じように既製のデータベースを購入する方が簡単です。 パーサーのIPアドレスのテーブルはネットワーク上にあり、入り口でこのリストにキャプチャを表示することは問題ではありません。 同様に、mail.ruのようにidとクラスを生成することも問題ではなく、大きな費用を必要としません。 Googleの新しいキャプチャは、通常、ロボットがそうであるかどうかを非常に正確に判断します。 疑いがある場合は、ユーザーを切り取ってキャプチャを要求するのは簡単です。 最後に、ボットを捕まえたハニーポットの餌をキャンセルした人はいません。 まあ、古典的な、テキスト内の文字を置き換える、マスクを作るなど
   • そして、ここで私たちは自分自身に反対します：おそらく、個々に、これはすべて助けにはなりませんが、一緒になってあなたの人生を非常に複雑にし、それが不便になります。 さらに、これらの手法はすべて大きな費用を必要としません。 確かに、これらの手法はすべてコストがかかるため、本質的に保護はありません。 動的プロキシ、インド人によるキャプチャを認識するサービス、および明確に定義されたアクションアルゴリズムを備えたセレン。 達成できることはすべて-パーサーの開発にはさらに費用がかかり、誰かを怖がらせるかもしれませんが、ターゲットサイトが「Horns and Hooves」のローカルオフィスの1.5ページのカタログではない場合、コストを上げることはほとんどありません。
   • 防御するときは、常に実際の訪問者の典型的な行動モデルに加えて、「白い」ボット（Yandex、Googleなど）を適切に識別するシステムを使用します。 そして、実際の訪問者に適応するためには、一連の標準遷移マップを知る必要があります。 そして、構文解析では不十分な単純なプロキシプール。 システムは100％を保護しませんが、タスクを解決します-統計を表示することにより、サイト全体がスキャンされたタイミングを把握できます。 パーサーまたは検索エンジンがこれを行います。 ただし、検索エンジンはrobots.txtに応答しますが、パーサーは応答しません。

「ああ、すごい。 すべての人が賢明にすべてをすれば... 10倍の失業者がいると思います。 あなたの年齢に十分です。」

「私は環境に住んでいますか？ はい、でも無駄です」

1. 問題の検討の道徳的および倫理的な面には、解析の技術的および法的側面の両方に関連する重要なポイントがあります。 robots.txtファイルは、その簡潔さと名前の象徴であり、読者と私たちがさまざまな方法で解釈しています。
   
   
   
   
   • ボットの「ドライバー」としてのあなたの活動は、訪問したサイトのrobots.txtをたどるのとまったく同じくらい「倫理的」です。 「製品ページが閉じない」などの仮定に基づいているのではなく、要求されたURLに許可マスクと禁止マスクを文字通り押し付けます。 robots.txtが見つからない-あなたの都合で解釈してください。 存在しますが、あなたはそれに違反します-間違いなく、あなたは悪意を持ってサイトを使用しています。 もちろん、robots.txtには法の効力はありませんが、実際に「焼く」のであれば、それが間違いなく弁護士を通過するという事実ではありません。」
   • ロボットと交渉することは不可能であるという事実にもかかわらず、店舗では「写真は禁止されています」というハングサインがあり、これは違法であるため、人よりも簡単な場合があります。 そして非倫理的。 「まさにそのような伝統。 robots.txtはテクニックです。 それは倫理に関するものではありません。 解析したくないことを示したい場合は、account.habr.com / info / agreementのようなセクションを作成します。 そのような制限が合法かどうかはわかりませんが、少なくとも自分の希望を人間の言語で表現する（またはrobots.txtに言及する）ことで、倫理について話すことができます。「私たちの弁護士は反論します。」
   • 解析と情報のさらなる使用について同時に考えます。 「Robots.txtは解析についてではなく、さらなる検索（検索結果など）に関するものです。 データを誰にも受け取らないようにするには、データを見ることができる人の輪を制限する必要があります。 窓にカーテンがない場合は、裸にしないでください。 窓やandいところを見るのは意図的かもしれませんが、カーテンがなければ何を主張しますか？」
   • 倫理の解析は中立です。 取得した情報を使用することは非倫理的かもしれません。 一般に、純粋に倫理的な観点からすれば、誰もが個人情報や特別な情報ではなく、法律で保護されていない公開情報を受け取る権利を持っています。 価格は確かな公開情報です。 説明も。 説明は著作権の対象となる場合があり、許可なく投稿することはできません。 ただし、サイトを解析して自分の公開サイトを作成しても、価格のダイナミクスや競合他社の比較を反映する場合でも、倫理に違反することはありません。 それは社会的に有用な情報を提供するため、倫理的です。」
2. 「手で収集することは可能ですが、ロボットで解析することはできません。」デューデリジェンスとスキルを備えた「悪」は正当化できます。 「私はずっと前に構文解析に従事していましたが、常に非常に合法的かつ道徳的に正しい構文解析を行うように頼まれました。 数回、仲介者は卸売業者の解析（商品の販売）を要求し、卸売業者自身は気にしませんでしたが、APIの開発に投資しませんでした（または技術的な理由でできませんでした）。 かつて中国の店の仲介者が統合を要求しましたが、そこでは中国の店のAPIがめちゃくちゃで制限されていたため、解析によって部分的に情報を受け取る必要がありました。 サイトとフォーラムの作成者と所有者が、データベースを「クランプ」した無料サイトから移行したいと思ったとき。 彼はまた、文学コンテストのサイトとそのフォーラムを統合し、新しいストーリーを追加すると、トピックがフォーラムに自動的に表示されるようにしました（技術的な理由により、他の方法ではできませんでした）。

「弁護士は電話したの？ 見積もりを解析できません "

権力の源泉を決定する際にどちらを選択するかに関係なく、お金か真実か-お金がどこから見つけられるかは、真実を見つけることがますます難しくなっていることは明らかです。 この記事の範囲を超えて、法律自体とその代表者を含むすべてのものを取得する可能性について議論するために、コメントで提起されたいくつかの法的側面を検討します。

1. 「のぞきから盗難までが1つのステップです。」 禁止されていないものがすべて許可されていても、読者は「鍵穴を覗くのは少なくともugいです。クライアントがスパーシャルを自分のものとして放っておけば、これは直接の窃盗です。」 もちろん、ビジネスでは誰もがこれを行うことは明らかです。 しかし、まともな社会では、これについて沈黙を保つのが今でも慣習です。」しかし、誰かのために構文解析し、彼ら自身のように構文解析されたものを配ることは、2つの大きな違いです：」あなたは柔らかさと寒さを混同します。 解析サービスを提供しています。 しかし、メーカーなど、たとえば武器を殺したことを非難できるのとまったく同じです。 私たちはビジネスをしていますが、ビジネスには1つのルールがあります。それは合法かそうでないかです。 私のポイントは...もし顧客が私たちのところに来て、データを得るために多くのお金を払おうとするなら、それは本当に悪いことです...」
2. 「メディアサイトの申請書を作成しました-苦情の原因になっています。」 Forbesサイト、解析、Google Playでのアプリケーション-何が問題になる可能性がありますか？ 「ある時、私はフォーブスのウェブサイトに応募することにしました。 サイトから記事を受け取るために-ページを解析しました。 すべてを自動モードで構成し、Android用のアプリケーションを作成しました。 アプリケーションを市場に投稿しました。 1年後、弁護士が私に連絡し、私が著作権を侵害しているため、アプリケーションの削除を要求しました。 私は主張しませんでした。 Forbes自体が、サイトからの独自の記事のアプリケーションを持っていないのは残念です。 サイトのみがあります。 そして、彼らのサイトは遅く、長い​​間ロードされ、広告でハングしていました...」
3. 「私のデータベースは保護されている私の仕事です！」 著作権は、（数十万の既存の議論に加えて）数十ページの議論に専念できる別の概念ですが、言うまでもなく、それも間違っています。 読者はコンセプトを発表しました：「誰かが商品のデータベースを作成しました。 情報の検索、この情報の体系化、データベースへのデータの配置に多くのリソースを費やしました。 競合他社のリクエストに応じて、このベースを解析し、同じ競合他社に金銭的に提供します。 倫理的な問題はないと思いますか？ 法の支配については、ロシア連邦ではどのようになっているのかわかりませんが、ウクライナでは、データベースが著作権の対象になる場合があります。
   
   
   
   ただし、サービスまたは製品を使用する責任は、誰が/どのような目的で取得するかにあります。 データ収集サービスを提供します。 そして、このサービスのために私たちはお金を求めます。 データを自分で販売することはありません。 ところで、私はすべてのクライアントに、たとえば説明を使用すると法律に違反する可能性があると警告しています。」
4. 「正式に、あなたは正しいですが、私はあなたに関する記事を見つけました！」ロシア連邦刑法（第146条）は、著作権侵害を「犯罪」として分類することを許可する違反の範囲のみを説明しています。 権利自体は民法に記載されており、「サイトがダウンするかどうか」という問題が問題なく生じるように、行為が「犯罪」、定期的な解析として分類できる範囲です。 しかし、側面は重要です。
   
   
   
   
   • そこで、「大きなサイズ」は、解析されるページの数ではなく、金銭にあります。 お金の構文解析（およびその規則性）を著作権侵害（！）としてどのように評価しますか？ そして、そのような場合に通常どのように行われ、映画のコピーごとに何十万ドルの罰金が発生する可能性がありますか？ 「損失利益」は、対応する係数で計算されます。 いくつかの契約から計算することができます-あなたから合法的に、そしてここで「ダンス」から同じ情報を購入するのにどれくらい費用がかかりますか。 ただし、初心者の場合は、最初に販売する必要があります（パブリックドメインに投稿しないでください）。 リスクはありますが、条件付きConsultant-Plusの商用ライセンスの費用を知っていますか？ 十数の基本法則を超えて登ると、すぐにその非常に商用版を購入する申し出に出くわすでしょう。
   • 私たちの話は間違いなく刑事事件ではありません（罰金と損害を混同しないでください。フーリガンでビール1本を破りました。損害は30ルーブル、罰金は最大1000ルーブルで、民事訴訟で少なくとも1兆ドルの「利益の損失」を訴えますが、もはや罰金ではありません）。 あなたは価格をまったく売りません、専門家は何を書きますか？ 具体的には、「良い弁護士が問題なく引き寄せる」のではありません。

要約： 「-構文解析は著作権侵害とどのように等しくなりましたか？ -なし。 違反は、私たちに構文解析を命令し、あなたのサイトにコンテンツをダンプすることです。 サイトを置くことは別の記事です。」



Maxim Kulgin、 xmldatafeed.com