-私はパンツ、備品のサプライヤにアクセスしています...（ここでは誰もが自分のものを挿入します）、オンラインストアを開いてみませんか、それはクールです。
したがって、同じ製品を販売しているサイトが何千もあり、インターネットのスペースがますます混雑しています。
別の1001店舗がパンツを販売していることがわかりました。 お金の代わりに、原則として、起業家はseo、schmeo、およびコンテンツ広告の不均衡なコストという形で頭痛の種になります。
オンラインストアは、表示される前に曲がります。
私は別の道を行くことを提案します。
目的（別名理論）：
取引のために空いているニッチを検索します。
理想的な状況需要-は、提供-はそうではない、安価なコンテキスト広告。
だから-私たちは「ゴールド」を探しています。
Webデータマイニングについて話しましょう-インターネットからデータを抽出し、受信したデータを分析します。
ソースデータ：
理論をテストするための私の実験では、インターネットユーザーが検索エンジンで探しているものに基づいて構築します。
現時点では、このようなデータを取得するためのソースがいくつかあります。
-さまざまなソースから収集されたキーワードデータベース（古いデータベースは無料で見つけることができます）。
-検索エンジンYandexおよびGoogleからのヒント。
-Yandexテクノロジー「ライブ」-リアルタイムのユーザーリクエストを表示します。
検索エンジンからデータを取得するのはかなり難しいタスクであるため、まずはインターネット上を3千万フレーズの小さなベースで歩きましょう。
初期データの準備：
-さらに分析するために、すべてのフレーズを小文字に変換します
-不要な文字からフレーズを削除します（[a..Z] [a ... I] [0..9]のみに関心があります）
-マットとポルノ、および「無料」、「ダウンロード」、「急流」などの他の「ストップ」ワードを削除します。
その後、ベースは約30％カットされます。
必要なデータ：
したがって、需要と供給を特徴付けるパラメーターに関心があります。
ソース：
-Yandex.Direct API（予算予測：CreateNewForecast、GetForecast）
（無料）
-Google Adwords API（trafficEstimatorService Forecast）
（API for moneyを使用）
-Yandex.Wordstat（http://wordstat.yandex.ru/）
（無料、不安定、すぐに禁止されたIPで、多数のリクエストがあります）
- * Yandex。Demand（http://direct.yandex.ru/spros）
（新しいサービス、それほど速くない、より安定した禁止）
- * Yandex.Directによる検索（http://direct.yandex.ru/search）
（ここからキーワードごとに広告の数を取得できますが、禁止は通知されていません）
アスタリスクは、理論のテストに使用したサービスを示しています。
データ収集：
ステージ1
APIによる収集プロセスは長く、リソースを大量に消費するため、最初にYandex.Direct検索を使用します。 各フレーズは、広告の数と一致します。
ここで最初の落とし穴が出ました。 広告の数は時刻によって異なります。
したがって、データベースを2回調べる必要があります。
初回は24時間の集まりです。
2番目-結果のサンプル（広告<1）によると、午前9時から午後6時まで。
ステージ2。
広告の数が0と1のフレーズのリストがあると、検索エンジンでフレーズリクエストの数を取得します。 ステージ2の開始時のフレーズの数は、初期ボリュームの10％です。
プロキシサーバーのリストを介して情報の収集を並列化します。プロキシサーバーには、接続速度と禁止の兆候を示すプロキシ検索およびランキングシステムが記述されています。
結果：
理論が確認されました。 空いているニッチがあり、まったく異なる領域にあります！ 実験はまだ進行中です。
（証明：サッパーブレード）
しかし：
-出口で大量のゴミを受け取りました。それを手動で調べて、リストから収益化されたリクエストを抽出しました。
-ストップワードのリストは大幅に拡張されており、ネットユーザーがどのようなマックを探しているか想像できませんでした。
-プロセスをさらに自動化するには、追加のフィルターを追加する必要があります（まだどのフィルターを使用しているかはわかりません）が、少なくとも分類子は追加します。
-ダイレクト率とアドワーズ率の分析を高速化します。
-「ライブ」Yandexを使用して独自のベースを構築します。
-最終的に利益を得る:)