ロシアのオープンデータポータルdata.gov.ruからデータを抽出するためのWebスクレーパーの開発

Webページからデータを取得し、構造化された形式で保存することが必要になる場合があります。



Webスクレイピングツールは 、Webサイトからデータを抽出するように設計されています。 これらのツールは、インターネットからデータを取得しようとしている人に役立ちます。 Webスクレイピングは、多くのページを開いてコピーペーストを行うことなくデータを受信できるようにする技術です。 これらのツールを使用すると、新しいデータまたは更新されたデータを手動または自動で取得し、後で使用するために保存できます。 たとえば、Webスクレイピングツールを使用すると、オンラインストアから製品と価格に関する情報を抽出できます。



Webスクレイピングツールを使用するための可能なシナリオ：

• マーケティング調査のためのデータ収集
• さまざまなサイトから連絡先情報（電子メールアドレス、電話番号など）を抽出して、サプライヤ、メーカー、またはその他の関係者の独自のリストを作成します。
• StackOverflow（または質問と回答がある他の同様のサイト）からソリューションをダウンロードして、さまざまなサイトからデータをオフラインで読み取ったり保存したりできるようにして、インターネットアクセスへの依存を減らします。
• ジョブまたはジョブ検索。
• さまざまな店舗での製品価格の追跡。

コードを1行も記述せずにWebサイトからデータを抽出するツールは多数あります。「 10オンラインデータを抽出するWebスクレイピングツール 」。 ツールは、スタンドアロンアプリケーション、Webサイト、またはブラウザプラグインにすることができます。 独自のWebスクレーパーを作成する前に、既存のツールを学習する必要があります。 少なくとも、これは多くの人がすべての仕組みを説明する非常に優れたビデオチュートリアルを持っているという観点からは有用です。



Webスクレイパーは、Python（PythonによるWebスクレイピング ）またはR（ 実用的なビジネス上の問題を解決するためのRの使用例 ）で作成できます。



C＃で記述します（ただし、使用するアプローチは開発言語に依存しないと考えています）。 すべてが簡単かつ簡単に機能すると信じて、私が犯した厄介な間違いに特別な注意を払おうとします。



私がそれをやった理由とそれをどのように使用したかはここで読むことができます：

• オープンデータサイトdata.gov.ruからデータをダウンロードする
• オープンデータポータルdata.gov.ruのデータセットの分析
• ロシアのオープンデータポータルdata.gov.ruのデータセットを使用する

そのため、ロシアのオープンデータポータルdata.gov.ruからデータセットに関する情報を抽出し、それをcsv形式の単純なテキストファイルとしてさらに処理するために保存します。 データセットは、ページごとにリストの形式で表示され、各要素にはデータセットに関する簡単な情報が含まれています。







詳細情報を入手するには、リンクをたどってください。







したがって、データセットに関する情報を取得するには、次のものが必要です。

1. データセットを含むすべてのページを閲覧します。
2. データセットに関する簡単な情報と、完全な情報を含むページへのリンクを抽出します。
3. すべての情報を含む各ページを開きます。
4. ページから完全な情報を抽出します。

私がやらないのは、HttpClientまたはWebRequestを使用してページを個別に読み込み、自分でページを解析することです。



ScrapySharpフレームワークを使用します。 ScrapySharpには、実際のWebブラウザーをエミュレートできる組み込みのWebクライアントがあります。 また、ScrapySharpを使用すると、CSSセレクターとLinqでHTMLを簡単に解析できます。 このフレームワークはHtmlAgilityPackのアドオンです。 あるいは、たとえばAngleSharpを検討してください 。



ScrapySharpの使用を開始するには、適切なnugetパッケージをプラグインするだけです。



これで、組み込みWebブラウザーを使用してページをロードできます。

// - ScrapingBrowser browser = new ScrapingBrowser(); // - WebPage page = browser.NavigateToPage(new Uri("http://data.gov.ru/opendata/"));
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

WebPage型のオブジェクトとして返されるページ。 このページは、HtmlNode型のノードのセットとして表されます。 InnerHtmlプロパティを使用すると、要素のHtmlコードを表示でき、InnerTextを使用すると、要素内のテキストを取得できます。



実際、必要な情報を抽出するには、目的のページ要素を見つけて、そこからテキストを抽出する必要があります。



質問：ページコードを見て、必要な要素を見つける方法



ブラウザでページコードを表示するだけです。 一部の記事で推奨されているように、 Fiddlerなどのツールを使用できます。







しかし、Google Chromeで開発者ツールを使用する方が便利だと思いました。







コード分​​析を容易にするために、Chrome用のXPath Helper拡張機能をインストールしました。 ほとんどすぐに、リスト内のすべての要素に同じCSSクラス.node-datasetが含まれます。 これを確認するには、コンソール関数の1つを使用してCSSスタイルを検索できます。







指定されたスタイルはページ上で30回検出され、データセットに関する簡単な情報を含むリストアイテムに正確に対応します。



.node-datasetを含むすべてのリスト項目をScrapySharpで取得します。

 var Table1 = page.Html.CssSelect(".node-dataset")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テキストが含まれるすべてのdiv要素を抽出します。

 var divs = item.SelectNodes("div")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実際、必要なデータを取得するための多くのオプションがあります。 そして、「何かうまくいったら、触らないで」という原則に基づいて行動しました。



たとえば、拡張情報へのリンクは、about属性から取得できます。

 <div rel="dc:hasPart" about="/opendata/1435111685-maininfo" typeof="sioc:Item foaf:Document dcat:Dataset" class="ds-1col node node-dataset node-teaser gosudarstvo view-mode-teaser clearfix" property="dc:title" content="       ()     ()">
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ScrapySharpでは、これは次のように実行できます。

 String link = item.Attributes["about"]?.Value
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実際、リストからデータセットに関する情報を抽出するために必要なのはこれだけです。



すべてがうまくいくように見えますが、そうではありません。



エラー番号1。 データは常に同じであり、エラーは発生しないと考えています（ダウンロードしたデータの品質については、すでにここに書きました。 オープンデータポータルdata.gov.ruからのデータセットの分析 ）。



たとえば、一部のデータセットには「推奨」というテキストがあります。 この情報は必要ありません。 チェックを追加する必要がありました。

 if (innerText != "") { items.Add(innerText); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

受信した情報を通常のリストに保存します。

 List<string> items = new List<string>()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

データにエラーがあるためです。 型付き構造を作成する場合、これらのエラーをすぐに処理する必要があります。 私は簡単に行動しました-データをcsvファイルに保存しました。 次に彼らに何が起こるかは今のところ本当に気になりません。



すべてのページを見るために、私は自転車を発明しませんでした。 リンク構造を見てください：

 <div class="item-list"><ul class="pager"><li class="pager-first first"><a title="  " href="/opendata?query=">« </a></li> <li class="pager-previous"><a title="  " href="/opendata?query=&page=32">‹ </a></li> <li class="pager-item"><a title="   30" href="/opendata?query=&page=29">30</a></li> <li class="pager-item"><a title="   31" href="/opendata?query=&page=30">31</a></li> … <li class="pager-item"><a title="   37" href="/opendata?query=&page=36">37</a></li> <li class="pager-item"><a title="   38" href="/opendata?query=&page=37">38</a></li> <li class="pager-next"><a title="  " href="/opendata?query=&page=34"> ›</a></li> <li class="pager-last last"><a title="  " href="/opendata?query=&page=423"> »</a></li> </ul></div>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

直接リンクを使用して、目的のページに移動できます。

 http://data.gov.ru/opendata?query=&page={0}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、次のページへのリンクを探すこともできますが、それでは、どのようにページを並行してリクエストしますか？ 必要なのは、合計で何ページあるかを判断することだけです。

 WebPage page = _Browser.NavigateToPage(new Uri("http://data.gov.ru/opendata")); var lastPageLink = page.Html.SelectSingleNode("//li[@class='pager-last last']/a"); if (lastPageLink != null) { string href = lastPageLink.Attributes["href"].Value; …
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

単純なXPathクエリを使用して、必要なアイテムを取得します。



以前、Chrome Developer Toolsコンソールでテストしました。







すべてのページを調べて、データセットに関する簡単な情報を抽出し、完全な情報（データセットパスポート）を含むページへのリンクを取得できます。



間違い＃2。 サーバーは常に目的のページを返します。



すべてが意図したとおりに機能すると信じるのは単純です。 インターネット接続が失われ、最後のページが削除される可能性があります（私が持っていた）、サーバーはDDOS攻撃であると判断する可能性があります。 はい、ある時点でサーバーが私に応答しなくなりました-要求が多すぎます。



エラーを無効にするために、次の戦略を使用しました。

1. サーバーがページを返さない場合は、n回繰り返します（無限ではなく、ページが存在しなくなる可能性があります）。
2. サーバーがページを返さなかった場合は、すぐに要求せずに、kミリ秒のタイムアウトを作成します。 そして、同じページの次のエラーで、それを増やします。
3. すべてのページを一度にリクエストするのではなく、少し遅れてリクエストします。

そして、私が本当にすべてのページを取得することができた唯一の方法。



データセットのパスポートを取得することは簡単な作業であることが証明されています。 すべての情報は表にありました。 そして、右の列からテキストを抽出する必要がありました。

 List<string> passport = new List<string>(); var table = page.Html.CssSelect(".sticky-enabled").FirstOrDefault(); if (table != null) { foreach (var row in table.SelectNodes("tbody/tr")) { foreach (var cell in row.SelectNodes("td[2]")) { passport.Add(cell.InnerText); } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

各データセットには評価があり、これはポータルユーザーの投票によって決定されます。 スコアはテーブル内ではなく、個別のpタグ内にあります。



スコアを取得するには、.vote-current-scoreクラスでpタグを見つけます。

 var score = PageResult.Html.SelectSingleNode("//p[@class='vote-current-score']");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

問題は解決しました。 データが取得されます。 テキストファイルに保存できます。



結果のWebスクレーパーを完全にテストするために、単純なRESTサービスでラップし、その内部でバックグラウンドブートプロセスを起動します 。







そして、それをAzureに投稿しました。



プロセスを制御しやすくするために、シンプルなインターフェイスが追加されました。







サービスはデータを取得し、ファイルとして保存します。 さらに、サービスは抽出されたデータを以前のバージョンと比較し、追加、削除、変更されたデータセットの数に関する情報を保存します。



結論



Webスクレイパーの作成は、困難な作業ではありません。



Webスクレイパーを作成するには、Htmlとは何か、CSSとXPathがどのように使用されているかを理解するだけで十分です。



タスクを非常に容易にする既製のフレームワークがあり、データ抽出に直接集中できます。



Google Chrome開発者ツールは、何をどのように抽出するかを把握するのに十分です。



データを抽出する方法には多くのオプションがあり、結果が達成された場合、それらはすべて正しいです。