Node.jsおよびPaaSを使用した更新データのWebスクレイピング

これは、Node.jsを使用したWebスクレイピングに関するシリーズの4番目の記事です。

1. Node.jsを使用したWebスクレイピング
2. Node.jsおよび問題のあるサイトでのWebスクレイピング
3. Node.jsでのWebスクレイピングとボット保護
4. Node.jsを使用した更新データのWebスクレイピング

過去の記事では、ページの受信と解析、再帰的なクリックスルー、リクエストキューの整理と微調整、Ajaxサイトの分析、サーバーエラーの処理、セッションの初期化、ボットに対する保護を克服する方法が検討されてきました。

この記事では、定期的に更新されるデータのWebスクレイピング、変更の追跡、クラウドプラットフォームを使用したスクリプトの実行やデータの保存などのトピックに焦点を当てています。 Webスクレイピングのタスクと完成したデータの処理の分離、および更新されたサイトで作業する場合に避けるべきことにさらに注意が払われます。

この記事の目的は、タスクの設定から最終結果の取得まで、スクリプトを作成、展開、使用するプロセス全体を示すことです。 いつものように、フリーランスのやり取りでよく見られる実際の問題が例として使用されます。

問題の声明

顧客がBuzzbuzzhome Webサイトでプロパティデータを追跡したいとします。 彼はボルチモアの街にしか興味がありません。 各物件のオファーについて、顧客はオファーページへのリンク、オブジェクトの名前、および価格情報（または価格の代わりにサイトに書かれているもの）を見たいと考えています。

顧客は定期的に情報を更新する機能を必要としています。 実際、彼はいつでもExcel互換ファイルを取得する機会を必要とします。Excel互換ファイルでは、現在のオファーのみが存在し、すべてのオファーの中で新しいオファー（最後に要求されたファイルにはなかった）がマークされ、前回から変更されます。 顧客は、価格情報のみが変更されることを確信しています。

顧客はスクリプトをネットワーク上に配置し、Webインターフェースを介して作業したいと考えています。 彼はどこかに無料のアカウントを持ち、クラウドでスクリプトを自分で実行し（ブラウザーのボタンをクリック）、CSVをダウンロードすることに同意します。 データのプライバシーは彼を悩ませませんので、パブリックアカウントを使用できます。

サイト分析

Buzzbuzzhome Webサイトでは、2つの方法で関心のある情報を取得できます。メインページの検索フィールドに「 Baltimore 」を入力するか（ポップアッププロンプト「 Baltimore、Maryland、United States 」が表示されます）、カタログでBaltimoreを見つける（メインメニューの「Cities」項目、選択州のリストから「 メリーランド 」を選択し、都市のリストから「 ボルチモア 」を選択します。 最初のケースでは、マーカー付きのマップとAjaxを介してロードされたリストを取得し、2番目のケースでは、退屈なリンクのリストを取得します。

サイトにシンプルな旧式のカタログがあるという事実は大成功です。 そうでない場合、多くの困難を克服する必要があります。Ajaxトラフィックの分析ではなく、データ自体について話しています。 事実、地図の横のリストには、ボルチモアのオファーに加えて、地図に載ったばかりのゴミがたくさんあります。 これは、検索が住所ではなく地理座標によって実行されるためです。 さらに、座標による検索結果には、アドレスが正確または不完全に指定されていないオブジェクトが含まれていないことが多いことを考慮する価値があります（このサイトがこれを行わない場合でも、今後そうしないことを保証することはできません）。 ガベージをアドレスで簡単にフィルタリングできる場合、欠落しているオブジェクトについて明確な解決策はなく、顧客に何をすべきかを確認する必要があります。

幸いなことに、Baltimoreがリストされている住所のすべてのオブジェクトを取得する別のページがWebサイトのカタログにあります。 個々のオブジェクトのページは簡単に解析されます（少なくとも名前と価格情報）。

データ検索

データの更新について考えなければ、タスクは非常に簡単です。 リンクを再帰的に通過できないため、最初の記事よりもさらに簡単です。 不動産のオファーへのリンクのリストを取得し、キューに入れ、オファーの各ページを解析し、結果の配列を取得します。 たとえば、次のように：

var needle = require('needle'); var cheerio = require('cheerio'); var tress = require('tress'); var resolve = require('url').resolve; var startURL = 'https://www.buzzbuzzhome.com/city/united-states/maryland/baltimore'; var results = []; var q = tress(work); q.drain = done; start(); function start(){ needle.get(startURL, function(err, res){ if (err) throw err; var $ = cheerio.load(res.body); $('.city-dev-name>a').each(function(){ q.push(resolve(startURL, $(this).attr('href'))); }); }); } function work(url, cb){ needle.get(url, function(err, res){ if (err) throw err; var $ = cheerio.load(res.body); results.push([ url, $('h1').text().trim(), $('.price-info').eq(0).text().replace(/\s+/g, ' ').trim() ]); cb(); }); } function done(){ //  -     results // ,       console.log(results); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これにより、正しいデータを取得できることを確認できます。 このため、次に何をするかを知る必要さえありません。 この場合、データがほとんどないことが重要です。つまり、各行を個別に処理するのではなく、1つのステップですべて処理することができます。

データ保存

おそらく、VPN、PaaS（Herokuなど）、またはNode.jsサポートを使用した共有ホスティングなどのホスティングオプションの詳細な分析を省略することができます。 これについてはすでに多くのことが書かれています。 人件費を大幅に削減できる、スクレーパー専用のPaaSソリューションがあるという事実からすぐに始めることができます。 screen-scraperのような、微調整の解析のみを必要とする「ユニバーサルスクレーパー」ではなく、独自のスクリプトを起動するための本格的なプラットフォームについてです。 最近まで、このニッチのリーダーはScraperWikiでしたが、現在このサービスは読み取り専用モードに切り替えられており、徐々に別のものに変わりつつあります。 このニッチの新しいリーダーであるMorph.ioサービスを呼び出します。 便利で、無料で、非常に簡単に展開できます。 Morph.ioユーザーは、512メガバイトのメモリと24時間のスクリプトに収まるように求められますが、これが誰かに十分でない場合は、個別に調整してみてください。 このサービスには多くの利点があります。スクレイピング用に研ぎ澄まされた既製のWebインターフェイス、便利なAPI、毎日の自動起動、Webフック、アラートなどです。 Morph.ioの主な欠点は、プライベートアカウントがないことです。 たとえば、秘密の環境変数にあらゆる種類のパスワードを保存できますが、スクリプト自体と受信したデータはすべてのユーザーに表示されます。

（ すでにHaphでMorph.ioに関する記事がありましたが、これはRubyのコンテキストのみです ）

Morph.ioでは、データはSQLiteに保存されるため、ストレージの種類の選択について困惑する必要はありません。 現在のディレクトリにdata.sqlite



データベースを作成すると、スクレイパーページからダウンロードできます。 また、スクレイパーページにdata



と呼ばれるテーブル（最初の10行）が表示され、CSV形式でダウンロードできるようになります。

現在、変更の追跡を無視している場合、データストレージは次のように実装できます。

 var sqlite3 = require('sqlite3').verbose(); // ...  ,      function done(){ var db = new sqlite3.Database('data.sqlite'); db.serialize(function(){ db.run('DROP TABLE IF EXISTS data'); db.run('CREATE TABLE data (url TEXT, name TEXT, price TEXT)'); var stmt = db.prepare('INSERT INTO data VALUES (?, ?, ?)'); for (var i = 0; i < results.length; i++) { stmt.run(results[i]); }; stmt.finalize(); db.close(); }); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、何らかのORMを使用することもできますが、これはすでに好きなものです。

クラウド展開

Morph.ioのWebサイトはGitHubを介した認証を使用し、スクレーパー自体はそこからのgitリポジトリに基づいて作成されます。 つまり、GitHubで顧客アカウントを作成し、そこに正しいファイルをアップロードすると、Morph.ioでスクレーパーを作成し、実行してデータを保存できるようになります。

リポジトリに3つのファイルをアップロードするだけで十分です： scraper.js



、 package.json



およびREADME.md



。 README.md



のテキストは、スクレイパーのメインページに表示されます（すべてがGitHubのようなものです）。 package.json



、依存関係を指定するだけです。 Node.jsのデフォルトバージョンが適切でない場合は、Herokuでサポートされているバージョンの1つをすぐに指定できます。 スクレイパーの最初の起動時に、サービス自体はメインファイルの拡張子によって、スクレイパーがNode.jsで記述されていることを理解し、環境全体を構成し、依存関係モジュール自体をインストールします。 Morph.ioサーバーが過負荷になると、スクリプトはキューに入れられますが、通常は長くありません。

変更データの追跡

スクレーパーの観点から、変化するデータを追跡するタスクは単純と複雑に分けられます。

単純なタスクとは、ソース内のデータの変更が破棄されるよりも著しく遅い場合です。 クエリを最適化および並列化する必要がある場合でも、これはまだ簡単なタスクです。 また、単純なタスクでは、変更データの次のバージョンを1回のスクリプト実行で破棄できます。 これは毎回発生するわけではありませんが、主なことは「再開」を実装する必要がないことです。 単純なタスクは、衝突がないこと、または実際に顧客を心配しないことを前提としています。 簡単なタスクでは、Webスクレイピングを使用して次のバージョンのデータを取得し、必要なことを静かに実行できます。

困難なタスクは、スクレイピングを放棄して別のエンジニアリングソリューションを選択する必要がある場合です。

私たちのタスクは簡単です。 1つのストリームでも、1〜2分でデータを取得できます。 データの更新は1日に数回しか必要ありません（顧客に確認する価値がありますが、通常は必要です）。 たとえば、2つの異なるテーブルに古いバージョンと新しいバージョンを保存して、それらをマージできます。

別のテーブルを取得しましょう（ new



と呼びましょう）。 作成し、スクレイピング、メリー、および削除の結果で埋めます。 data



テーブルに、たとえば、レコードが新しい場合は ' new



'、レコードが古いが以前のバージョンから変更された場合は ' upd



'など、書き込むstate



列を追加します。 特定の指定は、最終的なCSVで十分に読まれている限り、重要ではありません。 マージする前に、列全体がNULL



リセットされNULL



。

テーブルのマージは、3つのSQLクエリで実行されます。

 INSERT INTO data SELECT url, name, price, "new" AS state FROM new WHERE url IN ( SELECT url FROM new EXCEPT SELECT url FROM data );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 DELETE FROM data WHERE url IN ( SELECT url FROM data EXCEPT SELECT url FROM new )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 UPDATE data SET state = "upd", price = ( SELECT price FROM new WHERE new.url = data.url ) WHERE url IN ( SELECT old.url FROM data AS old, new WHERE old.url = new.url AND old.price <> new.price )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

「第2言語を学ばないように」Node.jsを選択した人は、最小限のSQLで対処し、Javascriptでメインロジックを実装することができます。 基本的に、これは全体的な問題ですが、考慮すべき点が1つあります。低電力ホスティングでのスクリプトの安定性は、データを操作するために特別に設計された言語を使用する場合、はるかに高くなります。 リクエストは最も難しいものではなく、スクリプトがクラッシュする頻度が低い場合、顧客は満足します。

対応するスクリプトフラグメントは次のようになります。

 var sqlite3 = require('sqlite3').verbose(); // ...  ,      function done(){ var db = new sqlite3.Database('data.sqlite'); db.serialize(function(){ db.run('DROP TABLE IF EXISTS new'); db.run('CREATE TABLE new (url TEXT, name TEXT, price TEXT)'); var stmt = db.prepare('INSERT INTO new VALUES (?, ?, ?)'); for (var i = 0; i < results.length; i++) { stmt.run(results[i]); }; stmt.finalize(); db.run('CREATE TABLE IF NOT EXISTS data (url TEXT, name TEXT, price TEXT, state TEXT)'); db.run('UPDATE data set state = NULL'); db.run('INSERT INTO data SELECT url, name, price, "new" AS state FROM new ' + 'WHERE url IN (SELECT url FROM new EXCEPT SELECT url FROM data)'); db.run('DELETE FROM data WHERE url IN (SELECT url FROM data EXCEPT SELECT url FROM new)'); db.run('UPDATE data SET state = "upd", price = (SELECT price FROM new WHERE new.url = data.url) ' + 'WHERE url IN (SELECT old.url FROM data AS old, new WHERE old.url = new.url AND old.price <> new.price)'); db.run('DROP TABLE new'); db.close(); }); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このようなスクリプトはGithubにアップロードし、Morph.ioにアップロードして実行できます。 読みやすくするために、クエリのテキストを別々の文字列変数に入れることは価値がありますが、読みやすさは顧客にとって重要ではありません。

おわりに

結論として、定期的に更新されるデータを破棄するタスクは、起動間でデータを保持することを伴いますが、クラウドでの必須の展開を意味するものではないことを強調する価値があります。 ターミナルからオペレーティングシステムをインストールして起動するための指示とともに、同じスクリプトを顧客に提供できます。すべてが正常に機能します。 SQLiteからCSVを取得する方法を説明する必要があるため、現在のバージョンのデータの自動エクスポートを追加することをお勧めします。 ただし、この場合、たとえばJSONファイルの代わりにデータベースを使用する理由はありません。 データベースの実際の必要性は、単にメモリに収まらない膨大な量のデータを廃棄するときにのみ現れ、通常のファイルに保存するのは非常に不便です。 しかし、これは別の記事のトピックです。