Pythonを使用して非構造化データを「放牧する」方法

こんにちは親愛なる読者。



最近、データの抽出と分析の問題など、Python言語に関連するさまざまなトピックに取り組んでいます。 たとえば、 「Pythonでのデータラングリング：生活を楽にするヒントとツール」という本に興味がありました。







したがって、スクレイピングとは何か、構造化されていないデータを抽出する方法、カオスを整理する方法がまだわからない場合は、Pete Tamisinによる興味深い記事の翻訳を読んで、これがPythonでどのように行われるかを伝えることをお勧めします。 この記事は著者による一連の投稿全体を公開するものであり、これまでのところ私たちはそれだけに限定することを決定したため、テキストはわずかに削減されます。



誰かがこのテーマに関する本を準備して出版したい場合-書いて、議論します。



私はリットマンミードのプロダクトマネージャーですが、それでも80 lvlのフリークだと考えています。 「スターク」という言葉がまだロバートダウニーJr.や迫り来る冬についてのミームと関連付けられていなかった当時、私はコミック、ファンタジー、空想科学小説、および他の同様の読み物に恋をしました。 したがって、私はビジネスと喜び、つまり仕事と趣味を組み合わせることの可能性が本当に好きでした。 私は自分のブログで、漫画本の販売に関連するデータに基づいた予測モデルの構築に関するいくつかの記事を書くことにしました。 最終的な目標は、読者が新しい漫画本をホットケーキのように棚から一掃するのか、それとも倉庫で寝るのかを確実に判断するモデルを提案することです。 この出版物では、分析用のデータを準備するときに待機する可能性のあるいくつかの落とし穴について説明します。 「準備」とも呼ばれるデータ準備は不完全なプロセスであり、通常は数回の反復で実行され、変換、解釈、およびリファクタリングを伴います。その後、データを分析できます。



データの放牧の段階は生データの状態と可用性によって異なる場合がありますが、この記事では、さまざまなソースから情報を収集し、属性をマージしてデータを強化し、データを再構築して分析を簡素化することに集中しました。 一連の漫画本はインターネットで簡単に見つけることができますが、それらを消化可能な形式にするのはそれほど簡単ではないことがわかりました。 結局、私はそれを安くて怒って行うことにしました-私は漫画の研究専用のサイトから情報をスクレイピングし始めました。 画面のスクレイピングに対処する機会がなかった幸運な人のために、私は説明します。スクレイピングするときは、プログラムでHTMLデータをダウンロードし、このデータを使用できるようにフォーマットを削除します。 原則として、このテクニックは他に何も残っていない場合に使用されます。サイトに一貫性がなく、10代の子供が家から逃げようとしているのと同じようにサイト上のコンテンツが変化するためです。







したがって、データを放牧するときに発生する可能性のある最初の問題は次のとおりです。 大量のデータにアクセスできますが、それらはずさんです。 それらをとかす必要があります。 生データの操作は、木彫りの仕事に似ています。 あなたの仕事は、データ構造を目標に合うように変更するのではなく、美しい馬がチョックから残るように余分なものをすべてカットすることです...つまり、結論を出すことができます。 申し訳ありませんが、比metaに流されました。 ちなみに、この類推を続けます。このプロジェクトに取り組むには、まずキャビネット引き出しからPythonを抽出しました。 プログラマーにとって、Pythonは真のマルチツールです。 それは高速で、他の技術とうまく組み合わせられ、この場合最も重要なことは、どこにでもあります。 Pythonは、プロセスの自動化やETLからゲームプログラミングや学術研究まで、あらゆる種類のタスクを解決するために使用されます。 Pythonは真の多目的言語です。 したがって、特定のタスクに直面すると、Python用に特別に設計されたネイティブモジュールを見つけるか、必要な機能を備えたパブリックライブラリを既に作成している可能性があります。 漫画の販売データを含むHTMLテーブルを「スクレイピング」するための特定のスクリプトが必要でした。 次に、この情報を他の場所で入手した漫画に関する他のデータと組み合わせる必要がありました。 「その他」の情報は、各問題に関するメタデータでした。 メタデータは、他のデータを記述する単なる情報です。 この場合、メタデータには、著者、販売、公開時期などに関する情報が含まれていました... 詳細については、以下をご覧ください。







幸いなことに、私が固定したデータは表形式であったため、データを抽出してPythonオブジェクトに変換するのは比較的簡単でした。テーブルの行を反復処理し、テーブルの各列をPythonオブジェクトの特別に設計されたフィールドに関連付けるだけでした。 ページには、無視する必要のある多くの不要なコンテンツ（タイトルタグやその他の構造要素など）がまだありました。 しかし、適切なデータテーブルを見つけるとすぐに、それを分離することができました。 この段階で、データを簡単に転送できるように、また他の言語やプロセスを使用して使いやすくするために、オブジェクトをCSVファイルに記録しました。



この場合のハードワークはすべて、urllib2、bs4、csvの3つのPythonモジュールを使用して行われました。 Urllib2には、名前が示すとおり、URLを開くための関数が含まれています。 このプロジェクトの作業中に、そのようなページがあるサイトを見つけました。90年代の初めまでの各月の問題のおおよその売上に関する情報が含まれていました。 ハードコーディングされたURLを何度も手動で更新せずに各月のデータを抽出するために、MONTHとYEARを引数として使用するスクリプトを作成しましたmonth_sales_scraper.py











urlopen(url)



関数呼び出しへの応答には、通常ブラウザに表示される形式の完全なHTMLコードが含まれていました。 この形式は私にとって実質的に役に立たなかったため、パーサーを使用してHTMLからデータを抽出する必要がありました。 この場合のパーサーは、特定の形式のドキュメントを読み取り、コンポーネントに分割し、これらのコンポーネント間に存在する関係に違反することのないプログラムです。 最後に、パーサーを使用すると、上記のコンポーネントに選択的にアクセスできます。 そのため、HTMLパーサーを使用して、HTMLドキュメント内の特定のテーブルにあるすべての列タグに簡単にアクセスできました。 私はプログラムBeautifulSoupを使用しました。bs4です。



BeautifulSoupには、販売データを含む特定のHTMLテーブルを検索し、そのすべての行を循環して、Pythonオブジェクトにテーブル列の値を入力できる検索機能があります。







データと呼ばれるこのPythonオブジェクトには、さまざまなソースからのデータで満たされたフィールドが含まれています。 年と月に関する情報は、モジュールに渡された引数に基づいて入力されます。 形式フィールドは、評価を作成するロジックに基づいて動的に設定され、残りのフィールドは、ソースがHTMLテーブル内の正確な場所に応じて入力されます。 ご覧のとおり、データを取得するサイトの形式が変更された場合、手動で更新する必要のあるハードコーディングされたロジックがたくさんあります。 ただし、ここで説明するロジックを使用して、問題に対処しています。

問題を解決する最後のステップは、これらのPythonオブジェクトをCSVファイルに書き込むことです。 Python CSVモジュールには、配列をパラメーターとして受け取り、配列のすべての要素をCSV形式の列として書き込むwriterow()



関数があります。







タイトルフィールドにCSVライターで処理できないUnicode文字が含まれていたため、プログラムは最初の実行時に例外をスローしました。







これに対処するには、ユニコードチェックを追加し、すべてのコンテンツをUTF-8としてエンコードする必要がありました。 UnicodeおよびUTF-8は文字エンコードです。つまり、コンピューターが文字を識別する辞書として機能します。 エンコードには、さまざまな言語のアルファベット文字やロゴ文字、および他の一般的な文字などが含まれます。



さらに、いくつかの数値フィールドの値を再フォーマットする必要があり（特に、そこから$文字とコンマを削除するため）、後でこれらの値に対して数学演算を実行できるようになりました。 残りのデータ読み込みは非常にスムーズに進みました。 各月について、（MONTH）_（YEAR）.CSVというファイルが生成されました。 これらの各ファイルは次のようになりました。







その結果、数万行のコミック販売データが生成されましたが、それだけでは十分ではありませんでした。 つまり、必要な情報量はありましたが、十分な情報量ではないことがわかりました。 正確な予測を行うには、コミックブックの名前、リリース番号、価格だけでなく、モデルの他の変数を入力する必要がありました。 出版社は関係ありません。マーベルコミックだけで練習することにし、サンプルの販売データの転送は詐欺になります。評価は販売に依存するためです。 そこで、データセットを改善するために、MarvelのDeveloper APIを使用して「クラウド」から各リリースに関するメタデータを抽出しました。 幸いなことに、このAPIはWebサービスであるため、画面のスクレイピングなしで実行できました。



このデータの取得と結合は、見かけほど簡単ではありませんでした。 主な問題は、スクレイピングによって取得された問題の名前が、Marvelデータベースに保存されている名前と完全に一致しないことでした。 たとえば、スクレイピングによって取得されたデータ配列には、「すべての新しいすべての異なるアベンジャーズ」という名前が表示されます。 Marvelデータベース検索APIを使用しても、そのようなものは見つかりませんでした。 その結果、彼らはデータベース内で「まったく新しい全種類のアベンジャーズ」エントリを手動で見つけることができました。 他のケースでは、「スパイダーマンの優れた敵」と「スパイダーマンの優れた敵」という不必要な言葉が出ました。 そのため、名前で検索するには、Marvelデータベースで名前をどのような形式で言及できるかを知る必要がありました。 これを行うために、販売データがある期間中にメタデータが変更されたすべてのシリーズの名前のリストを作成することにしました。 そして再び、私は障害に遭遇しました。 Marvel APIを使用すると、クエリごとに100件までの結果を取得でき、数千のコミックがMarvelによって発行されました。 この問題を回避するには、データを増分的に抽出し、アルファベット順にセグメント化する必要がありました。







ここでも、たとえば「S」などの文字が100を超える名前に出くわしたため、小さな問題が発生しました。 それらを解決するには、最初にアルファベット順で「S」のすべての名前を抽出し、次にアルファベットの逆順で抽出してから、これらの結果を組み合わせて、すべての重複を取り除きました。 したがって、使用するAPIのすべての制限を注意深く理解することをお勧めします。 いくつかの制限は避けられないことが判明するかもしれませんが、多分それらは発明的に要求を策定することによって回避することができます。







この時点で、すでにいくつかのCSVファイルに保存されているMarvelシリーズ名のリストがあり、作業しやすくするために単一のMarvelSeriesList.csvファイルに入れました。 しかし、私には何か他のものがありました。 シリーズの名前を取得して、各シリーズのIDとその代表性の評価も保持しました。 IDによる検索は名前による検索よりもはるかに正確であり、予測モデルを構築する際に代表性の評価が役立ちます。 次に、販売データに基づいて作成されたCSVファイルのすべての行をソートし、MarvelSeriesList.csvファイルからIDと一致するものを見つけ、このIDを使用してAPIを介して対応するメタデータを取得する必要がありました。



思い出すと、販売データファイルに格納されているヘッダーがAPIのヘッダーと一致しなかったため、最後の手順が必要でした。これら2つのソースを何らかの方法で組み合わせる必要がありました。 各スクリプト（句読点の不一致、余分な単語など）を処理するケースを作成しませんでした。あいまい一致を見つけるためのPythonライブラリを見つけました。 私は非常に便利なFuzzy Wuzzy .Fuzzy Wuzzyライブラリに出会いましたが、そこにはextractOne()



関数がありました。 この関数を使用すると、用語を渡し、値の配列と比較できます。 次に、 extractOne()



関数は、クエリに最も一致する配列内の用語を返します。 さらに、一致の受け入れ可能性の下限を設定できます（つまり、コンプライアンス度が90％以上の結果のみを返します）。



繰り返しますが、この構成を効率的に機能させるには、少し手を加える必要がありました。 初めて、一致するものを見つけることができたのは、販売リストの名前の65％だけでした。 私の意見では、スクリプトはあまりにも多くのデータを選別したので、例外を調べて、どの一致が見つからなかったかを見つけなければなりませんでした。 そのため、次の問題が発見されました。「All-New X-Men（2012）」など、Marvelデータベース内の特定の年に関連付けられた見出しは、「All New X-Men」などの見出しと比較して80を超える対応評価がありました。 この問題は絶えず発生したため、コンプライアンスの割合を過小評価しないことにしました（この場合、スクリプトは実際の不一致に気付いていない可能性があります）。不一致があった場合は、年を切り取り、コンプライアンスを再度確認します。 ほとんど起こった。 別の問題がありました：ライブラリこれはかなり一貫した問題であったため、一致率を下げるのではなく、ファジーワジーは頭字語とアクロスティックを不十分に比較しました。 したがって、「SHEILD」と「SHIELD」を比較すると、約50の一致度が得られましたが、2番目のバージョンでは、半分の文字（ドット）が欠落していました。 この場合、影響を受けるのは2つの名前のみであるため、「翻訳」する必要がある特殊なケースを含む検索辞書を作成しました。 この演習では、すでに適切な一致が得られているため、この手順をスキップできますが、一致を完全に正確に検索するには必要です。 一致する関数が機能するとすぐに、urllib2を接続し、取得できるリリースのすべてのメタデータを抽出しました。



完成したファイルには、販売データ（名前、発行番号、月間評価、概算販売）だけでなく、著者、発行自体、キャラクター、リリース日、および対応するストーリーラインに関する情報も含まれていました。