Pythonでの解析。 鳩小屋のアーカイブを構築する方法

この記事では、 Pythonでのスクリプトの開発について説明します。 このスクリプトは、 HTMLコードを解析し、サイト資料のリストをコンパイルし、記事をダウンロードし、「外来」要素から記事テキストを事前にクリーニングします。 ライブラリurllib （HTMLページの取得）、 lxml （HTMLコードの解析、要素の削除、「クリーンな」記事の保存）、 re （正規表現の使用）、 configobj （設定ファイルの読み取り）が使用されます。



スクリプトを作成するには、Python言語の基本的な知識、プログラミングスキル、およびコードデバッグで十分です。



この記事では、出版物のリストをコンパイルする例について、ライブラリの使用に関する説明を提供しています。 Golubitsky、作業スクリプトへのリンク。

序文または歌詞

私は多くの行商人がセルゲイ・ゴルビツキーの飽くことのない仕事に精通していると言っているのは間違いではありません 。 15年近くコンピューターに近いジャーナリズムで、namerekはペーパーレスKomputerの山で433件の記事を発表し、Boseで早々に休み、Computerra-onlineポータルで300人以上のDovecatsを休みました。 そして、これは、ビジネスジャーナルの外国人のゲーシェフトの英雄に関する分析研究、「ホームコンピューター」の創造性の秘密に対するベールの開放、「ロシアジャーナル」の記事、「D」などを数えていません。 などなど。 生命創造の完全性のレビューに興味がある人は、上記のリンクにあります。



昨年、著者のプロジェクト「The Old Pigeon House and His Friends 」が活動を開始しました。これは、特に著者の出版物アーカイブと文化的ポビドリアンの議論を行うためのプラットフォームによって絶えず補充されました。 ネットワークライフ、社会神話、自己啓発のトピックに無関心ではなく、著者によって見事に明らかにされ、高品質のレジャー読書にも熱心な人として、私はかつてDovecoteでの集まりの常連になりました。 私の能力を最大限に活用して、プロジェクトを視界に入れるだけでなく、何らかの形でその開発に参加するようにしています。



Computerra-onlineポータルからアーカイブに転送された記事の校正の分野で働いている間、私が最初にしたことは、すべての鳩の目録を編集することでした。

問題の声明

そのため、Pythonでサイトの解析を検討する例でのタスクは次のとおりでした。

• Computerre-onlineでホストされているすべてのDovecatのリストを作成します。 リストには、記事のタイトル、発行日、記事の内容に関する情報（テキストのみ、写真、ビデオ）、概要、ソースへのリンクを含める必要があります。
• 論文Computerraに掲載されている資料をリストに追加し、重複を見つけます。
• ウェブサイトInternettrading.netのアーカイブからの資料でリストを補足する
• 「Old Pigeon」ポータルで既に公開されている記事のリストをダウンロードする
• 可能であれば、不必要な要素のテキストを自動的にクリアして、記事をローカルディスクにダウンロードしてさらに処理します。

ツールキットの選択

プログラミング言語に関しては、私の選択はすぐに明確にPythonに落ちました。 数年前に余暇に勉強した（そしてしばらくの間、高度な計算機としてActive Pythonシェルを使用した）だけでなく、豊富なライブラリ、ソースコードの例、スクリプトの作成とデバッグの容易さのためにも。 特に、彼らは、Google Docs APIとの統合、ワードプロセッシングの自動化など、差し迫った問題を解決するために獲得したスキルをさらに活用する可能性にも関心がありました。



非常に特定のタスクをゼロから解決するために、ツールキットは、ドキュメントの読み取り、ライブラリの比較、および最終的な実装に最小限の時間を費やすように選択されました。 一方、ソリューションには、他のサイトや同様のタスクに簡単に適応できる十分な汎用性が必要です。 おそらく一部のツールとライブラリは不完全ですが、最終的に計画を終わらせることができました。



そのため、ツールの選択により、Pythonの適切なバージョンが決定され始めました。 最初はPython 3.2を使用してみましたが、実験中にPython 2.7で停止しました。 「トロイカ」のいくつかの例は行かなかった。



追加のライブラリとパッケージのインストールを簡素化するために、パッケージをダウンロード、ビルド、インストールするためのツールであるsetuptoolsを使用しました。



さらにライブラリがインストールされました：

• urllib-サイトのHTMLページを受信。
• lxml -XMLおよびHTMLコードを解析するためのライブラリ。
• configobjは、構成ファイルを読み取るためのライブラリです。

即興の手段が使用されたため：

• Notepad ++は、構文が強調表示されたテキストエディターです。
• FireBug -HTMLページのソースコードを表示できるFireFoxブラウザープラグイン
• FirePath -XPath分析およびテスト用のFireFoxブラウザープラグイン：
• コードをデバッグするための組み込みPython GUI。

Habréに関する記事とディスカッションは、非常に役立つヘルプを提供しました。

• Webデータ検索アプローチ
• xpath htmlリクエストの例
• 「LXML」またはHTMLを簡単に解析する方法
• サイトを解析するライブラリ
• Beautiful Soupを使用した簡単なWebサイト解析

マニュアル、例、およびドキュメント：

• Python 3（Pilgrim）のイマージョン/ XML
• パッケージlxml。 APIリファレンス
• MSDNライブラリのXPathの例
• PytonドキュメントのElementTree XML API
• lxml.etreeチュートリアル

そしてもちろん、 Pythonプログラミング言語の本

ソリューションの概要

このタスクには、4つの異なるサイトから資料をダウンロードするための4つの同様の手順が含まれています。 それらのそれぞれには、記事のリストと資料へのリンクがある1つまたは複数のページがあります。 手順の形式化と統一に多くの時間を費やさないために、基本的なスクリプトが作成されました。これに基づいて、材料のリストの構造とHTMLページの構成の特性を考慮して、サイトごとにカスタムスクリプトが開発されました。 そのため、HTMLが手動で生成されたと思われるInternettrading.net上の素材の解析には、CMS Drupal（「Old Pigeon House and His Friends」）およびBitrix（「Computerra-online」、アーカイブコンピューターの論文）ページには最小限の機能が含まれていました。



将来、Old Blueberryのポータルを解析するための歴史的に最新のスクリプトの詳細を参照します。



記事のリストは「 カメラマン 」セクションに表示されます。 ここに名前、記事へのリンク、概要があります。 リストはいくつかのページに分かれています。 ループ内でアドレスバーのパラメーター（？Page = n）を変更することで次のページに移動できますが、HTMLテキストから次のページへのリンクを取得する方がエレガントに思えました。



記事のページには、DD YYYY月形式の発行日、独自のテキスト、および署名のソースの表示があります。



さまざまなタイプのデータを処理するために、2つのオブジェクトが作成されました： MaterialList（オブジェクト） -記事のリスト（ _ParseListリストの別のページを解析するメソッドと、次のページのURLを取得するメソッド_GetNextPageを含み 、マテリアルとその識別子のリストを保存します）およびMaterial（オブジェクト） -記事自体（ _InitID日付に基づいて識別子を生成するメソッド、 _ParsePageページの解析メソッド、発行元_GetSectionを決定するメソッド、および発行日、資料タイプなどの記事属性が含まれます。



さらに、ドキュメントツリーの要素を操作するための関数が定義されています。

• get_text（item、path） -ドキュメントアイテムの パスパスに沿って要素のテキストを取得する
• get_value（item） - アイテムドキュメントのノードテキストを取得する
• get_value_path（item、path） - パスに沿ったアイテムドキュメント内のノードのテキストを取得
• get_attr_path（item、path、attr） -ドキュメントアイテムの パスパスに沿った要素の属性を取得

また、 get_month_by_name（month）関数は、日付を解析するために名前で月番号を返します。



メインコード（ メイン（）プロシージャ）には、ファイルから構成をロードし、コンテンツをメモリにロードして資料のリストのページを通過し、さらにリスト自体（CSV形式）および記事テキスト（HTMLでファイル名が形成される）にファイルを保存します材料識別子に基づいて）。



構成ファイルには、コンテンツリストの開始ページのURL、コンテンツページと記事リストのすべてのXPathパス、ファイル名、記事を保存するためのディレクトリパスが格納されます。

実装の詳細

このパートでは、なんらかの形で問題や喫煙マニュアルを引き起こしたコードの主なポイントについて説明します。



ドキュメント内のパスのデバッグを簡素化し、コードの読み取りを容易にするために、すべてのXPathは別の構成ファイルに移動されました。 configobjライブラリは、構成ファイルの操作に非常に適していました。 構成ファイルの構造は次のとおりです。

# Comment

[ Section_1 ]

# Comment

variable_1 = value_1

# Comment

variable_2 = value_2

[[Subsection_1]]

variable_3 = value_3

[[Subsection_2]]

[ Section_2 ]







サブセクションのネストは任意であり、セクションおよび特定の変数に関するコメントが許可されます。 構成ファイルの使用例：



from configobj import ConfigObj



#

cfg = ConfigObj('sgolub-list.ini')

# url sgolub

url = cfg['sgolub']['url']









htmlページのダウンロードは、 urllibライブラリを使用して実装されます。 lxmlを使用して、ドキュメントをツリーに変換し、相対リンクを修正します。



import urllib

from lxml.html import fromstring



# html-

html = urllib.urlopen(url).read();



# lxml.html.HtmlElement

page = fromstring(html)



#

page.make_links_absolute(url)









出版物のリストを解析するとき、リストのすべての要素をループする必要があります。 これにはlxml.html.HtmlElement.findall（パス）メソッドが適しています。 例：



for item in page.findall(path):

url = get_attr_path(item,cfg['sgolub']['list']['xpath_link'],'href')









今こそ、FirePathプラグインと、XPathを構築するためのその使用についてコメントするときです。 実際、すでにHabréで書かれているように、FirePathはlxmlのパスとは異なるパスを提供します。 少しですが、違いがあります。 すぐに、これらの違いが特定され、後で修正でFirePathを使用しました。たとえば、tbodyタグを*（最も一般的な問題）に置き換えます。 同時に、この方法で調整されたパスをFirePathでチェックできるため、プロセスが大幅に高速化されます。



page.findall(path)



は要素のリストを返しますが、単一の要素を取得するfind（パス）メソッドがあります。 例：



content = page.find(cfg['sgolub']['doc']['xpath_content'])







findおよびfindallメソッドは、条件に論理式を含まない単純なパスでのみ機能します。次に例を示します。



xpath_blocks = './/*[@id='main-region']/div/div/div/table/*/tr/td'

xpath_nextpage = './/*[@id='main-region']/div/div/div/ul/li[@class="pager-next"]/a[@href]'









より複雑な条件を使用するには、たとえば、

xpath_purifytext = './/*[@id="fin" or @class="info"]'





要素のリストを返すxpath（path）メソッドが必要になります。 以下は、選択した要素をツリーから削除するサンプルコードです（この魔法の仕組みはまだわかりませんが、要素は実際にはツリーから削除されています）。



from lxml.html import tostring



for item in page.xpath(cfg['computerra']['doc']['xpath_purifytext']):

item.drop_tree()

text=tostring(page,encoding='cp1251')







このフラグメントでは、lxml.html.tostringメソッドも使用します。このメソッドは、指定されたエンコーディングの文字列にツリーを保存します（余分な要素はもうありません！）。



結論として、 re式ライブラリreで作業する2つの例を示します。 最初の例は、「DD Month YYYY」の形式で日付解析を実装します。



import re

import datetime



# content lxml.html.HtmlElement

# ,

datestr=get_text(content,cfg['sgolub']['doc']['xpath_date'])

if len(datestr)>0:

datesplit=re.split('\s+',datestr,0,re.U)

self.id = self._InitID(list,datesplit[2].zfill(4)+str(get_month_by_name(datesplit[1])).zfill(2)+datesplit[0].zfill(2))

self.date = datetime.date(int(datesplit[2]),get_month_by_name(datesplit[1]),int(datesplit[0]))

else:

self.id = self._InitID(list,list.lastid[0:8])

self.date = datetime.date(1970,1,1)









re.split関数（regexp、string、start、options）が使用され、特定のマスク（この場合はスペース）で区切られた行要素のリストを形成します。 re.Uオプションを使用すると、Unicodeでロシア文字を含む文字列を操作できます 。 zfill（n）関数は、指定された文字数まで左側のゼロで文字列を終了します。



2番目の例は、正規表現を使用してサブストリングを見つける方法を示しています。



def _GetSection(item, path):

#

reinfo = re.compile(r'.*«(?P<gsource>.*)».*',re.LOCALE)

for info in item.xpath(path):

src=get_value_path(info,'.').strip('\n').strip().encode('cp1251')

if src.startswith(' '):

parser = self.reinfo.search(src)

if parser is not None:

if parser.group('gsource')=='-':

return '-'

else:

return parser.group('gsource')

break

return ''









上記の例は、関数_GetSection（item、path）のコードを示しています。このコードには、「Business Journalで最初に発行された」など、発行元の表示を含むサブツリーが渡されます。 正規表現スニペット？P <gsource>に注目してください 。 括弧を入れると、名前付きグループを文字列で定義し、 parser.group（ 'gsource'）を使用してそれらにアクセスできます。 re.LOCALEオプションはre.Uに似ています。



パーサーのソースコードがGoogle Docsにアップロードされます 。 Old Pigeonのサイトをパーサーのストリームから保護するために、リンクとパスを含む構成ファイルなしで、コードのみを投稿します。

おわりに

この技術を適用した結果、ハードドライブ上の4つのサイトの記事とDovecatsのすべての出版物のリストのアーカイブができました。 リストはGoogleドキュメントのスプレッドシートに手動でアップロードされ、アーカイブからの記事も編集のためにGoogleドキュメントに手動で転送されました。



問題解決の計画：

• 新しい投稿を自動的に追跡するサービスを書く
• Google Docs APIとの統合により、新しい投稿を自動的にリストします
• アーカイブされた記事をHTMLからXML形式に変換し、いくつかのエラーを自動修正してGoogleドキュメントにアップロードする

PSコメント、サポート、建設的な批判に感謝します。 注意深く勉強した後、コメントの大部分が将来私にとって役立つことを願っています。