正規表現とPython：テキストからトークンを抽出する

ログおよび構成ファイルの分析は、頻繁に発生し、繰り返し説明されるタスクです。 この記事では、Pythonでその古典的なソリューションを実装する方法を説明します。正規表現と名前付きグループを使用します。 可能であれば、このソリューションまたはそのソリューションが使用される理由を説明し、落とし穴とその回避方法の概要を説明します。

テキストを解析する理由とトークン

私たちのプログラムに興味のあるテキストファイルでは、通常、複数の情報ユニットが見つかります。 プログラムが情報の一部を別の情報から分離できるように、ファイル形式、つまりファイル内でのテキストの記述方法に関する合意を設定します。 最も単純な形式-情報の各ユニットは別々の行にあります。 そのようなファイルは、追加の処理をほとんど必要としません-使用されるプログラミング言語の手段と考えて、それを行に分割してください。 ほとんどの言語では、1つまたは2つのコマンドでファイルを行に分割できます。 残念ながら、処理が必要なファイルのほとんどは、もう少し複雑な形式です。 たとえば、クラシック設定ファイルには、name = valueという形式の行が含まれています。 一般的な場合、このような形式は、ファイルを1行ずつ読み取り、各行で「=」を見つけることで、非常に簡単に解析できます。 その左側がフィールドの名前になり、右側が値になります。 このロジックは、複数行のフィールド値と記号「=」を含む値を持つファイルを解析する必要があるまで機能します。 このようなファイルを処理しようとすると、多数のチェック、ループ、およびコード内の他の問題が発生します。 そのため、行のリストよりも構造が複雑なテキストファイルでは、正規表現を使用してトークンに分割する方法が長い間使用されてきました。 「トークン」という言葉は通常、このテキストの特定の場所にあり、特定の意味を持つテキストのごく一部として理解されます。 たとえば、構成ファイルの次のフラグメントでは：



3つのトークンを区別できます。「名前」はフィールドの名前、「=」はセパレータ、「Vasya」はフィールドの値です。 厳密に言えば、この記事でトークンと呼ぶものは、語彙素の定義により適しています。 2つの違いは、トークンが特定の形式のテキストであり、他のテキストとの相対的な位置に関係がないことです。 コンパイラで使用されるような複雑なパーサーは、最初にテキストをトークンに分割し、次にトークンからトークンを生成する大規模で分岐のある状態マシンの助けを借りてトークンのリストを処理します。

幸いなことに、Pythonには正規表現を操作するための非常に優れたライブラリがあり、トークンの中間検索やその後のトークンへの変換を行うことなく、ほとんどのテキスト処理タスクを1つのパスで解決できます。

正規表現とは誰ですか？

簡単に言えば、これはテキストを検索するように設計されたプログラミング言語です。 非常にシンプルなプログラミング言語。 条件は実際には適用されず、サイクルと機能はありません。検索するテキストを記述する式は1つだけです。 しかし、これは非常に長い可能性がある唯一の式です:)。 一般的に、特にPythonで正規表現を正常に使用するには、いくつかのことを知る必要があります。 まず、すべての自尊心のある正規表現ライブラリは、これらの正規表現に独自の構文を使用します。 一般に、構文は似ていますが、詳細と追加機能は大きく異なる可能性があります。そのため、Pythonで正規表現を使用する前に、 公式ドキュメントの構文に慣れる必要があります 。

第二に、正規表現は言語自体の構文とユーザーデータを分離しません。 つまり、「Vasya」という単語を検索する場合、それを検索するための正規表現は「Vasya」のようになります。 プログラミング言語自体はこの行には存在せず、指定した行のみが存在するため、検索する必要があります。 しかし、「Vasya」という単語の後にコンマまたはセミコロンが続く場合、正規表現は必要で重要な詳細「Vasya、| Vasya;」に囲まれます。 ご覧のように、縦棒で表される「論理的または」言語の構成がここに追加されました。 同時に、設定した行は言語の構文から分離されていません。 これは重要で不快な結果につながります-言語の構文に存在する検索文字列に文字を指定する場合、その前に「\」を記述する必要があります。 したがって、ピリオドまたは疑問符が後に続く単語「Vasya」を検索する正規表現は、「Vasya \。| Vasya \？」のようになります。 ピリオドと疑問符の両方は、正規表現言語:(の構文で使用されます。

第三に、正規表現はデフォルトで貪欲です。 つまり、これが具体的に示されていない限り、正規表現を満たす最大長の文字列が見つかります。 たとえば、テキストで「name = value」という形式の文字列を検索し、正規表現「。+ =。+」を記述したい場合、テキスト「a = b」では「a = b」を返すことで正しく動作します。 しかし、テキスト「a = b、c = d」の場合、「a = b、c = d」、つまりテキスト全体が返されます。 正規表現のこの特性を常に覚えて、検索の結果としてライブラリが「戦争と平和」の半分を返す誘惑を持たないような方法でそれらを書くべきです。 たとえば、前の正規表現を少し変更する必要があります： "[^ =] + = [^ =] +"-このバージョンでは、記号「=」の前後のテキストに記号「=」が含まれていないことを考慮します。

テキスト内のトークンを探しています

Python正規表現ライブラリは「re」と呼ばれます。 主な機能は基本的に1つです。検索（）です。 最初の引数として正規表現を渡し、検索するテキストとして2番目の引数を渡すと、出力に検索結果が表示されます。 注意してください-正規表現を使用した文字列では、文字「\」が文字列エスケープシーケンスに変換されないように、接頭辞「r」を使用することをお勧めします。 検索例：

再 インポート

match = re 。 検索 （ ur "Vasya \。 | Vasya \？ " 、u "Vasya？" ）

プリントマッチ。 グループ （ ） 。 エンコード （ "cp1251" ）

例からわかるように、search（）メソッドは、「検索結果」タイプのオブジェクトを返します。このオブジェクトには、テキストを検索できる複数のメソッドとフィールド、元の式での位置、およびその他の必要で便利なプロパティがあります。 より重要な例を考えてみましょう-中括弧で囲まれたセクション名、フィールド名、およびそれらの値で構成される古典的な構成ファイル。 セクション名を検索するための正規表現は次のようになります。

再 インポート

txt = '' '

{番号セクション}

num = 1

{テキストセクション}

txt = "2"

' ' '

match = re 。 検索 （ ur "{[^}] +}" 、txt ）

プリントマッチ。 グループ （ ）

このコードの結果は、文字列「{number section}」になります-セクション名が正常に見つかりました。

テキスト内のトークンのすべてのインスタンスを探しています

前の例からわかるように、re.search（）を呼び出すだけで、テキストの最初のトークンのみが検索されます。 トークンのすべてのインスタンスを見つけるために、reライブラリにはいくつかの方法があります。 私の意見では、最も正しいものはfinditer（）メソッドの呼び出しであり、このメソッドは「検索結果」タイプのオブジェクトのリストを返します。 通常の文字列（たとえば、findallメソッドが返すことができる）の代わりにこれらの神秘的なオブジェクトを取得すると、テキストが見つかったという事実を知るだけでなく、テキストが見つかった場所を正確に見つける機会が得られます。トレーニングされたspan（）メソッド。ソーステキストで見つかったフラグメントの正確な位置を返します。 finditer（）メソッドを使用してトークンのすべてのインスタンスを検索するように変更されたコードは次のようになります。

結果= re 。 finditer （ ur "{[^} \ n ] +}" 、txt ）

結果の一致：

プリントマッチ。 グループ （ ）

テキスト内の異なるトークンを探しています

残念ながら、1つのトークンの検索はもちろん興味深いことですが、実際にはほとんど役に立ちません。 通常、構成ファイルと同じくらい簡単なテキストでも、興味のあるトークンがたくさんあります。 構成ファイルを使用した例では、これは少なくともセクション名、フィールド名、およびフィールド値になります。 正規表現言語でいくつかの異なるトークンを検索するために、グループが使用されます。 グループは、括弧で囲まれた正規表現のフラグメントです。これらのフラグメントに対応するテキストの部分は、個別の結果として返されます。 したがって、セクション、フィールド、および値を検索できる正規表現は次のようになります。

結果= re 。 finditer （ ur "（{[^} \ n ] +}）|（？：（[^ = \ n ] +）=（[^ \ n ] +））" 、txt ）

結果の一致：

プリントマッチ。 グループ （ ）

このコードは以前のものとは大きく異なることに注意してください。 まず、3つのグループが正規表現で強​​調表示されます。「（{[^} \ n] +}）」は、中括弧内の見出しに一致します。

「=」記号の前の「（[^ = \ n] +）」はフィールド名と一致し、「=」記号の前の「（[^ = \ n] +）」はフィールド値と一致します。 また、名前のグループとフィールド値を組み合わせた奇妙なグループ「（？:)」も使用します。 これは、論理演算子「|」で使用する特別なグループです -複数のグループを1つの演算子「|」で結合できます 副作用はありません。 次に、グループ（）メソッドの代わりにグループ（）メソッドを使用して結果を出力しました。 これは偶然ではありません。Pythonの正規表現のライブラリには、「検索結果」とは何かという独自の考えがあります。 この自律性は、テスト「a = b」に適用される2つのグループ「（[^ = \ n] +）=（[^ = \ n] +）」の正規表現が「result」タイプの1つのオブジェクトを返すという事実で表されます。これはいくつかのグループで構成されています。

見つけたものを正確に判断する

前の例を実行すると、次の結果が表示されます。

（ '{番号セクション}'、なし、なし）

（なし、「num」、「1」）

（ '{テキストセクション}'、なし、なし）

（なし、 'txt'、 '"2"'）

ご覧のとおり、各結果に対して、groups（）メソッドは3つの要素のマジックリストを返します。各要素はNone（空）または見つかったテキストのいずれかです。 ドキュメントを思慮深く吸うと、ライブラリが式で3つのグループを見つけたことがわかり、結果ごとに、そのグループに存在するグループが表示されます。 最初のグループはセクション名に対応し、2番目はフィールド名に対応し、3番目のフィールド値に対応することがわかります。 したがって、最初の結果「{number section}」はセクションの名前です。 2番目の結果「num = 1」は、フィールドの名前とフィールドの値などです。 ご覧のとおり、これはややこしくて不便です。一般的な場合、正確に何を見つけたかを判断することは困難です。

この重要な質問に答えるために、グループに名前を付けることができます。 このため、正規表現言語には「（？P <group_name> expression）」という特別な構文があります。 コードを少し変更して3つのグループ名を付けると、すべてがはるかに便利になります。

再 インポート

txt = '' '

{番号セクション}

num = 1

{テキストセクション}

txt = "2"

' ' '

オブジェクト = re 。 compile （ ur "（？P <section> {[^} \ n ] +}）|（？:(？P <name> [^ = \ n ] +）=（？P <value> [^ \ n ] +）） " 、 re。M | re。S | re。U ）

結果= オブジェクト 。 finditer （ txt ）

group_name_by_index = dict （ [ （ v、k ） for k、v in object。groupindex。items （ ） ] ）

group_name_by_indexを印刷

結果の一致：

group_indexの場合、 列挙型の グループ （ match。groups （ ） ） ：

グループの場合 ：

"text：％s" ％グループを印刷

print "group：％s" ％ group_name_by_index [ group_index + 1 ]

「position：％d、％d」 ％と一致します。 span （ group_index + 1 ）

多数の化粧品の変更に注意してください。 検索の前に、re.compile（）メソッドが使用されます。これは、いわゆる「コンパイルされた正規表現」を返します。 速度と利便性に加えて、1つの注目すべき特性があります。そのgroupindex（）メソッドを呼び出すと、見つかったすべてのグループの名前とインデックスからの辞書を取得します。 残念ながら、辞書は何らかの理由で反転されています-その中のキーはインデックスではなく、グループの名前です。 dict（）を使用した恐ろしい表現は、この迷惑な誤解を修正し、group_name_by_index辞書を使用して、その番号でグループの名前を取得できます。 コンパイルでは、re.Mフラグ（複数行テキストの文字列「^」の先頭と文字列「$」の末尾の正しい検索）、re.S（「。」）、および\ nを含むすべてを完全に検索します。テキスト）。 結果として、見つかったものの分析には2つのサイクルがかかります。最初に検索結果を反復処理し、次にその結果に含まれるグループに従って各結果を反復処理します。 結果は、トークンの正確で完全なリストであり、テキスト内のタイプと位置を示します。 このリストは、テキストの処理、構文の強調表示、エラーの検出に使用できます。一般的に、あることが必要で便利です。

おわりに

テキスト内のトークンを見つける実証された方法は、最良または最も正確ではありません-Python言語のフレームワークとその正規表現の標準ライブラリ内であっても、これに決して劣らない少なくとも12の代替方法があります。 しかし、上記の例と説明が、必要に応じて誰かがすぐに知識を得て、Googleの時間を節約し、希望どおりに機能しない理由を見つけるのに役立つことを願っています。 コメントを待って、みんなに幸運を。