ロシアのクルリックの素晴らしさと深さ

- ポストジェネレーター

私の意見では、自然言語処理（NLP）は非常に興味深いトピックです。 まず、ここでのタスクは純粋にアルゴリズムです。完全に原始的なオブジェクト、線を入力として、それに埋め込まれた意味（まあ、少なくとも少しの意味）を抽出しようとします。 第二に、これらの問題を解決するのにプロの言語学者である必要はありません。多かれ少なかれ母国語を知り、それを愛するだけで十分です。



そして、わずかなコストで、ある種の愚かなチャットボットを作成できます。または、私のように、ソーシャルネットワークのページに書いた内容に基づいた投稿ジェネレーターを作成できます。 このアプリケーションを見たことがある人もいるかもしれません-それはかなり愚かで、ほとんどの場合、意味のない一貫性のないテキストを生成しますが、それでも笑顔の理由を与えることがあります。



「Generator」の現在のバージョンのテキストの一貫性のなさは、実際には分析を作成できないという事実によるものです。 収集されたバイグラムの文の継続を「予測」する場合もあれば、完成した文の一部の単語を同様に終了する他の単語に置き換える場合もあります。 それがすべての詰め物です。



もちろん、もっと面白いことをしたいです。 問題は、ファッショナブルなニューラルネットワークはここではあまり適用できないことです。多くのリソース、大規模なトレーニングセットが必要であり、ブラウザではソーシャルネットワークのユーザーがこれをすべて備えているわけではありません。 したがって、私はアルゴリズムを使用してテキストを扱う問題を研究することにしました。 残念ながら、JavaScriptでロシア語を扱うための既製のツールを見つけることができなかったため、自分の小さな自転車を作ることにしました。

AZ

ライブラリーをAzと呼びました。 一方では、これはキリル文字アルファベットの最初の文字「az」であり、同時にラテン文字の最初と最後の文字です。 すべてのリンクをすぐに提供します。

-GitHub ;

-ドキュメント： githubまたはDoclets.ioのいずれか。

- デモ 。

npmとbowerの両方からライブラリをインストールできます（両方の場所でazと呼ばれます）。 あなた自身の危険とリスク-それはまだテストによって完全にカバーされておらず、最初のバージョンのリリース前に（まもなく起こると思います）、その公開APIは変わるかもしれません。 ライセンス：MIT。



現時点では、ライブラリはトークン化と形態分析という2つのことを実行できます。 遠い将来（ただし、最初のバージョンではありません）、構文解析と文からの意味の抽出を実装することになっています。

Az.Tokens

トークン化の本質は非常に簡単です。上で述べたように、入力では文字列を受け入れ、出力では「トークン」、この文字列内の（おそらく）別個のエンティティのグループを取得します。



通常、この目的のために、単純な規則性のために単一のスプリットコールのようなものが使用されますが、私には十分ではないように思えました。 たとえば、行をスペースで分割すると、スペース自体が失われます-便利な場合もありますが、常にそうとは限りません。 さらに悪いことに、行をドット、疑問符、感嘆符に事前に分割したい場合は（このような文を強調するために）：具体的な句読点が失われるだけでなく、実際には点は必ずしも文を完成させません。 そして、実際のテキストでは、たとえば、リンクがあり（その中のポイントは句読点とは何の関係もない）、規則性が完全に怖くなることを理解しています。



Azは、この問題に対する独自の非破壊的なソリューションを提供します。 トークン化後、各シンボルは特定のトークンに属し、1つのトークンのみに属することが保証されます。 スペース、改行、その他の不可視文字は、1つのタイプのトークンに、単語は別のトークンに、句読点は3番目のトークンに結合されます。 すべてのトークンを結合すると、元の文字列が正確に取得されます。



同時に、トークナイザーは、スペースで囲まれたハイフンが句読点であることを理解するのに十分賢く（おそらくダッシュが代わりに意味された）、単語の少なくとも片側に押し付けられた場合、単語自体の一部です。 または、「habrahabr.ru」はリンクであり、「mail@example.com」はおそらく電子メールです（はい、対応するRFCの完全なサポートは保証されていません）。 #hashtagはハッシュタグであり、 ユーザーは言及です。



最後に、RegExpをこの目的に使用すべきではないため、Az.TokensはHTMLを解析できます（同時に、wikiとMarkdown）。 より正確には、出力にツリー構造はありませんが、すべてのタグはトークンに割り当てられます。 <script>および<style>タグには追加の例外が作成されました。それらのコンテンツは1つの大きなトークンになります（スクリプトを単語に分割しなかったのですか？）。



そして、Markdownマークアップ処理の例を次に示します。







括弧は句読点（水色の長方形）に変わることもあれば、マークダウンマークアップ（緑色で表示）になることもあります。



当然、不要なトークンのフィルタリング（タグやスペースのスローなど）は基本です。 そしてもちろん、これらの奇妙な機能はすべて、トークナイザーのオプションの個別のフラグによって無効にされます。

Az.Morph

テキストが単語に分割された後（Az.Tokensまたはその他の方法を使用）、それらから形態属性を抽出しようとすることができます-grammes。 文法は、スピーチ 、 性別、またはケースの 一部である可能性があります。このような文法は、それ自体が「ブール」のみの意味を持ちます（たとえば、 男性 、 道具 ）。 「ブール」文法は、どの親文法にも属さない場合がありますが、フラグのように独自に存在する場合があります。たとえば、 古いゴミや戻りゴミ（動詞）です。



グラムの完全なリストは、OpenCorporaプロジェクトページにあります 。 ライブラリで使用されるほとんどすべての値は、このプロジェクトの指定に対応しています。 さらに、特別な形式でパッケージ化されたOpenCorporaディクショナリが分析に使用されますが、それについては以下で詳しく説明します。 一般に、OpenCorporaプロジェクトの作成者は素晴らしい仲間です。このプロジェクトに慣れるだけでなく、ケースの共同レイアウトにも参加することをお勧めします。これは他のオープンソースプロジェクトにも役立ちます。



単語内の特定の各文法セットはタグと呼ばれます。 タグは単語よりもはるかに少ないため、番号が付けられ、別のファイルに保存されます。 単語を活用できるようにするには（およびAz.Morphもこれを実行できます）、何らかの方法でタグを変更できる必要があります。 これには単語のパラダイムがあります。特定のプレフィックスとサフィックスをタグに関連付けます（つまり、異なるパラダイムの同じタグには、プレフィックス+サフィックスの異なるペアがあります）。 単語のパラダイムを知っていれば、現在のタグに対応する接頭辞と接尾辞を「食いつぶし」、それを変換したいタグの接頭辞/接尾辞を追加するだけで十分です。 タグのように、ロシア語にはパラダイムが比較的少ない-これにより、辞書の各単語のインデックス、つまりパラダイム番号とタグ番号のみを格納できます。



次に例を示します。「 強い 」という単語には、ロシア語で「 地獄、品質、食べ物、それ 」と簡単に指定されたタグがあります。つまり、 主格の 女性 単数の 高品質な 形容詞です 。 このタグ（単語 "strong"が属するパラダイム）は、空のプレフィックスとサフィックス " -white "に対応します。 この単語から、通常ではなく特別な接頭辞「by」：「 COMP、quality comp2 」を付けて、その程度を比較したいとします。 ご想像のとおり 、彼女のパラダイムには、接頭辞「 po 」と接尾辞「 -che 」があります。 「-kay」を切り取り、「- to 」と「 -che 」 を追加します。目的の形状が「より強く」なります。



NB 。 ご覧のとおり、ここの接頭辞と接尾辞は言語用語ではなく、単語の始まり/終わりの部分文字列です。


Az.Morphの内部偏角メカニズムのこのような比較的混oticとしたプレゼンテーション。 実際、ライブラリのこの部分は、 kmikeによって作成された素晴らしいmorphmorphy2形態素解析ツールの移植版です （Habréでこのライブラリに関する記事がいくつかありました）。 アナライザー自体に加えて、 そのドキュメントに精通することをお勧めします-Azに完全に適用できる多くの有用な情報もあります。 さらに、Azはpymorphy2ディクショナリに類似したディクショナリ形式を使用しますが、細かいディテール（ディクショナリが25％小さくなりました）は例外です。 このため、残念ながら、それらを独立して組み立てることはできませんが、将来的にはもちろん、このような機会が現れるでしょう。



すでに述べたように、主要な辞書は巧妙なDAWG形式で保存されています（抽象的なデータ構造としての有向非巡回語グラフに関するwikiの記事がありますが、具体的な実装に関する情報はほとんどありません）。 JSでサポートを実装して、単語を検索するときに「e」ではなく「」でオプションをすぐに確認できる機能pymorphy2を評価しました。両方の文字。 しかし、これは私には十分ではないようでした。同様に、タイプミスのある単語のあいまい検索の可能性を追加しました（ つまり 、検索語が指定されたものからであるDamerau-Levenshteinの最大距離を設定できます）。 さらに、「伸ばされた」単語を見つけることができます-「goooool」または「go-o-o-ol」のリクエストには、「goal」という辞書があります。 もちろん、これらの機能もオプションです。リテラシーのある「温室条件」で作業する場合は、テキストを読んでください-タイプミスの検索は禁止されるべきです。 ただし、ユーザー作成のエントリの場合、これは非常に重要です。 計画-同時に、タイプミスではない最も一般的な間違いをキャッチします。



ご覧のとおり、特定の単語に対して、ライブラリは辞書から異なる解析オプションを返すことができます。 これはタイプミスだけでなく、文法上の同音異義語の古典的な例は「 steel 」という単語で、名詞「 steel 」と動詞「bem」の両方の形になります。 明確に（同音異義語を削除するために）決定するには-文脈、近隣の単語を見る必要があります。 Az.Morphはまだ方法を知らないため（このタスクはモルフォロジーモジュール用ではなくなりました）、両方のオプションを返します。



さらに、辞書で適切なものが見つからなかった場合でも、ライブラリは、単語の傾向を推測できるヒューリスティックス（予測子またはパーサーと呼ばれる）を使用します。 次に、「ベッド」という単語を動詞と見なすアナライザーについてのBashorgからの面白い話を挿入しますが、1つの問題があります-それはもちろん辞書にあり、名詞としてのみ:)



しかし、私自身の奇妙な点を見つけました。 たとえば、「 哲学的 」という単語は、他のオプションの中でも、特定の「 フィロソスキ 」を発見しました（タイプミスを修正）。 しかし、最も驚くべきことは、「 memas 」という単語が動詞（！）として着実に理解されていることです。その不定詞は「 memasty 」（!!!）です。 そのようなことがどのように可能かをすぐに理解することは不可能です-しかし、「放牧」という言葉は、例えば同じパラダイムを持っています。 私の意見では、タイプ「ミーム」、「ミーム」、「ミーム」、「ミーム」、「ミーム」のタイプは美しいです。



これらの奇妙なことにもかかわらず、通常、結果は非常に適切です。 これは、（pymorphy2のように）各オプションに「尤度」評価が割り当てられ、この評価の降順に並べ替えられるという事実によって促進されます。 そのため、アルゴリズムを高速化すれば、分析の最初のバージョンを取得できます。精度が必要な場合は、すべてを反復する価値があります。

性能

速度については、一般的に、ここではすべてがバラ色ではありません。 リバは、この要素に重点を置いて書かれていません。 JSアプリケーション（特にブラウザベース）は、特に大量のデータに遭遇する可能性が低いと想定されています。 大量のドキュメントのコレクションをすばやく分析する場合は、pymorphy2（特に、C実装を使用して辞書を操作する最適化バージョン）に注意する必要があります。



私の大まかな測定によると、特定の数値（Chromeブラウザー内）はおよそ次のとおりです。

• トークン化：1秒あたり70〜100万文字
• 入力ミスのない形態：1秒あたり210ワード
• タイプミス： 180ワード/秒

ただし、深刻なベンチマークはまだ実施されていません。 さらに、ライブラリにはテストがありません。したがって、 上記のデモにドライブすることをお勧めします。 あなたの助けが最初のバージョンのリリースをより近づけることを願っています:)

今後の計画

ロードマップライブラリの主なポイントは、解析実験です。 文の各単語を解析するオプションがあるため、それらの関係についてより複雑な仮説を立てることができます。 私の知る限り、オープンソースにはそのようなツールはほとんどありません。 このタスクについて考えるのは、さらに難しく面白くなるでしょう。



さらに、最適化の問題は解決されていません-JSはCコードに追いつくことができそうにありませんが、確実に改善することができます。



記事で言及されている他の計画：辞書の自己組み立てツール、エラーのある単語の検索（つまり、 "t（b）x"の単語の検索、オプションはソフトサインありとなしで返され、パーサーは選択します）正しいでしょう）。



そして、もちろん、私はあなたのアイデア、提案、バグレポート、フォーク、プルクエストを受け入れています。