オープンデータを使用して所得申告を解析する方法

2年目は、ロシア連邦の州の公開データに携わり、政府機関と協力して、データがどのように表示されるかについて興味深い話を始める時が来ました。 ただし、本日は、開発者にとってより身近な分野、つまり「宣言子」プロジェクトのデータ解析と、オープンデータがもたらす予期しない利点についてお話します。







「宣言者」は、公務員の収入と財産の宣言の絶えず更新されるデータベースです：代理人、役人、裁判官、地域および市当局の代表者、他の機関、国営企業および国有企業。 このプロジェクトは、メディア、公的統制に関与する活動家、および研究者の参照拠点として機能します。

ロシアでは、収入データは100万人以上によって公開されるべきです。



興味深い事実：収入宣言の配置に関するウェブサイトには統一されたルールがあり（特に、それらは常に「腐敗防止」セクションにあります）、ロシア連邦労働社会保護省がすべての責任を負っています。 宣言の大量配布は5月に行われます。 さらに、労働省は、情報を掲載する義務があるすべてのサイトを例外なく監視するのに1か月しかありません。 監視は手動で行われます。



宣言の発行に関連するいくつかの問題があります。

• 各機関は独自のウェブサイトでこれを行います。
• 宣言を公開するための単一の標準はありません。
• 情報は公開後すぐに削除される場合があります。
• 法律により公開されていますが、宣言はまだ機械可読形式で公開されていません。

宣言について

各公務員の損益計算書には、所有、使用、不動産に関する情報、車両に関する情報、収入および収入源に関する情報が含まれています。 宣言には、役人だけでなく、その家族のメンバーも記載されています。 運がよければ、要約ファイルは、労働省が所得情報の形式で提案したテンプレートに従って作成されます 。これにより、ユニバーサルパーサーの作成作業が大幅に簡素化されます。







最初の関心の対象は、教育科学省でした。 306人を対象とした2014年の連邦公務員の所得申告のためのトライアルパーサーは 、迅速かつかなり苦痛なく書かれました。 その後、私たちは通常、最も多くの研究者の要求を引き起こすもの、つまり大学の学長の収入に関する情報に進むことにしました。 そして、 2014年の文部科学省の下位機関の宣言の難しさが始まりました 。



簡単な分析により、このファイル内のレクターのみが272人であり、明らかに何らかの方法でグループ化する必要があることが示されました。 彼らは地域ごとにグループ化することにしました。 ただし、宣言は機関の位置と名前のみを示しています。







ほぼ300のユニークな高等教育機関は、手作業で検索することを望んでいませんでした。 これは、 「認可された教育プログラムの下で教育活動に従事する組織の登録簿」と呼ばれるロソブルナゾールのオープンデータが役に立ちました（ 更新：名前とリンクは2016年5 月24日に修正されました ）。 レジストリは非常に有益ですが、かなり複雑な形式であり、別の記事に値します。 Rosobrnadzorに敬意を表して、政府機関では伝統的なcsvではなくxml形式で提示され、構造にエラーが含まれていないため、予備処理なしでデータベースとして使用することができました。 （ 2016年5 月16日現在のリンクは一時的に機能していないため、レジストリはここで引き続き取得できます 。 更新：Rosobrnadzorは2016年5 月24日にリンクを修復しました ）。

タスクについて

そのため、最初のタスク：損益計算書からレクターのデータを抽出し、レクターの地域を決定し、フィラープラグイン用の特別な形式の xmlファイルを生成します。







プラグインは、サイトでのユーザーアクションを模倣し、フォームに自動的に入力します。 そして、テストプロセス中に判明したように、彼は一度に処理できるレコードの数に制限があります...



入力には、1,561人の役人の収入に関するデータを含む.docファイルがあります。 職員だけでなく家族のデータも必要なので、実際には3347人の情報を処理する必要があります。

実装

宣言パーサーの実装の詳細についてはgithubをご覧ください。不必要でしばしば予期しない文字を削除するのに多くの前処理が必要だとしか言えません。そのような場合のために終了していません（これはMS Wordの1つのテーブルセルです）。

レジストリ

主なタスク-大学名の宣言とRosobrnadzorのレジストリの照合。 結果として正規表現を選択するソリューションは、パーサー自体を記述するよりもはるかに時間がかかりました。 コードははるかに少なかったが。



Rosobrnadzorのレジストリ内の各ライセンスのエントリは、次のような構造になっています（非常に短縮された形式）。

<Certificate> <RegionName>. </RegionName> <RegionCode>77</RegionCode> <EduOrgFullName>        «     »</EduOrgFullName> <EduOrgShortName>  «»</EduOrgShortName> <ActualEducationOrganization> <Id>58302c2c-16f2-0772-3cf1-ebacbde89ecd</Id> <FullName>        «     »</FullName> <ShortName>  «»</ShortName> <RegionName>. </RegionName> <RegionCode>77</RegionCode> </ActualEducationOrganization> <ActualEducationOrganization> … </ActualEducationOrganization> </Certificate>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

EduOrgFullName-これは、親組織のライセンス自体に関する情報です。 ActualEducationOrganizationタグには、親組織に従属するすべての機関に関する情報が含まれています（大学内の機関、支部など、多くの機関が存在する場合があります）。 したがって、ソリューションはシンプルで明白に見えました。FullNameまたはShortNameレジストリタグの宣言から一致する名前を見つけ、それらに対応するリージョンを見つけます。



レジストリの機能： "クリスマスツリー"のみが引用符として使用され、FullNameタグ内の機関の種類の名前（ "連邦州..."）は完全に小文字で書き込まれます。

前処理

しかし、明らかに、宣言に大学の名前を書く形式は、宣言を提出した人の想像力によってのみ制限されていました。 その結果、 連邦州予算高等教育機関「モスクワ州立工科大学から名付けられたK.G. ラズモフスキー（PKU）」および連邦高等専門教育の自治教育機関「国立原子力大学MEPhI」連邦州自治教育機関の前「高等専門教育機関BFU IM.I. KANTA」 （および宣言の別の場所では、 イマニュエルカントにちなんで名付けられたFSAEI HPE「バルト連邦大学」 ） 長い間、私はパーサーで私の大学を見つけることができませんでした。 FSBEI HPE "MGUDT"にとって驚くことではありません...



引用文の作成には非常に多様性が見られました。 基本的に、宣言には通常のロシアのクリスマスツリーの代わりに直接の「英語」引用符が含まれ、解析の最もキラーなオプションは「サンクトペテルブルク州電気工科大学」LETIでした V.I. ウリヤノバ（レニーナ） " （ハーバーのパーサーはそれをマスターしなかったようです。）エキゾチックな" ""は2回出会って（ヴォルゴグラード、モスクワ）、ロストフでFSBEI HPE <<ロストフ州経済大学（RINH）>> （のちなみに、宣言に10回出現しています）。



そのため、xmlのXPathは非常に高速に検索され、部分的な一致を見つけることができますが、悲しいかな-文字の大文字小文字に完全に一致しています。 検索機能を無効にすると、問題は解消され、同時に速度も低下します。



最初のステップは、繰り返しの部分-機関のタイプ-を削除し、実際の名前のみを残すことでした。 そして、ここでの発見が待っていました：高等教育機関のFSBEI（およびFSBEI、FSBEI）に加えて、「インクルーシブ高等教育」、つまりVOのFSBEIの機関があるように見えましたか？ 「連邦政府の高等教育予算機関」に置き換えられました-違いを見つけることができますか？



その結果、正規表現で次のような構造が得られました。

 orgname = Regex.Replace(orgname, @"(.*)((|)\s)((|)?)?", ""); orgname = Regex.Replace(orgname, @"([-]*\s|[-]*\s)?([-]*\s|[-]*\s)?(.*)?([-]*\s|[-]*\s)([-]*\s|[-]*\s)?([-]*\s|[-]*\s|[-]*\s|[-]*\s)([-]*\s|[-]*\s)?([-]*|[-]*)", ""); orgname = Regex.Replace(orgname, @"([-]*\s|[-]*\s)?([-]*\s|[-]*\s)?(.*)?([-]*\s|[-]*\s)", "");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さらに、ここでのチームの順序は非常に重要です。 さて、引用符との戦い：

 if (orgname.Contains("<<")) orgname = Regex.Replace(orgname, @"(.*<<)(.+)(>>.*)", "$2"); if (orgname.Contains('«')) orgname = Regex.Replace(orgname, @"(.*«)(.+)(».*)", "$2"); if (orgname.Contains('“')) orgname = Regex.Replace(orgname, @"(.*“)(.+)(”.*)", "$2");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

大きな問題は、誰かにちなんで名付けられた大学にあることが判明しました。

• 「them。」と「name」の変形は、異なるレジスタにあります。
• 名前自体は、任意のレジスタの任意のオプションで、任意の数のスペースを使用して（またはスペースなしで）書き込むことができます。たとえば、IM.I。KANTA、Ivan Fedorovにちなんで命名されました。 V.I. N.I.ロバチェフスキーにちなんで名付けられたウリヤノフ（レーニン）

スペルが予測できないため、「名前」を全体として削除する方が簡単でした。

 orgname = Regex.Replace(orgname, "(.*)", ""); orgname = Regex.Replace(orgname, @"(\..*)", "");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

幸いなことに、大学の名前はその独自性を失わなかった。



そして、いまだに「頑固」なケースはありませんでした。 これらは大学であり、その名前は略語で構成されていました：LETI、NINH、STANKIN、そして再び、私の愛するMGUDT。 解決策：

 Match tempmatch = Regex.Match(orgname, @"[-]{2,}"); tempname = orgname.Substring(tempmatch.Index, tempmatch.Length);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

奇妙なことに、その後も数十の大学が身元不明になりました。 分析の結果、それらのいくつかは、主に文字の欠落または再配置のためにタイプミスで書かれていたことが示されました。 タイプミス「Moskvosky」がリーダーになりました。 カプセルから判断すると、クズバスは彼らの大学が非常に好きですが、リテラシーは私たちを失望させました： 「高等専門教育の連邦州予算教育機関はT.F.後に命名されたクズバス州技術大学です。 ゴルバチェバ 。 」



多くの問題はスペースにありました：

• Rosobrnadzorの登録簿では、一部の名前に二重スペースが含まれています。
• いくつかの大学の名前にはダッシュがあります。 また、これらのダッシュは、スペースを使用してまったく異なる方法で組み合わせることができます。 たとえば、宣言は「ボルゴドンスク工学技術研究所-国立研究原子力大学MEPhIの支部」 、 連邦州の高等教育の自治教育機関 、レジストリで同じ名前は「Volgodonsk Engineering and Technical Institute ...」のように見えます 。 同時に、そのようなケースがありました： 「高等専門教育の連邦州予算教育機関」州立大学-教育、科学、産業複合体」 。

しかし、何らかの理由で、正体不明の大学の数が急ぐことはありませんでした。 そして、それは完全に予想外の問題であり、最終的には検索アルゴリズムの変更につながりました。 教育活動のライセンスは教育機関の1つの名前に対して登録でき、大学の正式名はわずかに異なっていたことが判明しました。 たとえば、「アカデミー-大学」、「研究所-大学」のペアがありました。



レジストリでは、次のようになりました。

 <EduOrgFullName>        «  - »</EduOrgFullName> <EduOrgShortName>  «»</EduOrgShortName>)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして

 <FullName>       «  - »</FullName> <ShortName>  «  - »,   «», </ShortName>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さらに、宣言はそれらのいずれかを示すことができます。 いくつかの大学は、まだ知られていない理由で、FullNameおよびShortNameタグをまったく持っていませんでした。



それとは別に、クリミアについて： 「連邦州自治高等教育機関」クリミア連邦大学は、V.I。 Vernadsky」には、登録簿の地域への参照がありませんでした。



現在、解析アルゴリズムの最終バージョンでは、これらの結果が生成されます 。



フィラーの完成したファイルの例（モスクワ大学）。

いくつかの統計

教育科学省の合計宣言で、組織の1561人の従業員とその3347人の家族が、770ページのファイルで、予想外に32のテーブルになっています。



272人の学者、つまり 272以上のユニークな大学があり、そのうち8つの大学には誤りや誤字があります。



4つの大学は、ロソブルナゾールの登録簿にまったく表示されません。 これは：

• 高等教育の連邦州予算教育機関「北極圏文化芸術研究所」。
• 継続的な専門教育の連邦州予算教育機関「新しい教育形態の州立研究所」。
• 継続的な専門教育の連邦州予算教育機関「成人教育継続機関」;
• 継続的な専門教育の連邦州予算教育機関「化学産業の主要労働者と専門家の高等研究のためのノボモスコフスク研究所」。

結論として、もう一度プロジェクトへのリンク 。 パーサーは、同じテンプレートに従って作成された他の政府機関の宣言にも取り組みます。

便利なリンク

NPA：

2013年7月8日のロシア連邦大統領令第613号「汚職と闘う問題」 、アート。 6労働社会保護省の責任について。



2013年7月8日のロシア連邦大統領令第613号「腐敗防止の問題」 、特定のカテゴリの個人および家族の収入、費用、財産および財産責任に関する情報を連邦政府機関の公式ウェブサイト、主題の州当局に掲載する手順ロシア連邦と組織、およびロシアのマスメディアへのこの情報の提供については、労働社会保護省の義務に関する第4項「情報 財産、財産、財産、負債に関する収入、費用に関する声明は、提出期限の満了日から14営業日以内に毎年更新されます。



2013年7月8日のロシア連邦大統領令第613号「腐敗防止問題」 、第8条。収入、財産、財産義務に関する情報を提出する義務。



腐敗防止法に関するすべての法的行為。



NPA労働省



プログラミング：



正規表現チェッカー

Cの正規表現ヘルプ＃

C＃の正規表現文字クラス、および大文字と小文字を区別しないxml検索の簡単な実装を持つプロジェクト： link