オープンデータとYandex Hackathonの歴史

9月14〜15日にモスクワで最初のYandex Hackathonが開催され、参加者はYandexテクノロジーを使用したオープンな政府データに基づいて2日間、2日間プロジェクトを作成します。



何年もの間、私はロシアの開発者にオープンデータの操作に興味を持たせてきました。 そのため、情報文化の非営利パートナーシップによって組織されたApps4Russiaコンテストが作成されました。 今年は、オープンデータとYandexテクノロジーでアプリケーションを作成する人たちにノミネートされました。 これらのイベントは、ここでオープンデータの履歴、そのソース、使用例、その他多くの重要なことを体系的に伝えるよう促されました。







これはLJ eugenybogerのグラフです 。 現在、各投票所の詳細な選挙結果を見つけることができるという事実は標準であり、最近では非常に先進国でもそうではありませんでした。

オープンデータ：バックグラウンド

オープンデータにはいくつかの定義があります。 ウィキペディアで提供されているものがあります：私自身はロシア語の記事をもたらすために英語から翻訳しました。 政府のウェブサイトには、法律で定められている定義があります。 さらにいくつかの定義がありますが、ポイントは次のとおりです。 オープンデータとは、それを所有する組織（オーソリティ、オープンステートデータの場合）によって公開される情報であり、自由形式（つまり、負担のない無料ライセンス）および繰り返し自動処理に適した機械可読形式で提供されます。 データをオープンとして定義する基準がいくつかあります。 クリエイティブコモンズライセンスは、オープンデータのほぼ前提条件です。



原則として、オープンデータは新しい現象ではなく、さまざまな形で長い間存在しており、オープン性のイデオロギーは長年にわたって存在しています。 オープンソースと無料のライセンスは、5年前ではなく、10年前ではなく、はるか以前に登場しました。 特にその研究を行う科学界では、その結果のために、あらゆる方法でそれらを検証、検証、公開、および操作する能力が重要です。 研究は、原則として、排他的に-今私たちが呼ぶもの-機械可読な特別な形式です。



今日、世界中の先進国はさまざまな方法で開放性を求めています。 今年の6月、英国で開催されたG8会議で、ホストはOpen Data Charterへの署名を提案しました。 また、ロシアによって署名されました。 憲章に記載されている主な原則は、デフォルトデータの公開性、機械可読形式でのタイムリーな公開、透明性、および開発者がオープンデータに基づいてアプリケーションを作成する条件を確保する義務です。



「膨大な量のデータを蓄積することにより、当局や企業は、それらを簡単に見つけ、使用し、理解できるように、常にそれらを共有するとは限りません。 これらは逃した機会です。 私たちは、新しい時代の前兆となる転換点に来ました。 人々はオープンデータを使用してアイデアを生成し、世界をより良い場所にするサービスを作成できるようになります」と憲章は述べています。



現在、すべてのG8諸国は、犯罪率、企業の登記、土地取引に関する情報を開示する用意があることを宣言する必要があります。 もちろん、このビジネスのリーダーは、長年にわたってこれを行ってきた英国と米国です。 しかし今、ロシアを含む世界の多くの国々がオープンデータの公開を開始しています。



これは、あらゆる種類のテクノロジー企業の成長、およびデータの価値の成長、知識経済の成長、ビジネス全体が情報の自由に基づいているYandexなどの大企業の出現に影響されました。 インターネット上のすべてのサイトが有料であり、データを集約することが不可能な場合、オープンデータの問題は発生しない可能性があります。 パブリックドメイン情報の操作は、これに大きな影響を与えています。



その結果、いくつかのトレンドがまとめられ、このまさに現象が現れました-情報へのアクセスの自由とオープンデータ。 これは、主に国家によって、一般的にはだれによっても作成された情報が、原則として利用可能であり、また再利用できるようにする必要があるという事実にあります。 誰かが何らかの調査を実施し、その結果が表に示されている場合、私たちはそれを確認して使用し、おそらくこれらの結果に基づいてビジネスを行うことができるように、写真ではなくテーブルを取得する必要があります。 州がその活動に関する情報を明らかにする場合、市民はそれについて知るだけでなく、それに基づいて何かをすることも有用です。 社会的効果、経済的効果、「市民統制」、「腐敗との市民の戦い」などの効果があるかもしれません。 しかし、それでも、わずかに異なる形ではありますが、これは経済的効果です。 州によって生成された膨大な量の情報がアップロードされるオープンデータポータルは、主に政府によって作成されます。 それから、何か面白いものや有用なものを作ることができます-これは、オープン性のイデオロギーが具体的な製品に変換される方法です。



しかし、すべては役人や国家からではなく、もっと早くそれを始めた人々から来ました。 英国では、オープンデータポータルが登場する前に、「状態を再リンクしましょう」-再配線された状態のようなプロジェクトを開始した多数の小さな開発者グループがいました。 または、たとえば、 ScraperWikiは長い間存在していました。Pythonのプログラミングを少しでも知っている人なら誰でもプログラムやスクリプトを書いてサイトデータを抽出できる特別なエンジンです。



徐々に、それは非常に巨大になったため、州がデータを開いたかどうかは関係ありませんでした-彼らは何らかの形でそれを抽出する方法を学びました。 data.govが登場する前の米国には、議会レポートからデータを抽出し、PDFファイルをExcelファイルに変換し、Excelファイルがデータベースにアップロードされ、そこで.CSVに変換されたKnights Foundationの Sunlight Labsがありました。 強い世論の圧力により、アングロサクソン諸国では、当局者と当局の代表者が、彼らがそれを行うか、彼らのために行う州に来たという事実に至りました。 そして、デビッドキャメロンがオープンデータのトピックに固執しなかった場合、彼がパーティーのプログラムにそれを含めず、それで権力を握らなかった場合、グリーンパーティーが来て、データのオープン性がプログラムに登録されます。 そして、この開放性は情報ではなく、データです。





Guardian Datablogインフォグラフィック



そして、そのような状況における国家の正しいステップは、トレンドに抵抗するのではなく、トレンドをリードしようとすることです。 そして、それは、優先度が考慮されるベクトルにそれを展開しようと試みます。 これはそれほど悪くはありませんが、独自の詳細があります。



ロシアでは、状況はほぼ同じです。 私は2009年からオープンデータに携わっていますが、それまではこの方向での州側の行動はありませんでした。 2年間、私たちは積極的にこのトピックを推進していましたが、国家を必要としない程度まで進んだことが完全に明らかになったとき、突然、その代表者はこの傾向をリードする方が良いと思いました。



モスクワはこの点で一定のリーダーシップを発揮しています。たとえば、ここでは、連邦政府が行ったよりも早く予算ポータルを作成しました。 私の意見では、そこに置かれたデータは完全に便利ではありませんが、それらを使って作業できます。



通常、オープンデータを最初に使用するのは市民活動家です。 たとえば、米国では、彼らは議員同士を比較し、さまざまな評価を行っています。 スピーチのトランスクリプトを使用して、彼らは議員が四半期中に話した言葉の数を見つけます。

オープンデータステータス

通常、データは3つの条件付き形式で存在します。



最初の。 手頃な価格で仕事に適しています。 つまり、州またはその所有者がマシンの可読性を確保します。 ここで入場のしきい値は最小限です-それらをいくつかのカードに入れて携帯電話に適用できます。 すべてがすぐに準備できます。



二番目。 状況はさらに悪くなります。原則として情報はありますが、さまざまなサイトから抽出する必要があります。 たとえば、州下院議員に関する情報は州下院のウェブサイトにありますが、ウェブページの形で抽出する必要があります。



地域別のモスクワ市の水質に関する情報は、モスボドカナルのウェブサイトにあります。 しかし、最初に通りに入り、次に家番号を入力しなければならない特別なサービスを通じて、その後、面積、汚染レベル、さまざまな指標の汚染レベルが与えられます。



このすべての情報を収集するために、活動家はさまざまなスクラップブックを作成します。これは、Webサイトから情報を削除し、それをいくつかのデータベースに変換するプログラムです。



三番目。 何らかの形の情報は原則として存在しますが、公共の場では利用できません。 一般に、私たちが行うことは、情報の透明性を達成することです。 私は今、自分自身だけでなく、ロシアで積極的にこれに従事している他の多くの活動家（商業会社を含む）について話し、情報の公開性を達成しようとしています：

1. そのため、すでに機械可読形式で公開されているデータが作業に適していて便利であるため、エラーが最小限に抑えられます。
2. そのため、現在機械可読ではないデータが変換されます。 それらが公開されている場合、それらを便利にしましょう。これが最も重要なことです。
3. そのため、現在公開されていないものは公共スペースに表示されます。

このため、いわゆるOpen Data Councilが Open Governmentに登場しました。 州は、これに参加する準備ができていると述べており、いくつかの変更が法律、規制に加えられています。 原則として、データのオープン性を確保するために作業を開始し、それらを使用するために、制限はありません。

オープンデータソース

オープンデータは公開されているだけではありません。 これは主に、巨大なクラウドソーシングインターネットプロジェクトのデータです。 たとえば、すべてのウィキペディアがダンプの形で利用できることを誰もが知っているわけではありません。 またはウィキデータ 。 これは、一般的に驚くべきイデオロギープロジェクトです。 そして、 DBpediaは反対側から来ます。 ウィキデータは人々が徐々に情報をデータに変換するためのものであり、DBpediaは以前のインフォボックスを接続されたデータに変換できるようにアルゴリズムをシャープにするためのものです。 現在Googleに買収されているFreebaseプロジェクトは、DBpediaとWikipediaで完全に構築されました。 連中はデータをダウンロードし、さらに何かを追加できるインターフェースを作成し、これに基づいてかなり高価な製品を作成しました。



プロジェクトOpenStreetMap 。 同様に、巨大なデータダンプが公開されており、使用できます。 クラウドソーシングとして開かれており、そこからデータを収集できるプロジェクトが数十あります。 これらは主に、さまざまな百科事典、参考書、ユーザーデータベースです。



たとえば、フランスでは、製品を監視し、成分、EANおよびEPCコードを別のデータベースに入力して配布する活動家がいます。 したがって、栄養制限のある人がどの食品を食べられるかを理解できるディレクトリが作成されます。



つまり、データの一部は、活動家がさまざまな形式、さまざまな形式で作成するものであり、もう1つは州が提供するものです。 最大のデータ所有者です。 3番目の部分は、営利企業および非営利企業によって公開されたデータです。



前者は通常、2つの形式で公開します。 強迫の下で、または社会的責任または他の動機によって導かれる。 たとえば、一部の開発者は非常に魅力的です。 ナイキは、工場用に機械で読み取り可能な情報を公開しています。

世界でオープンデータを使用する方法

開発者はよく「オープンデータに基づいて何ができるか、いくつかの例は何ですか？」と尋ねます。そして、他の人が何をしたかを常に見ることをお勧めします。 競争サイトNyCBigApps 、 Apps4Development 、 Apps4Berlin 、 Apps4Finland 、 Apps4SanFranciscoをご覧ください 。 それらのすべての例がロシアに転送できるわけではありませんが。



Do Not Eat Hereプロジェクトを作成した人たちは、オープンデータを取得することさえしませんでしたが、ニューヨーク食品検査Webサイトのデータを解析しました。 彼らは住所、会社名、検証の結果が記載されている場所を見つけ、地図上にそれらをマークし、同じフォースクエアの原理で機能するアプリケーションを作成しました。 これは、発行済みおよび未公開の処方箋の数に基づいて、どこに行くかが価値がないことを示しています。 アプリケーションはわずかな料金で販売され、人々がインストールしました。



City-Go-Roundプロジェクトの一部である膨大な数のアプリケーションがあります。 これは、輸送会社とアプリケーションに関する情報がデータに基づいて集約されている米国の小さなポータルです。2000社が別のリストに収集されています。 そのうちの270は、特別な形式で一般的な輸送データを提供します-一般輸送フィード仕様（ GTFS ）。 このおかげで、このデータには何百ものアプリケーションが作成されています。



たとえば、 Storifyのような新しいメディアプロジェクトがあります。 膨大な量のオープンデータが既にロードされており、これをミニ新聞で使用して、それらに基づいてハーフィックやその他の複雑な視覚化を作成できます。 これにより、ストーリーを補足できます。 Storifyは、人々自身がオープンデータを使用する方法を考え出す環境を作成します。 同じシリーズでは、インフォグラフィックをオンラインで作成し、チャートを描画し、既製のデータをロードし、すでに開いているデータを操作できる多くのプロジェクトを配置できます。 これは、GoogleがMetaWebから購入したのと同じFreeBaseであるSacrato、 Factualです。







使用したデータが完全な製品を作成するのに必ずしも十分ではないため、アプリケーションでお金を稼ぐことが常に可能とは限りません。 ただし、他の方法で結果を収益化できます。



データはいくつかの成分のようなものです。 塩がなければ、料理は美味しくありませんが、食べることはできます。 あなたが塩を持っているなら、あなたはそれをより高価に売ることができます、またはあなたが食べたものはより喜ぶでしょう。 データが料理そのものである場合もあれば、この塩そのものである場合もあります。 つまり、いずれの場合でも、原則として、それらはほとんど意味がありません。 そして、オープンデータで動作する多くのプロジェクトは、実際にはそれらを追加としてのみ使用します。



たとえば、米国および英国では、不動産サービスが急速に変化しています。 誰もが長い間提供してきた馴染みのある基準に加えて、彼らは、例えば、あなたが生活を始めようとしている都市の犯罪状況や気象データを表示し始めました。 これらの情報はどこから来たのですか？ 米国では、過去20年間、気象データが公開されています。 これは、世界で最も収益化されたオープンデータです。



犯罪情報は警察署によって公開されています。 それに基づいた数十のプロジェクトがすでに登場しています。 環境状況に関する情報も公開されています。 繰り返しますが、それは状態監視の一部であるか、商用です。 したがって、私は常に開発者に自分でできることだけでなく、自分の仕事の結果に組み込むことができるものとそれから余分なお金を稼ぐ方法について考えるように伝えます。



そして、開発を適用する方法の1つは、間接的な収益化-作成したものを販売することです。 たとえば、Chicago Crime Crime Monitoring Projectを行った人は、それをMSNに販売し、それがポータルの一部になりました。



また、英国では、さまざまな病院で心臓手術の成功に関するデータが発見された後、死亡者数が減ったことを非常に誇りに思っています。人々はこの情報に基づいて病院を選択し始めました。



米国では、オープンデータで発生する膨大な数のスタートアップが、さまざまな既存のアイデアでオープンデータを補完するために作成されています。

ロシアのオープンデータ

オープンデータを扱う上で最も重要なことの1つは、便利な形式です。 ロシアでは、これはしばしば尊重されません。 さらに、オープンデータに関する法律を採用しているという事実にもかかわらず、多くの政府機関はウェブサイト上の情報に注意を払っていない場合があります。 たとえば、更新するのを忘れがちです。



わが国の一部の公開データは、営利団体によって公開されています。 たとえば、Yandexでサポートされているロシア語言語隊 。 ロシア鉄道は、提供するメリットに関するすべての情報を公開しています。 誰がいくつの利益を受け取ったか、関税に関する情報、財務諸表を知ることができます。 企業のウェブサイトにアクセスして、そこで公開されているものを確認するだけです。





モスクワ市長選挙の投票率に関するデータに基づくスケジュール



USEにはすべての欠点がありますが、重要なプラスがあります-学校での教育の質を測定できます。 しかし、データは散在しているため、それらに基づく適切なプロジェクトはありません。 そして、「Pick a School」アプリケーションを作成したり、この情報を不動産サービスに追加したりできます。



別の部分：住宅および共同サービスです。 モスクワ当局は、住宅と共同体に関する多くの情報を開示し始めました。 ポータルgorod.mos.ruには、各家に関する情報があります。 そこからすべての家までのデータを解析すると、苦情の件数、苦情への対応の速さなどがわかります。 データベースを収集するだけです。 また、ポータルの開発者は自分自身でそのような目標を設定していませんが、私たち自身がそれを作ることを妨げるものは何もありません。



わが国は、公共調達に関するデータが完全に公開されている数少ない国の1つです。 それらの処理は、ビッグデータであるため、非常に単純なタスクではありません。 しかし、彼らは便利なサービスを提供することができます、例えば、サプライヤー。



ロシアの州データは現在、多くのポータルに散らばっています。 各省庁、各連邦機関には、独自の特別セクションがあります。 いくつかのオープンデータポータルがあります。モスクワのポータル、ウリヤノフスク地域のポータル、現在ペルミ準州、パーマテリトリーのトゥーラ地域のポータルがあります。 「Informkultury」にはhubofdata.ruポータルがあり、大量のスクリプトではなく数十ギガバイトの有用なデータをロードします 。 統計によると、3000個のアレイがあります。 州下院議員の投票に関するデータ、経済記録、モスクワのすべてのデータ、ウリヤノフスク地域のすべてのデータ。







同様のポータルがあります-これはar.gov.ruであり、経済開発省によって管理されています。 彼らは現在、存在するすべてのものを単にカタログ化およびカタログ化しています。 モスクワ市の予算に関するデータは、開発者向けのセクションがある特別なポータルbudget.mos.ruで公開されています。



これまでのところ、公開データの公開は連邦当局のみに義務付けられています。 プロセスは徐々に進行しています。 施行されていない多くの法律があります。 たとえば、連邦法N 8-FZ-情報の透明性。 政府機関の10％が100％に対応しています。 残りの部分は-ささいなことで-それに違反します。 そして、常に意識的にではなく、公式サイトを維持する人々の過失のためです。 しかし、署名された憲章とデータの公開性に関する採択された法律は、それらとの連携がすでに国家政策の一部になっていることを示しています。 私たちの特徴は、どのような情報が基本的に存在するのかわからないということです。 たとえば、議員の演説の書き起こしがあります。 現在は機械可読ではありませんが、機械可読バージョンがあります。



何かアイデアがあり、助けが必要な場合は、私に手紙を書くことができます-私は常にあなたがあなたの目的に使用できるデータとそれを入手できる場所を教えてくれます。

Apps4Russiaとは

重要なタスクの1つは、オープンデータへの関心を高めることです。 このために、 Apps4Russiaが作成されました。これは、開発者にとって長く継続的な競争であり、州がこのトピックに興味を持つ前に行ったものです。 2011年には、7人が賞金プールを構成するために自分のお金を集め、最初のコンテストを開催しました。 彼に続いて、 非営利のパートナーシップ「情報文化」を作成し、今度は3回目のコンテストを開催しています。 その主なタスクは、開発者がオープンデータに目を向けるように動機付け、プロジェクトに使用できること、また使用すべきであることを理解させることです。



Apps4Russiaは、ソーシャルカードという素晴らしいプロジェクトに参加しました。 これは、携帯電話の座標によって、どの州の機関が近くにあるかを判断し、すぐに携帯電話を持ってきたアプリケーションです：DEZ、政府、警察署など。 これは、さまざまなサイトから収集され体系化されたオープンデータです。 最近、私たちは警察のデータに基づいて小さな競争を開催しました。 その枠組みの中で、地区役員を見つけるのに役立ついくつかのアプリケーションが登場しました。



今年のApps4Russiaでは、その技術で作成されたアプリケーションが競合するYandexノミネートがあります。 非常に具体的なアイデアがあります。Yandexは、オープンデータにも取り組んでいるサービス会社であり、開発者が製品の品質を向上させる多くの機会を生み出しています。 Yandex.Mapsで獲得したプロジェクトの数を測定することは困難ですが、非常に多くのプロジェクトの食品品質が確実に向上しました。 Yandex.Mapsだけでなく、Yandex.Search API 、 他のサービスのAPIも使用できます 。







一般的に受け入れられているAPIに加えて、Yandexには、言語を自由な形式で処理するために特別に設計されたテクノロジーもあります。 たとえば、しばらく前に、このために特別に設計された富田パーサーがオープンになりました。 Yandex.Newsなど、テキストの意味を理解するのに役立つのは彼です。



また、検索と病院のレジストリの助けを借りて、病院の検索エンジンを作成できます。 または、すべての検察官のサイトからデータを収集し、RSSにニュースを追加して、検察官または検察官に関心のある人向けのモバイルアプリケーションを作成します。 そしてそれを検察官自身に売ってください。



各データ配列から小さな断片を取り出して、何らかの方法で使用できます。 組織のレジストリにWebアドレスがある場合、ロボットを再起動してRSSフィードを収集し、モバイルアプリケーション「モスクワ市の最新ニュース」を作成できます。モスクワのすべての部門にRSSフィードがあります。 これはすべてYandexテクノロジーで実行できます。api.yandex.ruにアクセスするだけです。 今年、Apps4Russiaのアプリケーションは9月16日に終了しますが、拡張する可能性があります。

Yandexオープンデータハッカソン

9月14〜15日、モスクワで最初のYandex Hackathonが開催されます。 2日間2晩、開発者はオープンな政府データとYandexテクノロジーに基づいてアプリケーションを作成します。 5人までのチームでも参加できます。 また、既成のチームとして参加することも、その場で組織することもできます。



競技会で長い間考え、その後2時間で彼のために何かをすることができるなら、ハッカソンで速く考える必要があります。 原則として、あなたはそれに備えて来なければなりません。 したがって、何をするかを事前に考え、情報を探す場所を理解し、APIを学習してください。 もちろん、彼らはその場であなたを助けます：オープンデータとYandexテクノロジーに関するコンサルタントがいます。



私はもう一度あなたが販売する製品をすぐに作る必要はないことを強調したいと思います。 別の製品の一部にすることができます。 プロジェクトの特定の部分を定性的に実装しているという事実のために、あなたは自分自身を売ることができます。 そして、必ずしも雇用者ではありません-それは評判のための単なる仕事です。 ハッカソンでは、いくつかの情報とツールに基づいてクールなものを作成できることを示すことができます。



Apps4RussiaとYandex Hackathonの両方の主なタスクは、有用なものを作成できる多くの情報と技術があることを示すことです。