公開データの開発の見通し

保護されたデジタルデータが開き始め、さまざまな専門家がアクセスできるようになると、情報スペースが充実し、加熱されます。 同時に、多くのアナリスト、研究者、専門家の努力により、トピックとグループで構成され、優先傾向の線に沿って編成および構築され、問題を解決するための新しいアプローチ、テクノロジー、モデルを最適化および開発します。



同時に、代替オプションの数が増えており、最も効果的なオプションの選択がより複雑になっていることは間違いありません。



公開データの将来の開発に関するいくつかの興味深い問題について説明しましょう。

この記事は、公開データのトピックに関するシリーズで概説されているアプローチと用語に基づいています。

以前の記事へのリンク

1. データをオープンで無料にできる理由
2. オープンデータ転送
3. オープン、共有、委任されたデータについて
4. コンテンツ、メタデータ、およびオープンデータコンテキスト
5. 公共データ品質指標
6. 公開データ管理：準備と配信
7. パブリックデータ管理：取得と使用

コンピテンシーとツール

公開データの配信とそのアプリケーションでの大規模で本格的な作業の実装には、特別な能力とツールが必要です。



まず第一に、これは、公開データ転送スキームの特性によるもので、サプライヤーと受信者の間の持続可能な個人的相互作用を提供していません。 したがって、サプライヤ自身が追加の作業を行うことを余儀なくされるのと同様に、受信者は、より安定した通信チャネルを介した、より詳細な合意によるクローズドなデータ交換には必要のない多くの手順を実行します。



公開データを操作するために必要な追加の能力とツールは、いくつかのカテゴリに分類できます。

1. データコンテンツの処理 - データの量を減らしたり、定性的な構成を変更したりするなど、データの意味を目的のターゲットフォームに反映する。
2. データのアンロード/ロード -プロバイダーから受信者への公開データの効率的な送受信のため。
3. データの再構築 - データの構造を変更し、対象の作業フォームに移動します。
4. データセットの再フォーマット -エンコーディング、表記法、またはスキーマのレベルで目的のフォーマットに変換します。
5. データ品質監査 -サプライヤによる公開の段階とユーザーによる受領の段階の両方で、デジタルデータセットの品質指標を専門的に評価および検証するため。
6. メタデータ管理 -マスターデータに付随するメタデータを受信、処理、検証、および再フォーマットします。
7. コンテキストとのリンク -コンテキストデータおよび推奨されるコンテキスト「ゾーン」の正式な説明へのリンクを整理します。
8. 手順の編成 -公開データの配信または受信のためのビジネスプロセスの計画、実装、および制御。
9. モデルの開発 -構成要素の1つとして、一般的なアクティビティの一部として公開データを使用した作業の設計、変更、調整を行います。

一般に、関連するコンピテンシーとツールは、いくつかの本格的な標準に基づいている必要があります。公開データの分野では、直接の連絡先を整理し、各サプライヤーまたは受信者と特定のポイントを話すことは非常に難しいからです。 しかし、潜在的に大規模で無制限の参加者の輪により、標準の開発自体は非常に複雑です。 この場合、州の規制当局または専門家コミュニティによって承認された特別な組織（協会）が仲裁人として行動する場合があります。



基準がない場合、被験者は独自に適切な決定を下し、それらの規則または他の優先分野を決定します。



コンピテンシーとツールの3つのカテゴリへの分割に言及することが重要です。

1. 汎用 -これらは、データを操作するための普遍的な能力とツールであり、その使用はその内容と目的に依存しません。
2. 特別な目的 -これらは専門的な能力とツールであり、その使用は公開データの特定の主題分野に関連付けられています。
3. 特別な（1回限りの）目的 -これらは、1回限りの作業または一意の作業に関連する個々の特殊なケースで使用される、高度にカスタマイズ可能なタスク固有の能力およびツールです（再利用は考えられません）。

訓練の問題、専門家の実践的な訓練、およびその後のビジネスの境界内での能力の保存、ならびに実際の活動で便利で生産的なツールを見つけ、開発し、効果的に使用する問題は、 体系的、一貫して、持続的に対処する必要があります。 公開データを使用して作業を確立し、それから利益を得ようとする企業は、これらのことを無視すべきではありませんが、適切なコンピテンシーを作成し、ツールを装備するためには、戦略から始めて運用活動で終わる必要があります。



独立した独立した専門家は、公共データに関する優れた分析と適切な結果を得ようとすると、これらの分野でさらに大きな問題を経験します。 もちろん、合理的な価格と条件で知識とツールへの手頃なアクセスを提供することにより、データプロバイダーまたは専門家と専門家のコミュニティからより多くの支援が提供されると、より安定した高品質の効果が得られます。



これは、パブリックデータプロバイダーの「フィードバック」システム全体を全面的かつ広範に作成することを支持するもう1つの議論です。



パブリックデータの使用と提供の両方において、入力の障壁とあらゆる種類のコストを削減することにより、パブリックデータのビジネスユーザーだけでなく、個々の専門家、ジャーナリスト、研究者をより多く関与させます。

データのリターとサプライヤーの活動

データを開き、データへの無料アクセスを提供するという呼び出しは理解可能で正当化されています。 しかし、すべての経済主体がすぐにそれに従うと想像してください。 標準や規制などの一般に認められた正式な文書で表されたデータの公開ルールとその適用に関する真の共同合意がない場合、すぐにネットワークスペースが詰まってしまいます。



パブリックデータには急いでいる必要はなく、他の情報の問題と同様に、高品質で専門的なソリューションも必要です。



開始する必要がある2つの一般的な質問を次に示します。

• どのくらいのデータが必要ですか？
• どのくらいのデータを提供できますか？

一般に適用可能な形式で高品質のデータを配信することが重要であるのと同様に、公開データにとって向きは重要です。



デジタルデータの無料開示のさまざまな動機について話すことができます。 最悪なのは、偽のデータを落とそうとすることではなく、巨大なデータアレイをネットワークに入れたいという誠実な願望です。誰がこれを必要とするかは不明であり、高速公開では明らかに品質が高くなりません。



関連データを公開し、最新の状態に保つことがはるかに重要です。

そしてここでは、専用の自動化ツールなしではできません。



パブリックデータプロバイダーのアクティビティは、更新の頻度ではなく、ネットワークに「スロー」されるセットの数で測定するのではなく、サブジェクトエリアでカバーし、更新中の品質を維持する必要があります。



「ガベージ」の公開-低品質、不十分な構造、データコンテンツの貧弱-は、情報とデジタルデータの無料配布という概念全体に大きな評判を与え、個々の所有者と「フィギュア」のサプライヤーの評価を悪化させるだけではありません。



これは、公共データの分野での権威ある検査と評価をタスクに含めるべき規制および監査組織またはコミュニティの必要性を招きます。 パブリックデータの所有者、サプライヤー、受信者、およびユーザー側のプロセスの最も重要な参加者が、この方向性の展開に基づいてフレームワークのルールと条件を開発できるのが最善です。



最後に、誰かがゴミをきれいにしなければなりません。

セキュリティと公開データ

経済主体が、そのターゲットまたは経済活動に関連するデータを無料で投稿するように提案された場合、その商業または評判のセキュリティについてすぐに心配し始めます。 このような懸念には根拠がありますが、 専門の公共データ供給管理システム （存在する場合）のレベルでは必然的に排除されます。



一方、自由に分散されたデータの供給から大きな効果を得ることが計画されていない場合、セキュリティサービスの平和を維持し、対象の内部データを外部ユーザーから隔離することをお勧めします-これはほとんどの企業が実際に行っていることです。 これは、デジタルパブリックデータのセキュリティの「内側」の側面にすぎませんが、コミュニティ全体にとってより一般的な側面もあります。



セキュリティの問題は、公開データ自体だけでなく、データを使用してさまざまな種類の犯罪を実行する能力にもあります。



知的犯罪者は、被害者の居場所、財政状態、被害者にとって好ましくない場所のローカリゼーションに関するさまざまなデータを使用する可能性があります。 公開データはメインではないかもしれませんが、恐mailの接続情報です。 重要な情報の漏洩は、詐欺師や詐欺の活動を引き起こします。 さらに、（非常に高品質ではあるが）誤ったデータを公開するという事実は、犯罪者を行動に駆り立てるだけでなく、社会的緊張を引き起こすこともあります。 「実際の信頼できるデータのように」世論を操作することは非常に可能性が高く、より微妙ですが、社会的グループを管理するための専門的で信頼できる（説得力のある）方法です。 ソーシャルネットワーク-これには既に仲介者がいます。



立派な企業、非営利組織、市民を、それらに対する違法な目的で公共データを使用しようとする試みから保護するには、特別な措置が必要です。 州の規制当局は、個人データから始めてすでにこの道を進んでいます。 もちろん、国家および商業秘密の制度はグローバルな情報化の前に存在し、存在しますが、デジタル公共データの状況は多少異なります：情報の普及からの保護ではなく、自由に配布されたデータの違法使用からの対象の保護が必要です。 そして、これは全く異なる話です。



一方で、企業は自身のセキュリティを高めるために、 リスク管理のタスクとテクノロジーの範囲、特に公開データの供給または受信に積極的に関与するものを拡大することができます。 特定され、評価され、制御され、相殺され、排除されるべき新しいリスクが出現しています。



データ公開の分野での法律の順守は、多数の規制、中核、主題、およびその他の規制上の法律行為に関連する複雑なセキュリティ問題です。 実際、1つまたは別の規制に違反する可能性は非常に高いです。 そして問題は、最初はすべてをきちんと正しく行うのではなく、できるだけ早く苦情に対応し、重大な物的および道徳的損害を引き起こすまで違反を排除することです。

公共データ分野の知識マイニング

データ宣伝システムの開発と仕事に適したデジタルセットを備えたグローバル情報ネットワークの段階的な飽和は、 知識の獲得に関してかなり複雑であるが興味深い質問を提起します。 これは一種の技術であると同時に、新しい知識を得るためにデジタルデータを段階的に収集、処理、分析するための戦略です。



おおよそのスキーム：

1. 問題を特定します -サブジェクトエリア、視点、ターゲット、基準などを策定します。
2. 「エントリポイント」を見つけます -処理の対象となるデータソースの限定されたサークルと公開データのターゲットセットを定義します。
3. データの受け取りと処理 - データを受け取り、データの準備と分析に必要なすべての手順を実行します。
4. 得られた知識を形式化します -データの処理と分析の結果に基づいて、仮説を構築し、可能な限りそれらを確認し、結論を導き、正当化を定式化し、事実と現象を登録し、得られた知識を視覚化し、それらを正式に記述します。
5. 私たちは「問題点」を定義します -私たちは、証明または大規模な研究を必要とする得られた知識の中で議論のある場所を見つけ、最も重要で興味深いものを選択します。
6. 「拡張ポイント」を見つけます -デジタルデータの追加ソースとセット自体を選択します。これにより、同じサブジェクトエリアで以前に収集されたものを補完できます。
7. 利用可能なデータを補完します -新しいデータを受け入れ、以前または新しいスキームに従ってデータを準備および分析する手順を繰り返します
8. 形式化された知識を拡大しています-再処理と分析の結果に基づいて、仮説を完成させ、より多くのデータでそれらを証明し、結論と正当化を策定し、事実と現象の保管場所を拡大し、知識とその視覚化を新しい定性的なレベルで更新します。
9. 再び「問題点」を定義します - ステージ5サイクルに戻りますが、より有能なレベルです。

ですから、このようなものは、グローバルネットワークのパブリックデータから知識を抽出するプロセスのように見えます。 もちろん、説明の直線性と簡潔さは、「数字の層」から有用な効果を抽出する単純さを特徴付けるものではありません。



最も興味深いのは、グローバル情報スペースの公開データからの知識の抽出が無限のプロセスであり、同じリソースに繰り返し実装される可能性があることです。 通常のリソースの抽出で一次原料を処理する可能性が1つしかない場合、無形の知識を抽出するために、同じデータセットを繰り返し使用することを妨げるものは何もありません。



おそらく、「知識の獲得」という用語でさえ、説明されたプロセスの誤った考えを与えます。 生産の概念は通常、材料資源（原材料）に関連付けられており、一種のそのような機構的な図を形成しますが、有用な知識の抽出は、方法論と科学的創造性、研究者の才能と運の一部に基づいています。 それにもかかわらず、一定の総量から、連続的で複雑な質量から有用なものを抽出するプロセスとして、知識を得るという考えは非常に説得力があります。



知識の生産が建設的に行われ、「採石場での地獄のような仕事」にならないようにするには、「原材料」の供給者に多大な努力を払う必要があります。 高品質の公開データの公開は多くの問題の回避に役立ちますが、主なことは、データを正しい状態にするための非生産的なコストを回避することです。







そして、公開データの提供者に触れたとき、データの無料開示の主な動機をすぐに思い出さなければなりませんでした。それは、知識の直接抽出だけでなく、間接的についても話すことを強制します。



上記で説明したのは、直接のユーザーが公開データから知識を直接抽出することだけです。



公開データからの知識の間接的な抽出は、そのデータに基づいて受信者によって作成された新しい知識のサプライヤーによる取得です。 間接的な知識の生成は、ユーザーフィードバックメカニズムとテクノロジーによって実装されます。 この場合、サプライヤはコミュニティとシステムの開発を余儀なくされます。システムは、公開データへのアクセスに基づくターゲットサブジェクトエリアの知識ほどデータを処理しません。



したがって、ユーザーにとっても公共データプロバイダーにとっても、「知識マイニング」の概念は同様に重要ですが、他の方法で実装され、徐々に強力な技術分野に発展しています。

データラボ

公開データは有用で魅力的であるため、新しい消費者や製品で新しい市場を形成できる可能性があります。 「データラボ」という用語で、公開データの分野のビジネスを条件付きで指定してみましょう。







そのような「研究室」によって提供されるサービスの範囲は何ですか：

• 公開データを扱うための専門的な能力とツールの開発と販売。
• 公共データのソースと個々のセットの研究、ソースとセットに関する専門家の推奨事項の開発。
• 品質、量、メタデータ、コンテキストに関する公開データの監査、およびデジタルデータセットのソースの監査。
• 公開データの分野における能力と知識ベースの形成。
• オープンデータと共有データの登録を維持する（包含に適用するパラメーターと機能の検証を伴う）;
• データの発見と共有の分野の専門家の準備とトレーニング。
• データの委任に関する個人への推奨事項。
• 規制上の法的行為に関する集約と協議。
• 公共データの分野における基礎（規制、標準、標準文書）の形式化。
• 注文および独自の研究プログラムに関するデータの直接的な主題分析。
• パブリックデータビジネスへの参入障壁の削減（サプライヤーと受信者の両方）;
• APIを介して公開データを取得するためのパッケージサービスを構築します。
• データパッケージ、ケーススタディとアイデア、アプリケーションとイニシアチブの評価に基づくプロジェクトの開始。
• データの公表に関連するリスクの研究、推奨事項の開発、最小化する方法、有害な状況の結果を排除する方法など。
• デジタル経済の分野の1つとして、パブリックデータコミュニティの開発に積極的に参加するためのイニシアチブ。
• 公開データの概念の開発とその普及。

上記に基づいて、「データラボ」はむしろ独立したビジネスを通じて実装できるものの、むしろ機能的なサブシステムであることが明らかになります。 これは、パブリックデータの分野で新しいプロジェクト（イニシアチブ）を作成および（または）サポートするビジネスです。



データの販売ではなく、公開データに関する知識の販売、公開用のツール、および完全なまたは特殊なパッケージでの使用に焦点を当てています：ソフトウェアアプリケーション、技術文書、トレーニング、テンプレート、テクニック、ベストプラクティスなど。



データラボは、無形資産に基づいて構築され、オープンな知識の分野で活動する新しいタイプの研究経済エンティティです。 すべての来訪者が公開データに真にアクセスできるようにするには、処理と表示、監査とローカリゼーションのためのサービスが必要です。 「ラボ」のこのタスクは、この分野のトランザクションコストを削減する必要性に基づいています。 ビジネスモデルのフレームワーク内でのオブジェクトの必須の対話の集中化と自動化でのみ可能になるもの。



このような組織のもう1つの特徴は、二次データ（情報）の処理、分析、および普及における情報の透明性です。 特別な能力とツールの開発に関してのみデータラボの機能と結果を閉じることは可能ですが、一般に、積極的な開発を維持するためには、十分に公開する必要があります。 さまざまな問題について、無制限の、または条件付きで制限された人の輪に開かれた情報。



データラボのような組織は、デジタルデータセットの公開および（または）ターゲットプロセスの他の参加者への実装のための凝集トランザクションのコストを削減します。 オープン、共有、および委任されたデータを使用する場合、単一の高レベルの競争力を作成できるため、対応する方向の市場にある程度の安全マージンが設定されます。

オープンおよび共有データのポータル

公開データ、特にオープンで共有されているデータを1か所で収集するのは良いことです。 いくつかの一般的な合理化された管理されたリポジトリは、デジタルのオープンな共有データへのポータルです。



ポータルは、パブリックデータの集中化として、積極的かつ広く開発されなければならない重要なリソースです。 しかし、誰がそれを開発するのかという問題は完全には明らかではありません。 状態レベルでの実装は、オープンデータのみに制限されますが、これはもちろん正しいことです。 政府機関に代わって個々の商業組織のデータを公開したり、そのための場所を提供したりする必要はありません。 共有データの単一のポータルを作成するために別のビジネスの責任を取ることは、非常に野心的で費用のかかるタスクです。



パブリックデータポータルでは次のことが可能です。

• 公開されたデジタルデータのセットのコピー;
• 他のネットワークリソースで公開されているデジタルデータへのリンク。
• データを受信するためのAPIリンク。
• ポータルに保存されたデータ、またはサードパーティのソフトウェアインターフェイスを使用して公開されたデータを取得できる中間API。

さらに、ポータルデータへのアクセスは、静的および/または動的な方法で代替的に実装することもできます。 つまり、特別なソフトウェアツールを使用してデータを受信する準備ができているユーザーはAPIを使用し、他のすべてのユーザーは単にファイルをアップロードします。



ポータルの価値は、仮想のデジタルセットを一覧表示するだけでなく、詳細な説明を提供する場合、明らかに増加します。

言い換えると、ポータルには、各データセットに、データセットの品質を説明するパスポートが付属している必要があります。 パスポートは、ソース、キーメタデータ、およびコンテキストとの関連を示します。 ただし、これらすべてに公開データの専門家による評価と、構造と形式だけでなくコンテンツの監査が伴う場合、このようなポータルは間違いなく成功します。 ただし、これは非常に面倒であり、公開データのコピーをポータルに直接保存するオプションも適切な技術リソースを必要とします。



パブリックデータポータルの機能を最適化する方法の1つは、 ディレクトリを使用することです。 本格的なポータルとは異なり、カタログには他のネットワークリソースへのリンクのみが含まれており、必要な限定された説明がそれらに付属しています。 デジタルデータセットを整理するためのオプションの1つとして、カタログは正常に使用できますが、デジタルデータのさまざまなコレクションやパッケージへのアクセスを可能にする本格的なシステムとして、ポータルモデルから多くを失います。



残念ながら、検索エンジンは、オンデマンドで単純なテキスト情報を探し続けていますが、データセットまたはセット内のデータの検索に焦点を合わせていません。 ただし、現時点では、公開データの完全に機能するポータルは（この出版物の理解では）登場していませんが、プロトタイプと実験サンプルが登場しています。 グローバルネットワークの情報環境は十分に急速に発展しており、パブリックデータが完全に運用可能になると、テーマまたは地域の原則に従って複数の大規模プロジェクトがそれらを統合する可能性があります。



それにもかかわらず、カタログで整理された、またはポータルで収集された公開データでさえ、大企業や個々の専門アナリストの活動分野のままです。 中小企業での効果的な適用のためには、「オープンフィギュア」への直接アクセスを提供するだけでは不十分です。マネージャーに効果的なツールを装備し、重要なこととして、関連する能力を移転する必要があります。

パブリックデータネットワーク

遅かれ早かれ、公開データは別の質的レベルへの移行を余儀なくされます。



それらは標準構造に変換されます。 それらは一般的な形式にカットされます。 彼らは便利で生産的な保管場所を作成します。 そして、もちろん、それらはさまざまな管理リンクによって互いにリンクされます。 一般データと構造化データの両方の異なるパブリックデータセット間の接続リンクの成長に伴い、デジタルパブリックデータのネットワーク全体が形成されます。 このようなネットワークの開発には、少なくともパケット間および構造内リンクの形式と内容に関して、多くの実際に重要な標準を開発する必要があります。 また、メタデータの質の高い作成とコンテキスト情報とのリンクの標準も必要になります。



ネットワークは、公開データのより複雑なモデルであり、その要件は、主に高品質で完全なメタデータの供給という点で増加しています。



これには、「デジタルメタデータ」などの方向性の開発が必要です。

ポータルとは異なり、ネットワーク内では、パブリックデータがグループ化されるだけでなく、リンク、補足、強化されます。 さらに、あらゆる種類のデータ（オープン、共有、委任）に対してバインディングが可能であり、合法です。 主なことは、このコミュニケーションは与えられたルールに従って実行され、明確な手順に基づいて決定されるべきであるということです。



ただし、ネットワークはデータ相互接続のモデルですが、関連データのセットへの「エントリポイント」ではありません。 ポータルはそのような「エントリポイント」を表し、公開データの主題、構造、および形式を削減する必要があります。



パブリックデータコミュニティは、パブリックデータシステムの形成と新しい知識の検索に必要な原動力です。これは、利害関係者との対話レベルでのパブリックデータネットワークのアイデアの具体化です。



このようなコミュニティの目標は、無料で再配布可能なデジタルデータの分野で効果的ソリューションを迅速かつ有能に作成および転送することです。コミュニティに参加することは、関心のあるユーザー、専門家、アナリストと結果、データセット、および評価を共有するのがはるかに簡単で便利です。



サプライヤーは、新しいユーザーを引き付け、体系的なフィードバックを可能にするため、コミュニティに興味を持っています。



受領者は、コンピテンシーとツールを開発するための環境を作成し、またサプライヤーにデジタルデータ公開モデルの可能性を真剣に検討させるため、コミュニティに興味を持っています。



ネットワークの出現は、ビジネスの必要性を排除するものではありません-公共データの分野で働く研究所。ネットワーク上で配信される「番号」は、コンテキストと代替案に追加でリンクされ、要件への準拠をチェック、構造化、チェックする必要があります。データの適用（実装）に関する推奨事項を作成する必要があります。さらに、大規模ネットワークに統合された公開データを操作するための能力とツールを作成することには、まだ大きな方向性があります。

公開データは新しいデジタル経済の一部です

データ量は自信を持って集中的に増加しています。情報源の数は非常に多く、個々の市民から自律的な物理ロボットまたはソフトウェアロボットまで、真に多様化しています。データへのアクセスは無料で、その分析方法は無料です。



データセットに仮説を立ててテストすることにより、認識のプロセスは、経済的コストと管理手順の最適化により、異なる質的レベルで編成されます。結果として、古い問題と満足できる緊急のニーズに対する新しいモデルと新しい解決策が登場します。さらに失敗したプロジェクトと開始、さらに誤った結論と批判、さらに多くのデータ操作があります。しかし、最終的には、オープン性は研究の独立性と客観性を高め、新しい知識を生み出すはずです。



この点で、物質的または技術的な問題が生じるだけではありません。データの「リリース」の心理学は、とりわけ、検閲の恐れ、重要なデータの漏洩の恐れ、商業情報の開示、科学グループと研究グループ間の競争の激化に関連しています。



パブリックデータは、新しいデジタル経済モデルの大部分で重要な部分です。そして、このパートも含めて、真剣に仕事に取りかかるときです。



デジタルの世界は、ビジネスと社会の変化を余儀なくさせ、共同の効果的な仕事のために、より大きなデータセットの交換を強制します。一部の人々は、作成される情報の普及を制限するためのアプローチを根本的に再考し、開発と成長のオープンな方法または「城」の建設における原始的な活動のための孤立したサンドボックスを選択する必要があります。



パブリックデータは、単なるファッショントレンドや美しい用語ではなく、デジタル経済時代の知識を開くための最初のステップの1つです。