パブリックデータ管理：取得と使用

内容、構造、形式にわずかな変更があったとしても、1つのソースからのデータを繰り返し使用するには、さまざまな機器、情報、エンジニアリング、管理、法的問題の解決が必要です。



データセットの単一のアプリケーションを「手動」モードで実装できます。 しかし、すでに繰り返され、同じ更新セットに基づく後続のデータ更新では、少なくとも部分的に自動化の問題を考慮する必要があります。 さらに高いレベルのタスクは、さまざまなサプライヤから定期的に更新される多くのパブリックデータセットを含むシステムのフレームワーク内で解決されます。

この公開は、公開データのトピックに関するシリーズの次のものです。

以前の記事へのリンク

1. データをオープンで無料にできる理由
2. オープンデータ転送
3. オープン、共有、委任されたデータについて
4. コンテンツ、メタデータ、およびオープンデータコンテキスト
5. 公共データ品質指標
6. 公開データ管理：準備と配信

無制限または条件付きで制限されたユーザーサークルに提供されるデータの取得と使用は、閉じたデータ転送スキームの下で作業するよりもやや複雑です。サプライヤーへの依存は強く、それとの相互作用は最小限です。



公開データの使用を管理するためのいくつかの原則を見てみましょう。

戦略

受信者のための公開データ戦略の開発は、価値のある高品質の結果を抽出することを目的とした合理的な活動の基礎を形成します。 明らかに、ユーザーがこの作業を真剣かつ有能に整理する場合、そのような戦略が続き、新しいデータと知識、知識管理、ビジネス分析を検索するための戦略、およびビジネス全体の科学的および技術的開発のための戦略が続きます。



もちろん、緊急の特別な問題を解決するための「試行」検索と主題公開データの使用の特定のケースは除外されません。 オープンモードとフリーモードで利用可能な欠落データまたは明確化データを取得する運用タスクだけが必要な場合、「公人の生産と処理」のシステム全体を構築するための本格的な動機は明らかにありません。 それにもかかわらず、そのような場合でも、公開データのセットの1回限りの実装を引き起こす可能性のある問題を理解することが役立つ場合があります。



パブリックデータの定期的な受信者にとって戦略的に重要なのは、これらの領域です

1. データを取得する目標と 、新しいデジタルセットを検索する主要な主題分野を決定する 。 内部問題とビジネスインテリジェンスシステムへのリンクが必要です。 スマートビジネスでは、ダウンロードされた公開データは、専用ソフトウェアまたはリースされたソフトウェアを使用した経済分析および経営分析に特に使用されます。
   
   
   
   
2. 期待される結果の予備的な予測（予測）を伴う、目標と主題分野に応じたパブリックスキームによるデータ転送の大規模なサブタスクの定式化 。
   
   
   
   
3. 実質的、構造的、フォーマット化された側面を含む、検索および取得用のデータを選択するための基準の形式化 。 おそらく、内部の閉鎖または公的規制（標準、規則）の形であっても。
   
   
   
   
4. 一般原則の形式または個々のイベントのレベルでのデータの検索と選択の計画 。 一部のプロのパブリックデータプロバイダーにとって、アクティブで評判の良い受信者向けのこのような計画について学ぶことは興味深いかもしれません。
   
   
   
   
5. 公開データの直接かつ一貫した品質管理のシステムを構築します。 品質を包括的に監視し、必要に応じてタイムリーな調整を行うか、データを適用外としてマークするために、データセットを処理するプロセス全体を通じて特定のキーおよび補助操作を通じて呼び出されます。 ここでは、データで見つかった重要な問題についてサプライヤにフィードバックを提供できることが重要です。
   
   
   
   
6. パブリックデータスーパーバイザーは、ユーザーの目的でデータを検索および受信するプロセスの一般的で問題のある評価を目的とする、別個の制御および調整機能です。 「スーパーバイザー」については、ベンチマークを決定し、直接的なデータ選択手順だけでなく、新しい意思決定や知識（製品）の直接的な効果を受け入れるか、引き受けることができるユーザー組織内のプロセスおよびオブジェクトを積極的に観察および介入できるようにする必要がありますおよびサービス）。
   
   
   
   
7. 個々の投稿への機能の割り当てと、既存の職務の機能への合理的な追加の両方による、公開データの人的サポート 。 公開データの分野における個々の従業員の能力を忘れないでください。
   
   
   
   
8. デジタルデータセットを直接使用する手順が複雑なため、データの検索、選択、取得、およびアプリケーションツールをサポートします。
   
   
   
   
9. マシンリソース（ストレージ、コンピューティングパワー、専門家）の評価と追加の割り当てに関するデータを取得するための技術サポート 。
   
   
   
   
10. サプライヤが確立したパブリックデータ転送の一般契約（条件リスト）の採用レベルと、それに基づいたデータまたは結果の処理および再転送の後続レベルでのデータの取得および適用の法的サポート 。
    
    
    
    
11. 潜在的なサプライヤを強調するデータを取得し、デジタルデータセットを自由に配布および更新することを推奨するためのマーケティングサポート 。

いくつかのポイントは、パブリックデータプロバイダーの戦略と一致しますが、まったく反対の方向にあることに注意してください。 これは、公開データのプロバイダーと受信者の戦略を構築する特定の「鏡像」の結果です。



パブリックデータを管理するための受信者の有能な戦略の基本的な目的は、概して、必要なデータを効果的に検索または取得し、それを独自のビジネス分析の一部として使用して、新しい知識（ソリューション、製品、サービスなどの作成）を特定および定式化することです。 ）無料モード。



公開データの受信者（ユーザー）は異なります。 そして、それぞれに独自の戦略があります。 大企業が自由に配布されたデジタルデータの収集と使用に従事している場合、システム性、範囲、アルゴリズム、および能力に焦点を当てています。 もし私人（専門家、起業家）が同じことをするなら、彼は詳細と一回限りの結果に集中するでしょう。

検索する

一方 、「デジタル」の世界では、単純なテキストの質問に対する答えを見つけるのにほとんど問題はありません。 特別な検索サービスのフィールドに正しいクエリを設定するだけで十分です。 その後、発行されたリンクの表示に時間を費やし、リクエストを繰り返し改良する機会があります。



一方 、デジタルデータセットの検索は完全に異なるタスクであり、いくつかの異なる方法で解決する必要があります。検索サービスだけでなく、データが必要なサブジェクトエリアに向かう可能性が高くなります。 パブリックデータ用の個別の検索エンジンはまだありませんが、統合されたディレクトリとポータル全体がすでに活発に登場しています。 エキスパートコミュニティとリンク交換が大いに役立ちます。



多くの点で、データを見つける問題は、目的のトピックのセットを実際に検出することに加えて、見つかった情報の品質を決定および確認し、「 このデータを使用して問題を解決できますか」という質問に答えることです。 したがって、詳細なメタデータを伴う関連データを見つけることは非常に重要であり、さらに良いのは、信頼できる品質評価です。



この点で、公開データの種類を理解することは、特定の状況での適用可能性の問題を解決するための特定の方法にも役立ちます。 たとえば、共有データの内容は注意して、検証を強制して信頼してください。 少なくともいくつかの単純な基準で、「信じている-信じていない」という原則で判断します。 データセット全体または個々のサンプルの集約インジケータに注意を集中できます。



受信者（ユーザー）は、常にソースとその可能な変更によって公開データを制御する必要があります。



データが変更されることを準備する必要があり、データが条件付きで安定する期間は推測することしかできません。 公共データの意味、構造、形式の多様性の中で行動する場合、特別な方法で作業を整理し、より普遍的な処理ツールを選択する必要があります。



原則として、公開データの検索は常に適切なコンテンツに従って実行されます。



また、特定のトピックに関する必要なデジタルデータのセットを見つけることができれば、これはすでに有効です。 ただし、データの意味に加えて、構造と形式も重要であることを忘れないでください。 しかし、受信者が組織の構造やフォーマットのレイヤーの1つに満足していない場合、見つかったデータを拒否することはすでに容認できない贅沢のようです。 重要ではありません-適切なツールが見つかった場合、ユーザーはもちろん再構築ツールと再フォーマットツールを適用します。 一方、この問題は、データを公開する静的な方法を動的な方法に置き換えることにより、サプライヤによって簡単に解決されます。 データファイルは、アップロードオプションの異なるAPIに置き換えられます。 しかし、一方で、ファイルにパッケージ化されたパブリックデータのセットの検索と、同じパブリックデータのセットを取得できるクエリのAPIの検索は、2つの異なるストーリーです。

読み込み中

ユーザーが必要なデータを見つけて、メディアで自分の無料コピーを受け取ったとき、彼はいわゆるダウンロードを成功裏に実行しました。



正しいことを正しく行おうとする場合、単にデジタルデータのセットを取得するだけでなく、彼はまだ何をしなければならないでしょうか。



さて、たとえば、さらにそれは可能です：

• 必要なデータを検索および検索するための成功した効率的な方法を定式化します（いつ、どの順序で、どの一連の要求、どのリンクに移動し、結果をもたらしたのか）。
• データセットを受信した時間と場所、およびデータの配信のプロバイダーと条件を記録します。
• 各レベル（エンコード、表記法、スキーム）のデータ形式を確認します。
• ターゲットデータセットに関連する使用可能な最大メタデータを取得して保存します。
• ターゲットデータが置かれている環境から、追加の可能なメタデータとリンクまたはコンテキストの説明を抽出しようとします。
• 明示的または間接的なデータコンテキストを表示する
• データの品質の評価を取得し、検出されたデータの品質の独自の予備評価を提供します。
• データプロバイダー（その所有者または作成者）とのフィードバックの考えられる好ましい方法を見つけます。
• 後で更新されるデータを受信する必要性を事前に判断します。

また、受信者（ユーザー）が公開データを使用して作業を体系的に整理しようとすればするほど、これらのことや他のことをより明確かつ意識的に行う必要があります。



ほとんどの場合、データの品質や信頼性を確認し、その後の逆監査のために、ダウンロードしたデータの直接コピーをリポジトリ内のアクセス可能な場所に保管することをお勧めします。



そして、デジタルデータセットがプロバイダーから（ネットワークリソースから）受信された形式と形式で正確にこれを行うことが最善です。 将来、データ処理の中間結果も必要に応じて保存できますが、サプライヤーが警告や予約なしで変更を加えた場合、初期バージョンは特に重要です。 将来的には変更されるべきではない可能性が高い公開データについては例外を設けることができ、ダウンロードしたデータの元のコピーを保存すると、許容できないストレージコストが発生します。 ただし、この場合、 「変更されていないデータの予期しない変更」のリスクは残り、それに関連する不利な状況の可能性は残ります。



データ受信者は、ソースデータの可能な調整の条件でソリューション（製品またはサービス）をどのように構築するか、およびデータソースに対して動的にするか、データの「スナップショット」で静的に動作させるかを独自に決定します。 各オプションについて-その利点とリスク。

実装

公開データの処理と分析は、受信したセットのみに限定されることはほとんどありません。 通常、このプロセスには、追加の内部データまたは以前に取得したデータを含む、蓄積された情報の完全な配列が含まれ、対象を絞った方法で構築されます。



開発が公開データのみに基づいて行われている場合でも、それらは異なるソースから混合され、以前の計算、推定、およびアグリゲーターと「調整」されます。 したがって、経済分析および経営分析の古くからあるシステムに関して、ダウンロードされたデータセットを利用可能な（保存された）情報の一般的な配列に実装することについて話すことができます。



一般的なリポジトリに受信した公開データを実装するには、次の3つの一般的なスキームがあります。

1. 容量性 （または履歴）-増加（拡大）し、構造と形式のすべてのバージョンのサポートを含む、特定のサブジェクトエリア内の受信データのすべての変更を保持します。
2. 管理 （または更新）-受信データの実際のコンテンツ、構造、およびフォーマットスキームに対する正確な変更。
3. ユーザー （またはターゲット）-取得したサブジェクトデータのコンテンツ、構造、フォーマットスキームの変更を考慮した変更ですが、通常はソースとは独立して作成され、既存のタスク（目標）に依存します。

従来、独自のリポジトリおよび分析モデルでのデータの実装には、フィルタリング、中間計算、調整、ギャップの埋め込みなどのアクティブな処理が含まれます。



これはまだデータの直接的な処理と分析ではなく、データを共通の分母にもたらす手順にすぎません。 そして、そのような共通点は、特定の目標、コンテンツの機能、データの構造と形式、リポジトリのタスクとパラメーターに依存します。 おそらく、ここですでにデータの「スナップショット」を作成する必要があります。これは、チェーンに沿ってデータの品質を制御し、必要に応じて個々の要素を可逆的に復元できる履歴スライスです。



このすべてに加えて、この段階では、対応するリポジトリおよび分析モデルの規制に従って、公的に実装されたデータのセットの内部メタデータの追加の派生物を形成する必要があります。



実装は 、データの準備や目標の労働条件への移行など、プロ意識と効果的なツールを必要とする重要な段階です。

フィードバック

パブリックデータプロバイダーと同様に、受信者（ユーザー）に対して2つのレベルのフィードバックを区別できます。



最初 - シンプル -デジタルデータの受信者は、ダウンロードした番号の品質と量に関する意見をサプライヤに返しますが、その後の出版物への要望も伴うことがあります。



より困難な 2番目のレベルは、取得した知識とソリューション（製品またはサービス）のプロバイダーへの返却です 。これには、高品質データの新しい部分または追加部分、または新しいデータ品質と引き換えに、配置したセットの使用が含まれます。



このような接続は、単なるデータ、知識、および能力の交換以上のものに発展する可能性がありますが、これはすでにビジネス上の利益を開発し、組み合わせる問題です。



パブリックデータプロバイダーに対する受信者の複雑なフィードバックの間接的な方法の1つは、ターゲットの再転送です。元の形式または処理済みの形式で、場合によっては新しいソリューション（知識）の形で第三者に再送信します。 サプライヤによって確立された再転送条件に従って、ある種の仲介者は、まずサプライヤに再配布を通知し、次に、公開データを処理するプロセスに新しい参加者が関与するエンティティの有能な関係を拡大できます。 このスキームにより、データへの関心を測定し、多くのターゲットオーディエンスにリーチできます。 このようなチェーンを追跡するには、関連するビジネスプロセスの組織のサプライヤがかなり高いレベルで必要です。