コンテンツ、メタデータ、およびオープンデータコンテキスト

無料および無料アクセスでデータを公開する結果は、その構成と品質に直接依存します。 公開データが完全で正確であればあるほど、それらの使用の効率は高くなり、より多くのユーザーがそれらを使用することを好みます。





送信データ、特に公開データに関しては、構成（コンテンツ）、説明（メタデータ）、および環境（コンテキスト）の3つの重要な側面を常に評価する必要があります。



この出版物は、オープン、共有、および委任されたデータのテーマを継続し、これらの3つのカテゴリすべてに適用されます。

データ編成

公開データの最初の重要な側面は、そのコンテンツとその内部組織に関連しています。

意味

適切なデータには、何らかの有用な意味があります。 あらゆる形式の無意味な情報は、あらゆるツールを使用したあらゆるタイプのアクティビティでの後続の処理と分析には適していません。



この出版物で言及されているデジタルデータは、一次または二次であっても、ある程度の情報収集の結果を反映しています。 収集された情報により、オブジェクト、プロセス、現象、イベントなどのプロパティの定性的および定量的な値を記録できます。 構造的に編成された記録情報は、適切なメディアにデジタルデータとして保存されます。 明らかに、このようにして得られたデータは、直接的に（一次）または間接的に（二次）何らかの客観的な意味を決定します。



ヒューマンファクターがデータに直接かつ不可分な影響を与えるという事実を考えると、客観的現実ではなく、彼が意図的に情報を収集するその客観的現実のある人による理解を記述すると常に言うことができます。 言い換えると、データは常にその内容または構造に主観の特定の割合を含み、特定のサブジェクト領域から知覚されたモデルを記述します。



ある程度のデータがターゲットモデルのある意味を説明し、その後の分析とそのようなモデルの重要な属性の識別が可能であるという事実です。



データに含まれる意味によって、それらの公開の必要性と重要性が決まります。 たとえば、州の統計には特別な社会的および経済的意味があるため、デジタルデータセットの形式と特別な処理済みコレクションの形式の両方で公開するのは明らかなタスクです。 データがユーザーにとって重要な意味を持たない場合、または一般的に現象やイベントのフローの無意味な登録である場合、それらは需要がありません。 この声明は、出版は正式な意味を持つデジタルセットの価値があるという特定のアイデアを示唆しています。



データの意味は、再配布のレベルに影響されます。



この観点から最も価値があり、歪みのない意味を持つのは、収集されたプライマリデータです。 データを使用してより多くの処理が実行されると、意味がよりゆがんで修正されます。 したがって、データの再配布の量と品質を明示的に示す必要があります。



データに含まれる意味は、その構造にマークを残します。

構造

データでは、分割できない最小整数単位をいつでも区別できます。

さらに、このような分割不可能な積分単位は、直接のものよりも常に大きな意味を持ちます。 たとえば、シンボル（最も単純な形式）は、テキストのアルファベット、数字、または特別な指定を表すことを除いて、追加の意味を持ちません。 一方、単語は、同じ記号の特定のセットを表すことに加えて、セマンティックの概念的な意味を持ち、特定のオブジェクト（名詞）、属性（形容詞）、アクション（動詞）などを定義します。 したがって、単語を記号に分割する-最小整数単位を分割すると、その概念的な意味が失われます。



しかし、それだけではありません。



最小の不可分な単位の選​​択は、ユーザーの特定のトピックと目標の枠組み内の主観的な概念です。



たとえば、ある目的のために、分割できない単位が単一の単語としてではなく、文全体として認識されることを確立できます。 同時に、一部の形式でも、最小データ単位を構築する機能を指定できます。 たとえば、スプレッドシートのフレームワーク内では、単一のセルのコンテンツをデータの最小単位とすることは非常に簡単で便利です。 ただし、多くの点で、統合データユニットの選択は、データドメインの基準とそれらの記録方法の組み合わせによって決まります。



データの分割不可能な最小単位の概念が与えられた後、ターゲットデータのセット全体の構造の概念が生じます。 したがって、スプレッドシートの場合、データユニットは行または列の形式でデータセットを形成し、その後テーブル（シート）とテーブルセット（ブック）にグループ化されます。



積分データ単位のグループ化の2つのレベルを区別すると便利です。

• プライマリ -直接基本的な不可分な整数データ単位をグループ化（結合、整理）します。
• secondary-プライマリおよびセカンダリのグループ化されたデータユニットのグループ化（結合、整理）。

指定されたデータ構造は、その特性の追加定義に基づいているため、メタデータの存在を直接または間接的に決定します。



データ構造は、意味のある処理を実行できるようにする必要があります。



データ操作は、分割できない整数単位またはそのグループを使用して直接実行されます。 さらに、分割できない整数単位を何らかの方法で処理し、それらから新しい単位を作成することも可能です。 たとえば、これにより、スプレッドシートを機能的にすることができます。単一のセルのコンテンツを処理し、特定の構成要素に分割しますが、そのようなアプリケーションの主な重点は、処理される最も単純な基本単位としてのセルの処理に置かれます。



デジタルデータ内の個別の積分ユニットを分離し、その後続のグループ化の第2の重要な特徴は識別の可能性です 。



データの分割できない部分と順序付けられたデータセットの両方に一意の絶対名または相対名を割り当てると、処理機能が大幅に拡張されます。 アドレス指定、抽象化、再帰、分類、および多くの追加の単純または複雑な操作は、名前付きまたは識別されたデータ要素に適用され、その後ソースに返されます（リンク履歴）。



データ構造のもう1つの便利で重要な機能は、識別の派生物として、特定の基準またはタスクに従って個々のデータ要素をリンクすることです。 リンクすると、実際には、二次構造化、非線形順序付け、ハイパーリンク、代替回避策などの機能が現れます。 接続に追加の属性が付随する場合、記述子オブジェクトの特別なクラスを選択し、これまで想像もできなかった形式と組み合わせの複雑な依存構造を構築することさえできます。 バインディングを介して、特定のダイナミクスがデータに表示されます。



データの構造化は、デジタル処理だけでなくセマンティック分析の可能性にも大きく貢献します。



デジタルデータの正確で効果的な構造のモデリングは、情報技術と対象分野の知識を組み合わせた場合にのみ良い結果をもたらすことができる、かなり複雑で責任ある能力です。 明確に定義された構造により、人とマシンの両方のデータを便利かつ効率的に処理できます。 言い換えれば、構造の正しい選択により、人または作成されたアルゴリズムによって直接、順序付けられたデータをすばやく認識することができます。



既に述べたように、データ構造はデータの記録および保存の形式に依存する場合がありますが、これは形式そのものではありません。 だから、それは変換することができます。 したがって、同じフォーマット内で、異なる構造を指定できます。 圧倒的な場合、実際には、大幅な簡素化と効率化のために、構造はフォーマットと密接に相互接続されています。

書式

この出版物の文脈では、「フォーマット」とは、特定のメディア上の物理的に別個のユニット（ファイル、レコード、テーブル、ストリーム）にデータを保存する方法です。



この形式は、人とアルゴリズムの両方による処理のためにデータを読み取り、受け入れる能力を決定します。 構造がデータの意味のある編成を定義している場合、フォーマットは記録と保存の技術面を表します。



デジタルデータがマシンメディアからアクセスできない場合、各レイヤーで適切なフォーマット方法を選択することで、3つのマシン依存レイヤーでフォーマットが実装されます。

1. データエンコーディング - データの書き込みに関係し、有効な文字または概念の有限セットのコードを設定する選択された方法。 たとえば、文字エンコーディングはUTF-8またはASCIIです。
2. データ表記は、順序付けられたデータの形式化された記録の選択された方法です。 たとえば、CSVまたはXML。
3. データスキームは、事前定義されたメタデータに応じて異なるデータ要素を特別に編成するために選択された方法です。 たとえば、XMLの場合、これはXSDの選択です。CSVの場合、これはテーブルスキーマ（フィールドとリレーションシップ）の選択です。

層が高ければ高いほど、対象指向になり、データの意味に依存します。 第3層（データスキーム）では、形式はターゲットデータのサブジェクト領域とほぼ完全に混在しています。



文字エンコードはかなり理解しやすい部分であり、全体として相対的な理論的および実用的な安定性に達しました。 それにも関わらず、この問題でさえ、適用の実践には多くの要望が残されています。 特に公開データに適用される場合、表記法とデータスキームについて何が言えますか。 無料の基準と強力な有料ツールに関係する多くの要因と相反する利益。



書式設定レベルの1つとしてデータ表記を選択する重要な要因は、データ構造に直接あります。



たとえば、データ構造がテーブルに縮小されている場合、HTMLよりもCSVのほうがフォーマットが便利であることは明らかです。 一方、XMLを優先して選択するようにタスクを設定できます。 非常にエキゾチックに見えますが、各行のINSERT（SQL）コマンドのシーケンスとしてデータテーブルに通知することは非常に可能です。



公開データの場合、シンプル、無料、および一般的な形式が最も優先されます。 たとえば、オープンな政府データの優先順位は、[Unicode + CSV | XML + custom_scheme]の束です。 さらに、カスタムデータスキームは、多くの場合、「オープンデータパスポート」に記載されています。



もちろん、送信および公開されたデータの形式は開発可能であり、また開発されるべきです。 しかし、大部分は、この分野からのニュースはプライベートレベルまたは安全なデータ転送で認識されます。 パブリックデータの場合、広く普及し、アナリストが使用する有料および無料のツールが多数あるこれらの形式は、より理解しやすく、関連性が高いままです。



データの再利用の問題は、そのフォーマットの特性に誤って起因している可能性がありますが、それはむしろそれらの正しい構造の問題です。 デジタルデータの構造レベルで、リンクのリンクと整理が可能になります。 この形式は、リンクの記録と解決の実際のルールのみを定義します。 特に、このフォーマットは「フォーマット間」リンクルールを指定またはサポートできるため、ユーザーはあるセットまたはデータ要素を別のセットまたはデータ要素で参照できます。

データの説明

パブリックデータの2番目の側面は、効果的な説明であり、最終的にはメタデータになります。 内部または保護されたデータ伝送のために、この側面がしばらく見落とされる可能性がある場合、ネットワーク上にオープンに無料で配置されるデータについては、これはその後の効果的な使用にとって非常に重要です。





パブリックデータの全体的な送信の場合、最良の方法は、データ自体の「内部」にメタデータを保存することです。 つまり、この方法では、元のデジタルデータが同時にいくつかの属性を伴うように記録され、記録構造により、アルゴリズムはそれに埋め込まれたメタデータを抽出できます。



たとえば、XML表記のフレームワークで非常にうまく実行できること：マークアップが既に要素のタイプ（ノード、属性、ドキュメント）を定義し、属性とスペース名の使用がメタデータを埋め込む可能性を開きます。 ただし、データを説明と組み合わせて読み取るには、少なくとも、より複雑な能力とツールを習得する必要があります。 ほとんどのユーザーにとって、タイトルと見出しの付いたクリーンなデータを取得することは、はるかに明確で明白です。 しかし、これはデータの読み取りと理解において問題を引き起こします。 この方向で統一された理解可能な標準が開発されるまでは遠い。



メタデータには次を含める必要があります。

1. データの意味の説明：
   
   
   
   
   • a。 お名前
   • b。 短い説明
   • c。 ドメインの説明
   • d。 視点
   • e。 データの収集と報告の目的
   • f。 データ処理レベル
   • g。 ドメイン制限
   • h。 複雑なデータのモデルと図解
   • i。 データに関連する概念のシソーラス（または有効なシソーラスへの参照）
   • j。 データソース（一次データ）およびデータ収集方法へのリンク
   • k。 時間、場所、関連性、依存性、有意性などによるデータのマーキング
   • l。 コンテキストデジタルデータまたはその他の有用な情報への参照
   • m。 セマンティックデータの整合性に関する考えられる問題と推奨される解決策
   
   
   
2. データ構造の説明：
   
   
   
   
   • a。 構造の基本要素（整数および不可分）
   • b。 基本データユニットと派生データユニットのグループ化とリンクの原則
   • c。 データ構造要素の優先度と二次有効な相互依存性
   • d。 構造要素の存在と可能な基本タイプ
   • e。 データ構造またはその変換の構築の原則を送信または形式化する
   • f。 データ構造に含まれる要素への外部リンクの許可
   • g。 構造を構築するための適用基準
   • h。 データ構造の制限
   • i。 データの構造的完全性に関する潜在的な問題と推奨される解決策
   
   
   
3. データ形式の説明：
   
   
   
   
   • a。 該当するデータエンコード形式（リンクまたは説明）
   • b。 適用可能なデータ表記形式（リンクまたは説明）
   • c。 適用可能なデータスキーマ形式（リンクまたは説明）
   • d。 データ形式を使用するための推奨ツール（アルゴリズム、仕様、プロトコル、ソフトウェアパッケージ、サービスなど）
   • e。 データ形式のアプリケーション機能
   • f。 データ形式を使用して発生する可能性のあるエラーと問題
   • g。 データ形式の使用理由（必要な場合）
   • h。 他の形式に変換するための（検証済みの）オプションを提供
   • i。 特定のフォーマットへのデータコンプライアンスの品質の技術的評価（特にデータにフォーマットエラーが含まれる場合）
   • j。 フォーマットレベルでのデータの整合性に関する考えられる問題と推奨される解決策

デジタルデータパッケージに付随するメタデータが完成すればするほど、有用な知識を抽出するための後続の使用がより強力になり、初期データが記述するシステム上の新しい知識の逆効果がより効果的になります。



少なくとも、ユーザーはデータの構成と目的を示し、記録と保存のマシン形式を示す必要があります。 メタデータにデータ品質の評価が含まれている場合も役立ちます。



メタデータに何を含めるべきかを理解するために、実際に適用される操作または適用が必要な操作を検討できます。 パブリックデータ転送スキーム内の2つの直接対話する役割に関して、最も重要な7つを以下に示します。



1.データの識別

• サプライヤは名前を割り当て、データセットのサブジェクトエリアを定義します。
• 受信者は、名前、目的、サブジェクト領域、およびデータセットが記述する相互作用するオブジェクトのシステムを回復します

2.データ認証

• サプライヤーは、公開されたデータセットの信authentic性と品質（関連性、関連性、妥当性を含む）の可能かつ許容可能な検証の要素を設定します。
• 受信者は、データセットの信頼性と品質（関連性、関連性、妥当性を含む）を検証する方法を理解し、必要に応じてチェックします

3.データ認証

• サプライヤーは、作成者、所有者、および発行者がデータセットに関連して誰を決定および正式化し、また、誰がどのデータをどのような条件で、どのような目的で利用できるかを確立します
• 受信者は、データセットの作成者、所有者、提供者を確認および評価し、使用の可能性と便宜性に関するテストに合格します。

4.データの評価

• サプライヤーは、（選択された構造とフォーマット内で）データ量を測定し、データの品質の評価を行います
• 受信者は、確立されたデータボリューム（指定された構造と形式内）を調べ、使用可能なデータ品質評価を確認します

5.データの制限

• プロバイダーは、公開されたデータセットにさまざまな制限（意味、構造、および形式）を設定し、制限に従ってデータを公開します
• 受信者は、データセットにどのような制限（意味、構造、形式）が課されているかを見つけ、考慮してデータを操作します。

6.データ転送

• サプライヤは、統合されたセットでデータを完成させ、確立された条件（データ転送契約）の枠組み内で、それらを直接転送するか、アクセスを開始します。
• 受信者は、確立された条件に従って、完全な完全なデータセットをオープンアクセスから直接受け入れるか、ダウンロードします

7.データ処理

• プロバイダーは、既存の公開タスクに従って事前に（公開前に）セットのデータを前処理します。
• 受信者は、既知の公開環境のフレームワークで、受信したデータをその目的のために処理します。

公開データの品質は、メタデータの品質から始まります。

データ環境

特定の状況での特別な役割は、公開データの3番目の側面である環境を果たし始めます。



これは考慮される3つの中の最も複雑なものです（他の2つはコンテンツとメタデータです）が、特に関連する問題を含む分析の戦略的および主題の開発と知識の検索に最も価値があります。



パブリックデータの領域では、特定のセットのコンテキストは、アナリストが何らかの理由でそれらを正しく接続できる他のすべてのデータになります。

コンテキストは、サブジェクト領域とその目的がマスターデータに対して正しく設定されている場合にのみ正しく指定できます。



コンテキストデータは、いくつかの方法でマスターデータに関連付けられます。

1. 直接リンク -同じ出版社によって公開されている、またはパブリックドメインの他の人によって公開されているサードパーティデータセットへの直接リンクを指定することにより。 コンテキストは、このように公式のデータ拡張として機能します。 明らかに、パブリックデータとプライベートデータまたは有料データとの直接リンクは、完全に真正なパブリッシャーの例ではありません。
   
   
   
   
2. 間接的なオブジェクトのリンク -名前、サブジェクト、目的、関連性、関連性のメインデータの定義を通じて。 ユーザーは、指定されたサブジェクト領域を独自に調査し、関心のあるコンテキストを構成するデータを検索します。 主題のリンクの明白な例に加えて、数学的リンクのオプションに言及する価値があります：分布指標、頻度、またはその他。 同様の属性または同一の理由のためのバインドオプション。
   
   
   
   
3. 実装リンケージ -他のデータのフラグメントをメインデータに含めることにより、結果として不明瞭なリンクまたはサブジェクトリンクが確立されます。 受信者がフレームワークへのコンテキストの「実装」を明確に理解している場合、受信者はコンテキストデータの本質も明確に理解しています。 多くの場合、このリンク方法は、コンテキストデータの一意の識別子または条件付き一意の識別子をメインデータに含めることに基づいています。 直接参照バインディングとは異なり、実装バインディングはコンテキストデータ要素の明示的なアドレス指定を提供せず、コンテキストセットへのリンクを明確に提供しません。 また、間接的なサブジェクトバインディングとは異なり、実装では、コンテキストの特定の識別フラグメントを基礎として示します。

ある観点から、または別の観点から、すべてのデータは、メインのデータとの関連でコンテキストと見なすことができます。 これは分析の主観的な側面です。 全体の問題は、解決すべき課題と便宜性にあります。



追加の環境を検索して接続することによる分析されたデータ配列の継続的なダウンサイジングは、それ自体が目的である場合、標準と見なすことはできません。 したがって、合理的なアプローチは、限られたセットを指定し、遵守するフレームワークでのデータ研究の慎重な計画に関する徹底した作業です。 「どのデータがまだ必要ですか？」という質問は、分析の重要な段階で、研究のセマンティックフロントを拡張することが本当に必要な場合に尋ねるべきです。



データの公開時または使用時にコンテキストが考慮されることはほとんどありません。または、何らかの理由でデータ量を増やすためにコンテキストが考慮されます。 ただし、コンテキストおよびデータを結合するための多数のオプションを使用してフレームワークを拡張する無限の可能性は、閉じたものよりもデータを公的に使用する利点を得ることができることです。 この点で、優先度は、公開された一般的に重要なデジタルデータのリポジトリの開発であり、特定のサブジェクトエリア内のデータのコンテキストを構成します。 たとえば、経済データを使用する場合、一般的にアクセス可能なディレクトリ、分類子、およびカタログ（たとえば、OKVED、KLADR、BIK、統合された法的エンティティの登録簿など）があると非常に便利です。



同じ目的のために、オープンデータのテーマ別の「ポータル」および「ハブ」を作成および開発することは非常に便利です。