🕥 👩🏾‍🏭 🎷 Palantir：オブジェクトモデル 👨🏽‍💼 🈚️ ↕️

リードインプリメンテーションエンジニアのSriyas Vijaykumarが、Parantirシステムの内部キッチンの別の要素について語ります。

Edisonと共同で、Parantirプラットフォームの機能の調査を続けています。

現在、組織はどのようにデータを管理していますか？

既存のシステムでは、非常に一般的なアーティファクトが見つかりますが、それらの多くは、すべてではないにしても、よく知っています。

ユーザーはファイル名にメモを残すことが多いので、send_ by_mail。Friday.10_utra。do wash not !!という形式の構造に出会うことができます。
オントロジーのすべての変更には、スキーム全体の変更が必要です。
異なるソースからのデータを同じ環境で一緒に調べることはできません。そのため、個別に調べる必要がある人とメッセージトラフィックのデータベースを持つことができます。
データの再同期は非現実的または不可能です-これはしばしば必要です。
情報をソースにトレースすることはできません。

Palantirで根本的に異なることは何ですか？

このシステムを開発したとき、私たちはコミュニティのフィードバックに多くの取り組みをしました。最初に設計しようとしたのは、システムの最大限の柔軟性です。これにより、あらゆるものをシミュレートできます。

柔軟性とは、1つの共通スペースであらゆるタイプのデータを操作できることを意味します：構築された関係を持つデータベースなどの高度に構造化されたものから、メッセージトラフィックのリポジトリなどの非構造化のもの、およびこれらの両極端に位置する全員まで。また、単一の建物モデルに縛られることなく、研究用のさまざまな分野を作成できることも意味します。組織のように、彼らは時間とともに変化し進化することができます。

次に設計したのは、ロスレスデータのコンパイルです。すべての情報をソースまたはソースに追跡するプラットフォームが必要です。マルチプラットフォームシステムでは、特にそのようなシステムでデータ操作の全範囲を完了することができる場合、アクセス制御が重要です。

2:26次に設計したのは、オープンフォーマットとAPIです。正規のデータプラットフォームを使用すると、システムにデータを入力し、このシステムのデータとやり取りし、システムからデータを出力して、このデータを使用して必要な操作を実行できます。

2:38オブジェクトモデルはPalantirの中核であり、何らかの形で各ビデオで見ることができます。

2:45次に、モデルが全体像にどのように適合するかを見てみましょう。

2:50オブジェクトモデルは、物理データウェアハウスとエンドユーザー間の抽象化です。この場合、エンドユーザーは職場のアナリスト、開発者、または管理者になります。

3:07オブジェクトモデルを通じて、すべてのユーザーは、共通のテーブルに集まり、ビジョンを共有し、ストアドプロシージャ（ストアプロシージャ）を何度も再生する代わりに、1次抽象オブジェクト（1次概念オブジェクト）と同様にデータを操作します。

3:22全体像でモデルがどのように見えるか理解できたので、構造に移りましょう。これらのオブジェクトは何ですか？

3:36最初に、オブジェクトは空のコンテナーであり、属性と既知の情報を入力するシェルです。オブジェクトの例には、人、場所、電話、コンピューター、会議などのイベント、電話、ドキュメント、メールなどがあります。

3:54これらすべてのオブジェクトには、オブジェクトコンポーネントと呼ばれるものがあります。

3:58オブジェクトには4つのタイプのコンポーネントがあり、そのうちの3つをリストします。

-標識、つまり、名前、電子メールなどのテキスト属性。

-メディアファイル。画像、ビデオ、テキスト、その他のバイナリデータ形式をオブジェクトに関連付けることができます。

-メモ、つまりアナリスト向けのフリーテキストフィールド。

4:18情報を保存するオブジェクトがあり、オブジェクトを接続する接続があります。

4:28オブジェクトとオブジェクトのコンポーネントのこのシステムは、オブジェクトモデルのアイデアを提供します。このような多数の「フィールド」（ドメイン-フィールド、球体、リージョン。一般的なPalantirの別のワークスペースについて話している可能性が高い）をモデル化できる理由は、オブジェクト自体の内部にセマンティクスを登録していないためです。

4:42私は、関係が統一、支配、または階層的であるべきだとは言わなかった;これらの概念の前にオブジェクトモデルが存在する。各組織は、動的オントロジーを使用してセマンティクスを個別に定義します。

4:56オブジェクトモデルと動的なオントロジーがどのように相互作用し、組織に必要なセマンティクスを作成するかを見てみましょう。

5:03例を使用してみましょう。ここに、いくつかのコンポーネントと関係を含む2つのオブジェクトで構成される非常に単純なグラフがあります。

5:12セマンティクスはありません。特定の組織は、必要なオブジェクト、機能、および関係のタイプを選択します。

5:22ネットワークセキュリティを行う場合、ルーターとホストになる可能性があり、テロ対策であれば、テロ組織、金銭、およびグループメンバーになる可能性があります。

5:38オブジェクトモデルをオントロジーと組み合わせると、たとえばセマンティクスを取得することが期待されます。たとえば、ZachはPalantirで動作します。

5:50オブジェクトの観点から見ると、グラフの意味はまったく異なる場合があります。ドキュメントの存在を示すことができます。

6:00構造のセマンティクスを抽象化して、アクセスしやすく柔軟な方法で幅広い「フィールド」を作成する機会を得ました。

6:09柔軟性が必要な場合に支払われる敬意があります。この敬意はあなたによく知られているはずです。

6:22システムが柔軟になる機会の価格は、ほとんどの場合、回線を作成する機能のサポートが失われることです。

6:29新しいタイプのオブジェクトまたはリレーションシップのタイプを追加できますが、説明、指示など、5つの個別のリンクテーブルが必要になります。

6:41したがって、維持するのは非常に難しく、それはデータプラットフォームに本当に必要なものではありません。

6:45 Palantirでは、反対のアプローチを使用します。オブジェクトの種類、関係、および許容される制限のために新しいテーブルを作成する必要はありません。

6:57より正確に言うと、Parantirには、すべての組織およびすべての実装で使用するスキームが1つあります。

7:02任意のオブジェクトおよびオブジェクトのコンポーネントのコンテンツを取得できる5つのテーブルがあります。メッセージトラフィックに基づいてドキュメントをモデル化するか、高度に構造化されたデータベースに関係ありません。

7:15したがって、オブジェクトモデルが全体像でどのように見えるか、オブジェクトモデル自体の構造、および動的オントロジーとの相互作用を見ると、高い柔軟性と多くの「フィールド」を作成する能力がわかります。

7:29では、ロスレスデータマイニングの実装方法について説明しましょう。

7:35ここで最も重要なことはデータソースです。これは、Parantirにあるすべての情報がソースから取得されているためです。

7:43例。税務書類、スプレッドシート、xmlファイル、データベース、Webページなど、何でもかまいません。作業中にアナリスト自身が作成したもので、ソースからの情報に基づいています。

7:58なぜこれが重要なのですか？何か、製品があります。それがどこから来たのか、何に基づいているのかを追跡し、ソースに戻って歪みがないことを確認する必要があります。これが結論に自信を持つ唯一の方法です。

8:11では、データソースと、先ほど説明したオブジェクトモデルの関係を見てみましょう。

8:17 Palantirの各コンポーネントには、そのデータソースのレコードが含まれています。このレコードは、情報を1つまたは複数のソースに関連付けます。

8:25したがって、グラフを正当化する場合、これら2つのオブジェクトがソースA、B、およびCでサポートされていることがわかります。

8:34また、複数のソースがオブジェクトの1つのコンポーネントをサポートしていることもわかります。したがって、たとえばトラフィックストアやオペレーターログのデータに依存しているため、この情報に自信を持っています。両方の情報源が情報を確認し、それに基づいて先に進むことができます。

9:00非構造化ソースを扱っている場合、データソースに関するレコードは、データソースの単なる表示よりも少し正確に通知します。したがって、たとえば、ドキュメントの場合、エントリはドキュメント内の特定の場所を示します。構造化データベースでは、このソースレコードは主キーを指すことができます。

9:17データソースがオブジェクトにどのように関連するかを確認したので、ここで実行できる操作を見てみましょう。

9:23グラフは限界まで簡略化されており、2つのコンポーネントと2つの機能を含む1つのオブジェクトで構成されています。「名前：Sriyas」および「電子メール：shrey291@aol.com」。

9:37そして、名前は訪問者のスプレッドシート（参加者-参加者、リスナー、訪問者）、およびテキスト文書から取得され、電子メールはテキスト文書からのみ取得されることがわかります。

9:46これらのソースを見てみましょう。まず、訪問者のリスト：Sriyasという名前は、別のソースからの抜粋のような生のファイルから取られていることがわかります。

10:00 2番目のテキストファイルがリコール（リコール）されたか、ユーザーがこのソースにアクセスできなくなったと想像してください。オブジェクトは今どのように見えますか？

10:11テキストファイルを削除すると、コンポーネント名のみが残っていることがわかります。2番目の属性はサポートされなくなったため、オブジェクトを効果的に新しい外観にしました。

10:25元のビューに戻って、別のソースを見てみましょう。

10:30テキストドキュメントが表示され、ドキュメントから名前とメールが抽出されていることがわかります。訪問者のリストが取り消された場合、またはアクセスが拒否された場合でも、オブジェクトは同じように見えます。これは、両方のコンポーネントに実績のあるソースがあるためです。

10:55これで、ソースレベルで変更が発生した場合に何が起こるか、またサインがどこから来たのかを見ることができ、これは有益な機会です。

10:53プロパティを見てみましょう：名前：Sriyas。

11:07名前は訪問者のリストとテキストファイルから取られていることがわかります。アナリストが情報の出所を理解することは重要です。

11:18また、情報へのアクセスを制御し、情報源を保護するために、私たちが話したことすべてを使用することも重要です。また、他のアクションを実行することもできます。

11:30たとえば、このアプローチを使用すると、複数の機能を簡単に維持できます。「名前：Sriyas」という記号の「新しい記号を追加する」とはどういう意味ですか？

11:38これは、ソース「手動で作成されたデータ」からグラフに新しいブランチを追加したことを意味し、このデータを使用して以前に検討したのと同じ操作を実行できます。

11:50オブジェクトモデルを使用して、多くの便利なデータ操作を実行できます。

11:58このアプローチはデータの再同期化のコンポーネントの1つであることを別に言及したいと思います。たとえば、特性の値を変更する可能性のある外部データソースがあり、Parantirでこの値を逃さない方法はあまり明確ではありません。

12:12知っておく必要があるのは、不一致が記号自体に戻ることです。つまり、「名前：Sriyas」という記号に関連する不一致がある場合、別のソースのこの症状は「Sriyas Vijaykumar 「、値を変更することはできません。古い値は独自のデータソースに基づいているためです。新しいタグを作成する必要があります。

12:31オブジェクトモデルで実行できる操作を確認したので、このモデルと対話する方法、データを入力および取得する方法を見てみましょう。

12:39冒頭で述べたように、私たちは非常にオープンなフォーマット、オープンAPIをサポートしています-これらはデータプラットフォームの要件です。

12:48通常、このような環境では、データとツールの問題があります。これはデータの問題です。さまざまな形式のデータを受信し、それらとやり取りするのは難しいからです。

13:00しかし、これはツールの問題でもあります。プロプライエタリ形式またはバイナリ形式の製品に出くわす可能性があり、そのような製品がデータとやり取りするのは難しいかもしれません。

13:08 Palantirでは、Parantir XMLと呼ばれるオープンxml形式がオブジェクトモデルの実施形態です。

13:19これは、すべての作業を行ってPalantir XMLの形式でPalantirからデータを抽出できることを意味します。特定のデータセットがある場合は、非構造化ドキュメントからファイルシステム全体まで、同じPalantir XML。

13:33これが可能な理由は、オブジェクトモデルとしてデータを入力しているためです。

13:36これが重要な理由は、オブジェクトモデルがシステム内のすべての情報を効果的に記述するためです。

13:43最後に触れておきたいのは、統合検索コンポーネントである独自のRaptorシステムを設計したときにオブジェクトモデルをどのように使用したかです。

13:57 Raptorのアイデアは、急速に変化するデータソースを効率的に使用することであるため、Parantirと同期する必要があります。

14:09通常、Parantirは次のように機能します。検索クラスターにリクエストを送信すると、検索クラスターは結果をディスパッチサーバーに返します。

14:14 Raptorは外部データソースとディスパッチサーバー間のブリッジとして機能し、そのタスクはオブジェクトモデルに基づいて正しいオブジェクトを認識することです。

14:29 Raptorを使用して検索を開始すると、データストリーム全体が結合され、すべての不器用なオブジェクトが返されます。ユーザーにとっては、1回中断することなくスムーズなプロセスに見えます。

14:36要約すると、オブジェクトモデルはPalantirプラットフォームのコアであり、このプラットフォームを開発したとき、次の3つの考慮事項から進めました。

モデリングの柔軟性;
損失なくデータを抽出する必要性。
オープンフォーマットとAPI。

（この記事の準備を手伝ってくれたPalantirシステムのロシアの専門家であるAlexei Vorsinに感謝します）

Palantirの詳細：

Palantir：オブジェクトモデル

More articles: