Palantir101。シリコンバレーで2番目に高い民間企業について知るために単なる人間に許可されているもの

（アレクセイ・ヴォルシンへの翻訳をありがとう）



おはようございます。GovCon7へようこそ。 私の名前はSod Abdulliであり、Parantir Technologiesの主要な実装エンジニアであり、これはPalantir 101です。次の30分または45分で、私たちが誰であるか、Palantirが何であるか、そして私たちがいる組織のために何をするかについてお話したいと思います私たちは仕事をしています。また、イベントの終わりに向けて、小さなプレゼンテーションを行います。



これらすべてに進む前に、私たちとPalantirがビッグデータの世界における分析の問題について考えているという事実に光を当てるべきいくつかの話から始めたいと思います。







最初の物語はチェスについての物語です。



1997年にIBMがDeep Blueスーパーコンピューターを作成し、当時世界最高のチェスプレーヤーであったGarry Kasparovを破ったことをご存知の方も多いでしょう。 トーナメントレベルでプレーするチェスを簡単な携帯電話にインストールできるようになりました。チェス、人、コンピューターのどちらが強いかという問題はもはや関係ありません。



興味深い新しい質問：「人とコンピューターがチームとして一緒にチェスをするとどうなりますか？」



第一に、そのようなチームは高い効率を示しており、実際、これは非常に期待されています。人々はチェスが得意であり、コンピューターはチェスが非常に得意であるため、さまざまな理由で優れています：コンピューターには戦術的な利点があり、多くのことを評価できます毎秒数千の組み合わせ。 人々には経験があり、トリックする能力、直観力、そして相手にとっては感覚がありますが、これはコンピューターにとっては難しいことです。



これらの力は互換性があり、人間/コンピューターチームは、最強のプレイヤーのチームと最強のスーパーコンピューターの協会を倒すことができます。



2番目の方法はもう少し複雑です。チームゲームが強力なので、最強のプレイヤーと最強のスーパーコンピューターを組み合わせて、チェスの世界全体を曲げることができます。 あなたは間違っているでしょう。



プレイヤー自身の強さであるスキル、およびコンピューター自身の強さである機器とプログラムに加えて、3番目の要素があります-それらの間の相互作用の品質です。 プレイヤーがリクエストを作成するのはどれくらい簡単ですか？ 彼が本当に得意なことに集中し、残りをコンピューターに任せることは可能ですか？ これらの質問は、組織がビッグデータと効果的にやり取りするのを支援するためにパランティールで公言している観点に近いものです。



したがって、すべての努力は、データ（摩擦）への不必要なオペレーター呼び出しの数を減らすことに焦点を合わせています。



次の話はPayPalについてです。聞いたことがあるかもしれません。







PayPalが開始されたとき、オンラインペイメント業界に関与しているいくつかの企業がありました。これには、金融業界の重鎮、シティバンク、ウェスタンユニオン、インターネット大手のEbayが含まれます。 すべてに独自の決済システムがあります。 最終的に、彼らは1つずつ退職し、PayPalのスタートアップは成功しました。



どうして起こったの？



当時の支払いシステムについて重要な点が1つあります。誰もが主要な問題、あるアカウントから別のアカウントへのトランザクションに多かれ少なかれ対処しました。 別の問題は、ロシア人がそれを引き出さないように、トランザクションの完了でした。



膨大な数のトランザクション、大量の着信データ、およびこれらすべてを検証するための時間はほとんどありません-詐欺の機会は本当にあります。 購入者は、各支払いについて調査を行う間、数週間待つことはないので、必要なのは、取引がクリーンか疑わしいかを迅速に判断できることです。 これは基本的に、PayPalと他の人が異なるアプローチをした問題です。



多くの解決策があり、十分な時間がないので、多くの人が決断したので、その人は対処することができず、そのような決定を可能な限り操作に分解し、形式化し、反復可能かつ高速にする必要があります-言い換えれば、 これは十分ではありませんでした。



PayPalは、ハードウェアを使用する人の効率を最大化するために、同じことから始めました。つまり、多くのソリューション、処理する多くのデータ、および短い時間ですが、結論は反対でした。 したがって、人々が意思決定を迅速化し、処理を高速化し、情報の検索を容易にするのを支援することに焦点が移りました。 Ebayは、PayPalを15億ドルで購入しました。 彼らはこのようにして自分たちで問題を解決しました。



PayPalを作成した人々はシリコンバレーで有名になり、その一部はPalantirを設立しました。



Palantirには次のタスクがあります：詐欺師との戦い、法執行機関、医学、intelligence報、軍事分野などの支払いシステムに関連する、増加する着信データの流れを迅速に分析して意思決定を提供する。 データを使用して意思決定を行う必要性と同様に、データの量は常に増加しています。







Palantirとは何ですか？ 1つの提案は、分析インフラストラクチャです。



私は分析的な言葉を非常に慎重に使用しています。実際、パランティールは間違いなく視覚化ツールではないということです（明らかに、誰かがこれを説明するのはあまりにも頻繁に行われます）。 インターフェースは単なるインターフェースであり、内部にはまだ多くの興味深いものがあります。少し後で説明します。



また、パランティールは閉鎖された環境ではなく、可能な限りオープンであると当初考えられていました。 実際には、これはPalantirがオープンデータ形式をサポートし、どのような形式のデータでもダウンロードおよびアップロードできることを意味します。 また、これは、サードパーティのアプリケーションを使用する場合、それらとの互換性を意味します。 オープンでパブリックなアプリケーションプログラミングインターフェイスを使用します。つまり、サードパーティ企業は新しいアプリケーションを作成し、スマートフォンなどのプラットフォームで機能を拡張できます。 最後に、Palantirは他のすべてのデータベースの1つのデータベースではありません（それらをすべて支配する1つのデータベース-ロードオブザリングのほのめかし）、つまり、アイデアはすべての開発をPalantirで置き換えるのではなく、それらを補完して作業を簡素化することです。



Palantirの正確な機能について説明すると、ベースから始まる4つの主要なレイヤーを区別できます。



1.データ統合。

2.検索と調査。

3.ナレッジマネジメント。

4.コラボレーション。



より詳細に：







1.データ統合がPalantirの始まりです。 これは、ユーザーが持っているすべてのデータを任意の形式で取得し、それを単一のデータベースに、単一のアクセス可能な環境に統合することを意味します。 それは高速で、数ヶ月ではなく、数日と数週間かかります。 これは柔軟なシステムであり、従来のデータソースだけでなく、GPSデータ、地図、ビデオなどの特殊なデータソースも統合できます。 これは、数十億のデータ関連レコードを処理できる広々としたシステムです。







2. 検索と研究は、2番目に大きな作業層です。 Palantirを使用すると、1つの検索文字列ですべてのデータを検索およびアクセスできます。これは、あなたが知っていることを見つけるだけでなく、知らないことを提供するツールについてもです。 これは、データ間の関係、そのような関係のネットワーク、物事の本質と呼ばれるものに基づいた概念検索であり、これは永続的な検索であり、私が見たい情報の基本的な要件を形成した後、Parantirは私に警告します要求の性質に該当する情報（パターン-パターン、傾向、図。おそらく、これはスマートシステムがキャッチする要求の本質です）。 これは時間と場所による検索であるため、あちこちで何が起こっているのかを理解できます。 検索は、オペレーターのデータ処理の期間を短縮したいという望みに基づいて行われました。 これは、名前、ファイルの種類、データベースによる検索だけでなく、たとえば、人やイベントによる検索にも馴染みのあるものです。 私は直接尋ねることができます：「ここに3週間滞在したすべてのタクシーを見せてください」、または「過去6か月間に私の地域で発生したすべての犯罪のタグと、前半年との違いは何ですか？」 これは単純であり、各リクエストに特別なプログラミングや開発作業を必要としません。







3.一般的に、検索は重要ですが、十分ではありません。 SodがPalantirの従業員であるという情報を取得できますが、それを使用するには追加情報が必要です。この情報は、システムに入力されたときにどこから来たのか、誰が情報にアクセスできるのかなどです。 これは第3層です-ナレッジマネジメント、アイデアはすべてのナレッジが誰かによって一度作成され、どこかでシステムに入力され、時間の経過とともに何らかの形で変更され、そのようなアクセスレベルを持ち、すべてが考慮されるということです。 データとメタデータの両方が重要です。







4.不足しているもの。 データとメタデータは豊富で、コレクションとストレージの両方で安価です。 最も貴重なリソースは分析です。アナリストが作成するのは、生の情報に対する人間の認識です。 Palantirは、分析を簡素化するだけでなく、結果を共有できるように設計しました。 これが4番目の層-チームワークです。 多くのアナリストの努力により、結果を共有し、現象の完全な画像を作成する機会を提供します。 アイデア自体は、当初予想していたよりも深いものでした。 アイデアは、世界の全体像を描くことです。 異なるデータ、現象の異なる側面が見られる場合、個別に作業します。 同時に、世界のさまざまな写真を開発したので、それらをテストし、一般を比較および合成する方法を探しています。 たとえば、大規模なソフトウェアプロジェクトがある場合、何百人もの専門家が毎日それを変更できます。 このアプローチを使用して、製品のバージョン管理、プロセスを管理する機能を取得します。 全体像から始め、少し変更を加え、仮説をテストし、最終的に再び全体像を収集できるスペースを確保します。 さらに、これは保護された作業方法です-誰もが彼が見ることが許されている部分だけを見ます。







全体として、パランティール：

1. スケーラブルで、多くの人がペタバイトのデータを扱うことができます。さらに、このデータは作業中も増え続けます。
2. 保護されています。つまり、あらゆる情報が監視され、Parantirはすでに世界で最も機密性の高い（ほとんどの場合、SODはセキュリティに大きく依存している環境を意味します）環境と連携しています。
3. 低リスク、つまりPalantirは、種を植えるプロジェクトではなく、6か月または1年待ってから、数週間で統合できます。
4. 効果的であることが証明されています。 すでに医療機関で使用されており、法執行機関では、銀行が詐欺師に対抗するために使用されています。

技術の準備が整い、技術は機能しています。 それでは、その方法を見てみましょう。



北アフリカでのテロ資金調達活動を調査するテロ対策アナリストの日、パランティールの能力を実証します。 私がエジプトで何かを見つける方法を見るでしょう。 新しい情報が到着した瞬間からプロセス全体を確認してください。 調査して要約します。



ログインしました。これがプログラムの外観です。







左側には、新しい入力ドキュメント、この場合は「フィールドからの」新しいインテリジェンスがあります。 私の新しいヒントを見てみましょう。

カイロ出身のエージェントCT-Blueは、彼がいくつかの招待された組織があるAl-Moojaチャリティイベントに参加したと報告しています。 アメリカの都市の重要なオブジェクトへの攻撃について話し合った3人の招待された非アメリカ人のカードを添付します。 このデータを取得してPalantirに入力し、見つけられるものがあるかどうかを確認します。







ご覧のとおり、ここに青いリンクがあります。これは、同僚の1人が既にドキュメントを処理し、タグを割り当ててより便利にしたことを意味します。このデータの一部には、システムに既にあるものと共通するものがあります。 この青いリンクは、私たちがその男であるマイク・フィクリに関係する書類につながります。 電話番号を追加し、次のようにPalantirに指定します。 これは、非構造化レポートに意味と構造を与える方法です。







これらの人を、Palantirのリンク分析のメインツールであるグラフ（ウィクショナリー：グラフは接続を持つオブジェクトのコレクション）にドラッグし、他の人との接続があるかどうかを確認します。 マイクには写真があるので、彼に関する情報は間違いなくあります。







現在、未加工情報、レポート、データベース、外部ソースなど、さまざまなソースから収集された情報が表示されます。たとえば、支払いや電話での会話に関する情報があります。 これは、ある種の人のレビューです。 名前、住所、名前が2つの言語で記述されているため、さまざまなスペルが表示されます。つまり、多くの言語で情報を処理できます。







複数の電話番号、さまざまな添付ファイルが表示されます。つまり、ここにビデオ、オーディオ、または画像を添付できます。 最後に、他の人とのつながりがあります。 マイクは23回の通話と、システムに入力された2回の支払いに関連付けられています。 グラフに戻って、グラフ上の関係を分析すると便利です。



私はこのレベルで詳細を調べたり、関係書類を読んだりするのではなく、より一般的でより直接的な質問をします。「これら3つは、Palantirが現在持っている？」 これを行うために、「Look around the bush」という素晴らしいツールがあります。 新しい検索を作成しています。 Palantirは、どのような偶然の一致または接続を確認したいかを尋ねます。 私はこれらの人が誰に関係しているか、そして彼らに関係している人を見ることができます。 情報が一致する場所を正確に確認できます。 このアドレス、電子メール、または名前がどこかでポップアップしたかどうかを尋ねることができます。 また、これらのイベント（通話と支払い）を通じて誰が接続しているのか、誰が接続しているのか、誰と接続しているのかを確認できます。 つまり、Parantirでは、かなり正確に質問することができます。







リクエストで何も変更する必要はありませんので、事前に作成したものを使用します。



ここにいくつかの質問があります：



-仲間はグループの一部ですか？これらのグループに他のメンバーはいますか？

-参加者はどのようなイベント（電話などのイベントを含む）に参加しましたか？







分離には4つの程度があります。つまり、質問が複数回尋ねられ、何度も何度も繰り返されて、より完全な概要が得られました。 ご覧のとおり、図は非常に大きいことがわかったため、検索を完了して調査を開始します。







このような膨大な結果を得た最初にやりたいことは、私が見ているものをPalantirに尋ねることです。このために、私は見ているすべての簡単なアイデアを提供するヒストグラムツールを使用します。







私は14人の異なる人々を見ており、たとえば4人の男がカリフォルニア州ブルックリンの1か所に住んでいるなど、頻繁に繰り返されるものも目にします。 3人はバンクーバーに、3人はトロントに住んでおり、これらのグループが選ばれたときに簡単に見ることができます。 サンフランシスコ、バークレー、デイリーシティに住んでいる人の数も確認できます。



メール用の一般的なドメインhotmail.comは次のとおりです。hotmailでメールを持っている人、aol（アメリカでオンライン）を持っている人を確認できます。 姓、国籍などで一致を確認できます。



ここで覚えておくことが重要なのは、Palantirではこれらすべての種類の情報を所有できるだけでなく、所有したい種類の情報もカスタマイズできるということです。 テロ対策の文脈では、これらはあなたが注意を払うものです：人々と彼らの国籍、伝記の特徴、電話や支払いなどの出来事。 サイバーセキュリティなどの別の分野を見ると、たとえば人々の代わりに、コンピューターとサーバーが興味深い場合があり、イベントはそれらの間のトラフィックになります。 医療では、これらは病気の発生です。



よく見てみましょう。



あなたの目を引く最初のことは、私たちが疑う3人のうちの1人だけが何かと関係があるということです。 残りは削除しましたが、削除しませんでした。しばらく非表示にしました。







残りのMike Fickreyは、この興味深いグループに関連付けられています。 よく見ると、同僚の一人がベイエリアのセルで働いているセルからのテロ容疑者のグループとして彼らを観察しています。 マイクは別の男を通して彼らとつながり、これはすぐに彼に対する私の興味を高めます。 カイロの容疑者は、米国のどこかでの攻撃に関連している可能性があります。 また、ここでは多くの興味深い俳優グループに関連付けられていることもわかります。 どのくらい正確に接続されていますか？







真の主題であるマイク・フィクレイは、MFと呼ばれる未知の存在を通してそれらの人々とつながっています。 マイクのイニシャルのように見えるので、これは疑わしいです。







私はこれらの人々の間のつながりを開いて、彼らが共通しているものを確認します。彼らは両方ともカリフォルニアに住んでおり、両方ともイラン人であり、2人は1つの電話番号を持っています。 これは確かに信頼できるものではありませんが、マイクとMPは1人であるという仮説を検証したいと思います。







Palantirでは非常に簡単です。これら2つのResolveコマンドを選択すると、プログラムはそれらに関するすべての元の情報を結合し、さらに、各データの出所とシステム内での出現時に関する情報も結合します。 。 これで、すべての情報、独立したレコードのすべての住所と電話番号の組み合わせを含む結合ビューができました。



いつでも、仮説を無効にする情報を受け取ることがあります。これはそれほど重要ではありません。同僚と同じように、組合を簡単に取り消して元の記録を復元できます。 情報もこの仮説と一致している可能性があります。 この仮説を同僚と共有したいので、この情報を強調して公開します。 今まで、私は個人的なスペースで働いていました。今では、マイクについて見ている人は誰でも、彼とMFは同じ人物であるという私の仮定を見ることになります。



マイク・フィクレイは、この大規模で興味深い人々のグループと直接つながっていることがわかりました。ここには、さまざまな種類のアクティビティが表示されます。支払い、通話、共有住所、フライト、つまり、これらの人々は一緒に移動しました。ここで何が起こっているのかを理解することは非常に困難です。この情報をより完全にする方法は2つあります。







まず、道順をお見せします。支払いがある場合、誰かが別の支払いをするので、それを視覚化したいと思います。 Palantirには素晴らしいツール、フローがあります。お金がどこに表示され、どこに行くのかがわかりました。赤い点のサイズはキャッシュフローのサイズを示すために異なるため、そこにはほとんどアクティビティがなく、ここでは本当に深刻なトラフィックが見られます。この人からこれらの3つのグループに大量に移動します。これは面白いです。







スレッドに関する2つのこと。

まず、フローは完全に拡張可能であり、これは支払いを視覚化するためのツールであるだけでなく、他の動きでも使用できます。この調査では、通話も見ることができます。これは、それらの間の呼び出しのネットワークがどのように見えるかです。







第二に、これは私たちのオープン性を示しています。スレッドツールはサードパーティアプリケーションとして開発されましたが、見た目と動作は私たち自身の開発のようです。これは、さまざまなタスクに対するプラットフォームのカスタマイズの度合いを示しています。



そして、キャッシュフローを見ました。この男は彼らにお金を送ることで他の人とつながっています。また、時間を見てみましょう。支払いが来ていること、人が旅行していることを知っています。順序は何ですか？お金は同時にまたは任意の順序で行きますか？フライトの前後に？



別のツールがあります。これはタイムラインと呼ばれ、あなたが思っていたとおりに機能します。イベントを時間内に表示します。イベントを色で強調表示すると簡単になります。







フライトは青、支払いは緑、通話は赤になります。今、私たちは何が起こっているのか少し明確な絵を見る。最初の支払いが2007年10月20日に渡され、彼の前にアクティブな呼び出しがあったことがわかります。支払い後すぐに電話がかかります。翌日、同じことが2回目の支払いで繰り返されます。 3日目の支払いは2日後に行われ、再び電話がかかりました。さらに詳しく見ると、多くのフライトが表示されます。バンクーバー、トロント、メキシコシティに住んでいるこれらの3つのグループは、容疑者と関係のある男から多額のお金を受け取り、お金の後に電話をかけ、数日後に飛行機に乗り込みました。彼らはどこへ行きましたか？



ヒストグラムに戻りましょう。空港について調べることができるものを見てみましょう。シカゴ、バンクーバー、メキシコシティ、トロント、および4番目のフライトを合わせて3つのフライトがあります。私は何か面白いものを見つけました。人々のグループが米国の都市への攻撃に関連している可能性があるというインテリジェンスが受信されました。そのうちの1人は多額の金を米国外の3つの異なるグループに送金し、3つのグループはすべて同じアメリカの都市に旅行したことがわかりました。私にとっては、操作が準備されているかのように、活性化されたセルがどのように振る舞うことができるように見える。



これで、自分の結果、分析結果を同僚、法執行機関と共有できます。タイムラインとグラフの最も重要な確認のスクリーンショットを撮り、PowerPointのプレゼンテーションとして便利な（調整可能な）形式でエクスポートします。



ここで、Parantirは研究中の私のすべてのステップを再現します。最初にこの男を見て、次にこのネットワークを構築し、次に多くの詳細を見つけました。次に、この特定のタイムラインの意味を説明します。これで、素材がほぼ完成しました。少し終えて、共有する準備がほぼ整いました。







アナリストのパランティールの人生に特有の日であるライフサイクル全体を経験しました。 「フィールドから」新しい情報を受け取り、小さな調査と分析を行い、少し調査して、他の人と共有しました。ほとんどの時間がかかったことに気づきましたか？ほとんどの時間は、分析プロセス自体、私が定式化した質問、これらの人物とは何か、私たちが彼らについて知っていることについて話すことに費やされました。データベースを名前で検索するのに時間はかかりませんでした。さまざまな種類のデータや秘密（奇跡）に魅了されるのを見たことはありません。また、私の仕事についてプレゼンテーションやレポートを作成するために、便利な（調整可能な）形式に作品を作り直すのに多くの時間を費やす必要があることもわかりませんでした。アナリストとしての私が得意なことに時間を費やす方法を見ました特別な知識を応用し、直感を活用し、興味のある足跡をたどる。情報の検索、情報をさまざまな形式に変換して便利にするなど、得意なことはコンピューターに任せました。これはすべて、アナリストとしての情報との相互作用の量を減らすという考えに従属しています。質問にすばやく答え、調査を迅速に行い、結果を他の人と迅速に共有する機会を与えてください。質問にすばやく答え、調査を迅速に行い、結果を他の人と迅速に共有する機会を与えてください。質問にすばやく答え、調査を迅速に行い、結果を他の人と迅速に共有する機会を与えてください。



これが有用なデモンストレーションであり、パランティールが何であるかの非常に表面的なデモンストレーションであったことを願っています。また、その領域に特化する素晴らしい能力（地理特殊能力）もありますが、私たちは触れませんでした。大規模データを扱う多くの機会。







また、スマートフォン上のPalantirのすべての機能へのアクセスを可能にするモバイル機能の成長に注目しています。ありがとう、私たちと私たちの顧客とコミュニケーションをとってほしい。



よろしくお願いします。お時間をいただきありがとうございます。