Wolfram Data Drop-新しいWolfram Researchサービス

Stephen WolframによるWolfram Data Drop Is Live！の翻訳 翻訳に協力してくれたキリル・グゼンコに深く感謝します。



モノのインターネットからのデータはどこに行くべきですか？ Wolfram言語には、クエリやその他の興味深いことを解釈、視覚化、分析するための優れた技術があります。 しかし、問題は、ネットワークと他のすべてのソースに接続されたデバイスからのこれらすべてのデータが、上記のすべてがそれらで実行できる場所にどのように到達すべきかということです。 本日、私は、この問題に対する優れたソリューションであるWolfram Data Dropを発表しました 。







私が最初にデータドロップについて考え始めたとき、私は主にさまざまなデータを移動する便利な手段としてそれを見ました。 しかし、データドロップが作成された今、データを移動するための単なるサービスではないことを理解しています。 実際、これは、コンピューティングと現実の世界を統合するという私たちの継続的な旅における重要なステップです。



では、Wolfram Data Dropとは何ですか？ 機能レベルでは、さまざまなセンサー、デバイス、プログラム、人などから受信したデータを受信して​​整理するように設計されたユニバーサルデータアグリゲーターです。 さらに、データはクラウドに保存され、デバイス自体に保存されているかのように計算および処理に使用できます（計算とデータのシームレスな統合）。







私たちの目標は、Wolfram Data Dropのデータをどこからでもできるだけ簡単にアクセスできるようにすることです。 Web API 、 メール 、 Twitter 、 Webフォーム 、 Arduino 、 Raspberry Piなどを使用できます 。 他のデータ収集システム（ソフトウェアとハ​​ードウェアの両方）と通信するためのさまざまな機会を徐々に追加するにはどうすればよいでしょうか。 データの出所は関係ありません。 アイデアは、Wolfram Data Dropが同じアルゴリズムを使用してこのデータを収集するということです：特定のIDを持つ「データビン」で。



以下は、これがどのように機能するかの例です。 この表には、この小さなデバイスがあります。







30秒ごとに、右端にある小さなセンサーからデータを受信し、wifiおよびweb APIを介してデータをID「3pw3N73Q」のWolfram Data Dropデータビンに送信します。 すべてのデータビンと同様に、このデータビンにはインターネット上の独自のページwolfr.am/3pw3N73Qがあります。



このページはコントロールセンターです。たとえば、ソースデータをダウンロードできます。 しかし、最も興味深い事実は、データビンがWolfram言語に完全に統合されていることです。 Wolfram言語の主な概念は 、知識に基づいており、それ自体に世界に関する膨大な量の知識を含んでいるということです。 その仕組みについて。



たとえば、Wolfram言語には、株価 、 地震、 その他多くのもの に関する現在のデータがあります。 しかし今では、Wolfram Data Dropを通じて取得した私の机の環境条件などを知ることができます。 この場合、上記の小さなデバイスからデータを取得します。



仕組みは次のとおりです。 以下はdatabinと呼ばれるWolfram言語の文字オブジェクトです：







さまざまなアクションを実行できます。 たとえば、次はデータビンのデータのタイムライングラフです。







そして、ここに値のヒストグラムがあります：







そして、表の形式で提示される初期データは次のとおりです。







本当に素晴らしいこと：どこからでもデータを保持できるデータビンは、言語の一部にすぎません。 そして、他のデータと同様に、このデータを使用して計算を行うことができます。



ここでは、たとえば、私のテーブルの最小および最大温度関数が示されています（MinMax-新しいWolfram言語関数）：







他の単位に変換できます（ ％ -前のステップで計算された結果に対応）：







ここで、圧力対時間の関数を想像してみましょう。 ここにあります：







もちろん、 Wolfram Knowledgebaseには天気データのアーカイブがあります 。 したがって、Wolfram言語では、データビンに含まれる期間中、単に場所のポイントで圧力を要求することができ、結果は驚くほど似ていることがわかります：







必要であれば、 時系列の分析、 機械学習アルゴリズムの使用、 モデルの作成など、データを使用して多くの興味深いことができます。 洗練された方法でデータを視覚化できます。 構造化クエリまたは自然言語のクエリを作成できます。



databinから取得するデータはunitsに付属していることに注意してください。 Wolfram Data Dropの基本機能の例を次に示します。ソースデータを保存するだけではありません。 データが保存され、それに添付されている実際の意味が含まれています。 これは、このデータがどこで使用されるべきかをすぐに理解できることを意味します。



これを行うには、ハイテクシステムであるWolfram Data Framework（ WDF ）を使用します。 Wolfram | Alphaと密接に関連して開発された、我々は実世界からのデータの記号表現のための標準システムを開発した。 また、Wolfram Data Dropの各データビンはWDFを使用してデータの意味 （「 データセマンティクスシグネチャ 」）を決定し、このデータの解釈方法、 および 自動インポートシステムと自然言語認識システムが到着する新しいデータを処理する方法を決定します。



このすべての利点は、データがWolfram Data Dropに格納されたため、Wolfram言語およびこの言語を使用するすべてのシステムで普遍的にアクセスおよび解釈できることです。 したがって、たとえば、Wolfram Data Dropのパブリックデータビンは、Wolfram | Alphaを使用するインテリジェントアシスタントと同様に、Wolfram | Alphaからいつでも利用できます。 Wolfram | Alphaにデータビンの名前を伝えると、システムは含まれているデータの分析を含む自動レポートを作成します 。







WDFを使用すると、Wolfram Data Dropはさまざまな物理的次元の 10,000ビューで即座に動作します。 ただし、データドロップは数値と数値に限定されません。 必要なものはすべてシステムにダウンロードできます。 また、Wolfram言語はシンボリック言語であるため、同じ方法でこれらすべてを処理できます。



Wolfram Data Dropは時間データと、可能であれば位置データを自動的に入力します。 どちらの場合も、このデータをWDFに提示するための特定の標準があります。 化学化合物 、 都市 、 クラス 、 ネットワーク 、その他何千ものものと同様に 、Wolfram Data Dropにアップロードされた画像を操作することもできます。



品質保証部門のどこかに、接続されたカメラを備えたRaspberry Piがあり、10分ごとに2匹の魚の写真を撮影し、Wolfram Data Dropのデータビンに書き込みます。







Wolfram言語を使用すると、これらの画像をすべて簡単にインタラクティブな3D画像キューブに組み立てることができます：







または、画像を処理して、魚が過ごした場所の地図を取得します。







Wolfram言語ではあらゆる種類のデータ分析を行うことができます。 しかし、私にとって最もエキサイティングな事実は、Wolfram Data Dropを使用して実世界のデータをシステムに簡単に入力できることです。



私たちのオフィスでは、さまざまなデータビンが一般的に使用されています。 それらは、既存の制御および監視システムと非常に簡単に作成および統合できます。 サーバールーム（HVAC）、本社の屋上にある温度センサー、トイレの冷蔵庫、インターネットネットワークの監視、およびデータドロップ自体のデータビンがあります。 毎日、いくつかの新しいソリューションが行き来しています。



多くのデータビンは個人用に作成されています。 たとえば、私にとってデータの収集と分析は長年の趣味です。 そして実際、私は四半世紀以上にわたって自分に関する個人データを収集してきました。 また、2015年3月には、歴史的規模で一歩前進すると言うこともできます。 結局のところ、データドロップを使用すると、データの収集がはるかに簡単になり、その結果、収集する情報量が劇的に増加します。 私は少なくとも25のdatabin`amiを持つ男になります...これは制限ではありません。



非常に重要な事実は、Wolfram Data DropのすべてがWDFに保存されていることです。つまり、すべてのデータは特定の形式で提示されます。つまり、異なるデータビンで作業し、異なる値を比較し、異なる値を組み合わせて意味のある計算結果を得ることができます。



少量のデータを扱う限り、Wolfram Data Dropは完全に無料でオープンです。つまり、誰でも何でもすぐにデータをアップロードできます 。 公式ユーザーは、常に増加する速度で、はるかに大量のデータを操作できるようになります。



Wolfram Data Dropのデータビンはパブリックでもプライベートでもかまいません。 また、変更のために開いたり、承認が必要な場合もあります。 誰でもメインクラウドであるWolfram Cloudで Wolfram Data Dropにアクセスできます。 ただし、独自のWolfram Private Cloudを所有している組織は、すぐに独自のプライベートデータドロップを使用できるようになります。これは、独自のインフラストラクチャ内で動作します。



それでは、典型的なWolfram Data Dropワークフローはどのように見えるのでしょうか？ 何をするかによります。 そして、私の経験から判断すると、単一のデータビンでさえ、いくつかの異なるワークフローが必要です。



何らかの種類のデータビンを取得し、 Wolfram言語セッションでインタラクティブモードですぐに計算を行い、データを調べ、作業結果を記録し、別のファイルにレポートを作成できると非常に便利です。



ただし、自動モードでデータビンを操作する場合は、はるかに便利な場合がよくあります。 たとえば、スケジュールされたタスクを作成すると、システムはデータビンを電子メールに送信します。 データをWolfram Cloudに投稿して、CloudCDFを使用している人がインターネット経由で受信したデータを操作できるようにすることができます。 誰かがページにアクセスするたびに、レポートを自動的に生成して送信できます。



しかし、範囲はインターネットに限定されません。 レポートがWolfram Cloudに到着した瞬間から、モバイルウェアラブルガジェットですぐに利用できるようになります。 同じことがデスクトップコンピューターにも当てはまります。



自分で報告する必要はありません。 代わりに、データビンを監視するWolfram言語のプログラムが必要です。その後、たとえば、条件の組み合わせが満たされた場合に通知/アラームを送信し、他のアクションを実行します。



データビンを公開して、この方法でデータを効果的に公開できます。 または、データソースまたは指定した第三者のみがアクセスできるデータビンをプライベートにすることができます。 元の/処理された形式でデータビンからデータを受け取るAPIを作成できます。また、インターネット経由だけでなく、プログラミング言語やソフトウェアシステムからもこれらすべてを呼び出すことができます。



特定のデータビンは、1つのソースのみ、または1つのデバイスからデータを受信したり、異なるソースからデータを収集してアグリゲーターとして機能したりできます。 各データには詳細なメタデータが提供されるため、いつどこから来たのかを知ることができます。



数年にわたり、特にConnected Devices Projectを通じて、さまざまな接続デバイスを扱う企業と密接な関係を保ってきました。 そして私は何度も同じような対話をしました。会社はそれが作る素晴らしいデバイスについて話します。 その後、私は尋ねます-このデバイスが登録するデータはどうなりますか？ また、多くの場合、これは彼らにとって大きな懸念事項であると回答しましたが、クラウドサーバー、アプリケーション、およびデータを操作するためのその他のインフラストラクチャを作成するために別のチームを雇用する予定はありませんでした



Wolfram Data Dropを作成した理由の1つは、これらの企業と最高のソリューションを共有することでした。 データを受信し、データドロップに送信するだけで、そこからデータが既にクラウド（またはプライベートクラウド）に到着し、そこで簡単に分析、視覚化、受信、およびWebページ、API、アプリケーション、またはどんなに。



多くのデバイスメーカーがWolfram Data Dropを使用すると信じています。 彼らは、時にはWeb APIを介して、さまざまな方法でデータを受け取ることができます。 時々、 Raspberry PiなどのWolfram言語システムに直接接続します。 時々 Arduino 、 Electric Imp 、またはData Dropと互換性のある他のハードウェアプラットフォームを介して。 データは、電話または他のモバイルデバイスを介して送信できます。 また、別のクラウドから既に記録されたデータがソースとして機能する場合があります。



私たちは、有線、無線LAN、Bluetooth、またはその他を介してデバイスからデータを受信するという最低レベルの問題には取り組んでいません。



接続されたデバイス間でデータにアクセスするには、さまざまな方法があります。 開発者と研究者は、 Wolfram Cloudに直接アクセスするか、 Wolfram言語のデスクトップ/オンライン環境からアクセスできます。 顧客志向のデバイス関連企業は、たとえば、独自のWolfram Private Cloudを通じて運営できます。 また、 Wolframモバイルアプリまたは自分のプログラムを使用してData Dropにアクセスできます。 または、ある種のウェアラブルデバイスを介して。



企業がさまざまなデバイスからデータを収集する必要がある場合があります。 ネットワークを監視したり、調査を実施したりするとしましょう。 繰り返しになりますが、ユーザーはWolfram言語を直接使用したり、ポータル/アプリケーションを使用したりすることができます。



Wolfram Data Dropの概念について最初に考え始めたとき、データは主に自動化されたデバイスから来ると考えていました。 しかし、Data Dropができたので、人からのデータを処理することが非常に役立つことを認識しました。 これは、たとえば教室で回答を収集したり、クラウドソーシングプロジェクトのフィードバックを収集したり、さまざまな個人メモを保存したりするのに最適な方法です。 データビンのデータセマンティクスシグネチャが決定されると、Wolfram Data Dropは、ネットワークまたはモバイルデバイスにアップロードできるデータ表示フォームを自動的に生成できます。



フォームは、画像、テキスト、その他多くのことを処理できます。 テキストの場合、 自然言語解釈システムはデータを受信してWDFで解釈し、標準形式に変換できます。



Wolfram Data Dropができたので、このシステム用のさまざまなアプリケーションを探し続けていますが、まったく理解できません。このシステムなしではどうすればよいでしょうか？ Wolfram言語の他のすべてと同様に、これは自動化の物語です。WolframData Dropは、さまざまなソースからの実世界のデータの収集と処理を伴う厄介な一連のアクション全体を自動化します。



私にとっての最終的な目標は、他のシステムを作成/使用することなく、あらゆる種類のデータを収集および分析する能力です。 たとえば、先週、私はWolfram Data Dropを使用して、クラウド上のパフォーマンスデータを収集しました。 通常の状況では、このタスクは複雑すぎて面倒で、自分でやる可能性さえ考えません。 しかし、Data Dropの助けを借りて、インストールと構成に数分しかかからず、興味のあるデータを取得できるようになりました。



人々がこのシステムをどのように使用しているかを見るのと同じように、Wolfram Data Dropに実装するものの実装を楽しみにしています。 本日リリースしたベータ版を試して、 フィードバックを送信できます （もちろん、Data Drop databinに付属しています）。 データビンが世界のインフラストラクチャーに組み込まれるまでに少し時間がかかることを願っています。長期的なミッションのもう1つのステップは、世界を計算可能にすることです...