MapR技術戦略担当副社長へのインタビュー

こんにちは、Habr！ CEE-SECR 2016カンファレンスの準備で友人を少し助けました。その過程で、MapRの技術戦略担当副社長Crystal Valentineに会いました。 Krystalは優れた仲間であり、非常に収集され、意図的であり、彼の業界を深く理解しています。 そして、彼女の会社は最後の会社ではありません。 モスクワでの彼女の報告は非常に興味深いと思いますが、テクノロジー戦略担当副社長としての業界の将来についてもっと知りたいと思い、クリスタルとのインタビューを思いつきました。 それは私が得たものです。 クリスタルは私が彼女に尋ねたすべての質問にとても親切に答えてくれました。 一般に、Crystalの回答は、テキストの行ごとに提供される情報の密度、文言の明確さ、望ましい境界内にとどまる能力、および会社の使命と将来の市場に関する非常に明確なビジョンによって区別されます。



私：数年間、スケーラブルなファイルシステムはMapRアーキテクチャのユニークな機能でした。 現在、データストレージ自体はますます安価になっており、ユーザーはシステムの柔軟性とパフォーマンスに関心を持っています。 MapRの開発における新しい重要なソリューションは、消費者の高まる需要にどのように対応すべきかを教えてください。



Crystal（以降K）： MapRは、2009年の歴史の始まり以来、かなり長く困難な道を歩んできました。 開発に伴い、同社は業界をリードする一連の革新的技術を導入し、今日ではこれらの革新的技術がすべてMapR Converged Data Platform （以下CDP MapRと呼びます）に統合されています。



MapRが2011年に初めて市場に参入したとき、Apache HDFS APIをサポートする特許取得済みの高性能スケーラブルストレージレイヤーであるMapRファイルシステム上に構築されたHadoopエンタープライズシステムのおかげで有名になりました。 この製品は、Forrester （米国の独立した技術および市場調査会社）により、最高のHadoopプラットフォームとして認識されています。



2013年、同社は、Apache HBase APIをサポートするNoSQLデータベースであるMapR DBを市場に導入しました。 Forresterは、この製品を最高のNoSQLデータベースとしても評価しました。 その後、JSONドキュメントのサポートがMapR DBに追加され、2014年にApache Drillが登場しました。 Gigaom （カリフォルニアのMedia Company）により、最高のSQLツールとして認識されています。

昨年、MapRはMapR Streamsを導入しました。これは、高性能で高スループットのApache Kafka APIをサポートするスケーラブルなメッセージングシステムです。



もちろん、これらのツールはそれぞれ個別に使用することができ、それらの多くはセグメントで最高のものとして認識されていました。 しかし、私の意見では、CDP MapRを使用する最大の効果は、これらすべての製品（さまざまなレベルの可用性、スケーラブルなNoSQL、およびメッセージストリーミングとストレージの大規模なデータウェアハウス）が単一のプラットフォームで動作するときに生じます。 CDPでは、複数のデータセンターにある可能性のあるすべてのファイル、テーブル、およびストリームに、単一のスペースでアクセスできます。 このプラットフォームは、マルチユーザーアクセスを備えたさまざまなコンピューティングシステム（MapReduce、Spark、YARNジョブなど）をサポートしています。 これにより、高性能プラットフォーム上で古いデータを新しいデータソースと一緒に使用する場合に、最新のアーキテクチャでアプリケーションを作成できます。



将来的には、非常に興味深い革新的な製品とオプションの導入も期待されています。 たとえば、最近、CDPがマイクロサービスをサポートすると発表しました。



私：近い将来、ビッグデータおよび機械学習市場でどのような重要なリリースを予想していますか？



K：機械学習と人工知能の理論のほとんどは50年代に開発されたため、私たちは異常に刺激的で涼しい時期に住んでいますが、これらのデータがロードされたアルゴリズムをサポートできる強力なビッグデータプラットフォームが今しかありませんこれらの理論を可能にする規模、速度、コスト。



市場は急速に成長しています。 特定の製品を特定することは困難です。 しかし、一部のセクター、つまりモノのインターネット、クラウドコンピューティング（特に、複数のデータセンターを使用できるハイブリッドクラウドまたはアプリケーション）、マイクロサービス（いくつかの利点があり、トレーニングと検証に最適）の深刻な発展が見られると思います機械学習モデル）、およびディープラーニング。



私： 3年前にMapRがスカイツリーと提携したとき、それは正しいが未知の方向への大きな一歩でした。 今、この方向の利点は誰にとっても明白で理解できるものです。 しかし、機械学習市場では、オープンソース製品がプロプライエタリよりも需要が多いと思いませんか？



K： CDPの利点は、ユーザーに幅広いツールの選択肢を提供し、分析とデータ処理のプロセスに柔軟性を提供できることです。 はい、もちろん、オープンソース製品は急速に開発されています。 しかし、多くのお客様は、さまざまな機械学習アルゴリズムとモデルを使用して迅速に開始できるように、SkyTreeなどのパートナーを探しています。 最後に、アプリケーション開発者に自由を与えたいです。 CDPは、この機会を提供し、アプリケーションがオープンソース製品を使用するか独自のシステムを使用するかに関係なく、アプリケーションのパフォーマンスを向上させます。

MapR Converged Data Platform

私： SparkとHadoopは互いに競合していると思いますか？ それとも、これらの技術は互いに補完し合う可能性が高いのでしょうか？ ビジネスインフラストラクチャを構築する際に推奨するのはどれですか。



K：ビッグデータ市場は非常に複雑です。 今日、消費者は、データ処理への単一のアプローチの適用に焦点を当てたオープンソースソリューションの幅広い選択肢を持っています。 その結果、より複雑な特性を備えたアプリケーションでは、複数のソリューションで構成され、異なるクラスターで動作し、一連のプロトコルで接続された複雑な複合アーキテクチャが必要になることがよくあります。



そのようなソリューションの1つがApache Sparkです。 ApacheがMapReduceジョブとして実装した従来のアプローチと比較してI / O操作を簡素化するメソッドを使用し、Apache SparkがMap Reduceよりも多くのツールをAPIで提供しているため、Apache Sparkは少し前に人気を博し始めました。



ただし、Sparkには独自のデータストレージレイヤーがないため、MapRクラスターまたはApache Hadoopで動作することがあります。 したがって、あなたの質問に答えると、それらは互いに補完的であると言えます。 今日では、ユーザーが「単なる」Map ReduceジョブよりもApache Sparkを好むことは明らかです。 ただし、ここでは、コンピューティングシステムとインフラストラクチャの違いを明確に理解する必要があります。 最終的に、SparkとHadoopの両方で興味深いアプリケーションを開発できますが、大規模な組織にとっては、データに対する全体的なアプローチ、つまり、HadoopとSparkの両方を他の多くのコンピューティングシステムと一緒にサポートできるプラットフォームを使用するのが賢明でしょう。



私： MapRとGoogleはパートナー企業であり、MapRはGoogleクラウドに基づいたサービスを提供することが知られています。 Tensor Processingチップは製品にどのような影響を与えると思いますか？



K：一般に、MapRはGoogle Cloudを含むすべての主要なクラウドプロバイダーと提携しています。 ところで、Google Capitalは投資家の1人です。 アマゾンウェブサービス、Microsoft Azure、CenturyLinkクラウドなどを含む広範なアフィリエイトプログラムがあります。



クラウドコンピューティングプラットフォームは今後も市場を征服し続けると確信しています。 したがって、一方では、顧客が使用したいコンピューティングシステムを開発し、他方では、ローカルインフラストラクチャ（オンプレミス）またはパブリック、さらには組み合わせであっても、顧客にとって便利なインフラストラクチャを使用する機会を提供したいと考えています。両方のタイプ。



Google Tensor FlowとTPUは、クラウドプロバイダーによって開発されている優れた革新の例です。 結局のところ、機械学習アルゴリズム（TPUで動作するかどうか）は、トレーニングに大規模なデータセットを使用する機能の恩恵を受けるだけです。 これは、リアルタイムのデータフローをサポートする機能と、複数のモデルをテストおよびトレーニングする柔軟なマイクロサービスプラクティスの開発と相まって、Google Cloudを含む機械学習を使用するお客様にとってCDPは非常に魅力的です。



私：クライアントがMapRテクノロジーを使用するお気に入りのケースについて教えてください。



K：実際、MapRクライアントは通常、技術に精通している人です。彼らは革新的な問題の解決に焦点を当てているため、CDPを選択します。つまり、競争上の優位性を開発する幅広い分野を提供するプラットフォームが必要です。 アドテックは、技術によって直接発展が決定される業界であるため、非常に興味深いと思われます。 この分野で働く企業の主な競争上の優位性は、プラットフォームの品質と速度にあるはずです。 多くの点で、アドテックはこの分野を知っている形では存在しませんが、コンピューティングプラットフォームの分野での大きな成果ではありません。



しかし、全体として、私のお気に入りのケースは、インド政府によって実施されたAadhaarプロジェクトです。 インドの人口は非常に多様であり、その人口は13億人です。 これらの人々は640,000の村に住んでおり、22の公用語を話します。 膨大な数の労働者が移民（3億人）であり、人口の貧困レベルは非常に高く、人口の60％は1日2ドル未満で生活しています。 この国には7,500万人のホームレスがいます。 政府は、食料、燃料、輸送など、貧困者への補助金に年間約400億ドルを費やしています。 しかし、このお金のほとんどは、詐欺と腐敗のために未知の方向に消えました。 問題は、その国に信頼できる州識別システムがないことでした。 人口の識字率が低いため、政府は、指紋と虹彩のスキャンに基づいてインド国民を特定できる生体認証データベースの導入を決定しました。



このプロジェクトは2009年に開始され、CDP MapRに基づいています。 現在までに、10億人以上の住民がすでにシステムに登録されています。 これは、インドの成人人口の95％に相当します。 毎日、500,000人の新しい人がシステムに登録されています。 毎日1億件以上の承認がシステムによって実行されます。 平均応答時間は200ミリ秒です。 システムは、MapRミラーを使用してアクセシビリティを高め、エラーを防止します。したがって、電気やネットワークの中断でさえ、それを無効にすることはできません。



このケースは、テクノロジーが人々の生活をより良く変える方法の良い例だからです。 インドの政府補助金は最終的にすべての受取人に届き、困っている人々の生活の質を改善しています。



私：ビッグデータをビジネス戦略に統合しようとしている企業に、どの戦略をお勧めしますか？



K： MapRでは、企業は特別なデータ戦略を開発する必要があるとよく言います。 マーケティング戦略、技術戦略、価格戦略の概念は、ビジネスにとって馴染みやすく理解しやすいものです。 しかし、今日ではこれだけでは不十分であり、今日ではビジネスにもデータ戦略が必要です。 すべての企業は、業界に関係なく、利用可能なデータを適切に使用することで大きな機会が隠されていることを認識しています。 これを最も効率的な方法で行うために、IT企業は考え方を変える必要があります。 現在、どのデータが必要かを指示するアプリケーションはありません。 データが中心になります。 すべての組織のデータに高速、安全、簡単にアクセスできるデータプラットフォームを使用すると、多くの革新的なアプリケーションの開発が加速されます。