EPAMのコンスタンチン・ブドニック：「Apache Hadoopはコモディティフェーズに移行しました-そこにはほとんど新しいものは現れていません。」

11月初旬、東ヨーロッパで開催されるJavaDay 2017の主要なJava会議の1つがキエフで6回開催されます。 イベントの前にはまだ十分な時間がありますが、会議の講演者の1人であるコンスタンティン・ブドニック、チーフBigDataテクノロジスト兼オープンソースフェローEPAMシステムとオープンソース、ビッグデータ、Hadoopの将来について話し合いました。

Sun Microsystemsで15年近く働いた後、Hadoopで長い間働いていました。 あなたのキャリアはどのように発展しましたか？

サンクトペテルブルクにオフィスを開いた瞬間、1994年からSunで働いていました。従業員6番でした。15年間働いて、コンパイラから分散システムやクラスターシステムまですべてを行いました。 オペレーティングシステム、Javaスタックのさまざまな部分、特にJVMチームで作業し、仮想マシンの開発に参加し、JVM開発者向けのフレームワークをいくつか作成しました。



オープンソースを検討する場合、1994年頃からオープンテクノロジーを使用しています。 特に、2000年代半ばに、直前に作成されたLinux Software FoundationにJavaを追加する手助けをしました。 JavaはLSB-Linux Standard Baseの一部になりました。 その後、Debian Linuxディストリビューションの作成者であるJan Murdochと少し働きました。



2000年代から分散システムの使用を開始し、Sunでの作業中に、分散コンピューティングとテクノロジーの分野で約15の米国特許を取得しました。



2009年にYahooに切り替えて、Apache Hadoopの作業を開始しました。Apacheプロジェクトに入るコードを書きました。 Hadoopプロジェクトでの最初の3年間は、当時IBMよりも多くのコードを書きました。 具体的には、HDFS、Hadoopにデータを保存するための配布ファイルシステム、および分散障害注入システムに取り組みました。 これからしばらく経ちましたが、1年ほどEPAMと協力しています。

そこで何に取り組んでいますか？

EPAMにはビッグデータプラクティスの部門があります。 現在、「ビッグデータ」の処理分野に約300人の専門家がいます。 それらの一部はデータサイエンスに従事しており、別の部分は大量のデータを処理するためのアーキテクチャの構築です。 私はこの部門の主任技術者であり、さらに、会社全体のオープンソースソフトウェア開発の指揮も行っています。 EPAMは、製品開発の問題を解決するオープンシステムとプラットフォームに基づいたオープンソースプロジェクトをサポートするために、エンジニアと積極的に連携しています。



ビッグデータのオープンソースソフトウェアのシェアが約94〜95％であることは注目に値します。 「ビッグデータ」の処理の問題を解決するために使用される商用起源の「クローズド」ソフトウェアはほとんどありません。

なぜそう

企業は、商用ソフトウェアメーカーが意思決定の人質になる可能性があることを確信しています。 ある特定の技術への投資は、技術基盤全体の柔軟性の損失につながります。 他のメーカーから追加の技術を集めて問題を解決すると、インターフェイス、データストレージ形式、実装言語、およびその他の「症状」の非互換性が生じます。



さらに、1つのソフトウェアメーカーに依存するようになったため、同社は「内部独占者」になりました。 ベンダーは、クライアントに相談することなく、ライセンスの価格を引き上げるか、ソフトウェア製品の一連の技術的能力を任意に変更します。 そのようなベンダーのロックインを取り除くには 、新たな投資が必要です：機器、ソフトウェアの変更、従業員のローテーション。



オープンソースのソリューションを使用すると、このような問題がないことが保証されます。 LinuxとRed Hatを使用していて、これらのソリューションがもはや適切でない場合は、CentOS、Fedora、Debianを開いて無料にアップグレードするか、UbuntuのCanonicalサポートを購入できます。 ビジネスの観点からは、大きな変更は発生しません。 ビジネスに不可欠なデータボリュームの処理に関しては、ベンダーのロックインからの移行が緊急の必要になります。

あなたはオープンソースコミュニティに20年間在籍しています。 この間、LinuxとAndroidのおかげで世界を変えました。 さらに、オープンソース技術は、大企業の製品開発の基礎となっています。 それを前進させるオープンコミュニティの力とは何ですか？ 大企業はどのようにしてそのようなコミュニティと適切に対話できますか？

アイデアは非常にシンプルです。 人々は、自分が興味を持っていることに取り組むことに興味があります。 これは、そのシンプルさにおいて素晴らしい原則です。 オープンソースは、たとえ主な仕事で退屈なことをしていても、人々が自分自身を表現できるようにします。 人はそのようなコミュニティに来て、志を同じくする人々を見つけ、何かユニークなことをする機会を得ます。たとえば、プロジェクト全体の開発の方向を必要と考える方向に変えます。 これは、創造的で技術的な人々にとって非常に強力なインセンティブです。



Linus Torvaldsをフォローしてください。彼は賢く、粘り強く、生産的であり、自分の手本と能力で人々を魅了するので、本当に世界を変えました。 このオープンソースは、いくつかの商業的開発と比較して好意的です。それは、あなたが何をどのように行うかを評価し、あなたがどれほど美しく見事に約束するかではありません。 この原則は実力主義と呼ばれ、従来のガバナンス構造の優れた代替手段です。 GitHubや他のいくつかの企業で積極的に使用されています。



商用開発とオープンソースの根本的な違いを見ると、最初は常に顧客が購入するものに基づいています。 ビジネスは収益性が高くなければなりません。 そして、あなたがテスラの政治家でもCEOでもないなら、本当に必要なものを人々に提供することによってのみお金を稼ぐことができます。 同時に、エンジニア自身がほとんどの場合クライアントを「見ない」ため、彼のニーズを理解していません-技術マーケティング、販売などの部門がこれに従事しています。 この場合、開発者はほとんどの場合、製品の非常に具体的な方向性にかなりの時間対処します。



オープンソースプロジェクトでは、そのような制限はありません。 開発者自身がシステムの最初のユーザーであり、オープンな協力と開発グループ間の境界のない雰囲気で開発されています。



もちろん、競争はビジネスレベルのままです。 オープンソースプロジェクトを商業化するためのさまざまな戦略があります。 Hadoopプラットフォーム市場には、Hortonworks（Yahoo!のHadoopシステム開発グループ）、Cloudera、およびMapR（非常に小さい）の3つの主要な商用プレーヤーがあります。 ディストリビューション（IBM、Intel）を構築しようとした他のすべてのユーザーは、最初の2つのいずれかになるか、Apache Bigtopを使用して、Apacheプロジェクト（Google DataProcおよびAmazon EMR）の標準コードから独自のプラットフォームを構築しました。



しかし、彼らはこれらのプラットフォームをさまざまな方法で顧客に販売しています。 Clouderaは、クラスタ管理システムのような商用の独自のコンポーネントをオープンソースに追加しています。 たとえば、MapRは独自のファイルシステムを追加し、NFSを痛烈に連想させます。 一方、Hortonworksは完全にオープンにすべてを提供します-彼らのすべての新しい開発はApacheに行きます。 これを行うことにより、顧客を引き付け、すべてが彼らと開かれていることを実証し、クライアントは自分でコードを取得し、独自に意思決定を続けることができます。



そのような良い表現があります：「オープンソースには上司はいません。」 唯一の要件は、コミュニティがベストプラクティスを受け入れることです。 満たす必要がある特定の基準があります。特定の技術的原則に従って、コードの品質です。 開発者がこれらの要件を満たし始めたら、プロジェクトのどの部分にも参加でき、誰も彼を止めることはできません。 同時に、誰も彼の生涯にわたってこの特定の断片に対処することを彼に強制しません。 これにより、専門的に成長し、スキルを向上させ、技術的基盤を高めることができます。

また、EPAMのオープンソースフェローとして、会社の開発者の何パーセントがオープンソースプロジェクトにコミットしていると言えますか？

割合を見積もるのはかなり難しく、まだ2万人以上の開発者がいます。 しかし、過去6か月にわたって、興味深いプロジェクトを立ち上げました。そのフレームワーク内で、意図的にApache Ignite、Apache Flink、Apache Zeppelinに密輸されます。 理解するために-Apache Flinkの最新バージョンでは、100人の貢献者のうち、10人がEPAMと協力しています。 同社は、テストレポート、Webプロジェクトの管理から、ヒトゲノムの分析、クラウドテクノロジーでのビッグデータの処理まで、約20〜30の製品プロジェクトをオープンソースで提供しています。 ビッグデータ処理の戦略的に興味深い分野で専門知識を拡大し、顧客向けの製品とプラットフォームを開発しています。 github.com/epamからプロジェクトを見て参加できます。

ビッグデータとHadoopに戻ると、顧客にとって興味深いテクノロジーを検討していると言いました。 これは何を意味し、Hadoopはさらにどのように開発されますか？ それでも、これはすでにかなり成熟した技術です。

Hadoopエコシステムのコンポーネントを長年にわたって開発してきた人に期待することを正確に言うことはできませんが、Hadoopは安定しています。 テクノロジーは「大人」になり、確立されています。 彼らは大企業でそれを認識し始め、内部インフラストラクチャソリューションにそれを使用し始めました。 しかし、アクティブなソフトウェア開発サイクルは無限ではありません。 しばらくの間、開発、改善、そしてすべてが安定します。 このフェーズは、安定性が始まると、 コモディティフェーズと呼ばれます。テクノロジーはすべての人に共通してアクセス可能になります。 Hadoopはまさにこのフェーズに入りました。



ちなみに、Hadoopが登場してから11年が経過しても、多くの人にとってのマントラであることに変わりはありません。 実際、冷静な計算が必要です。多くのタスクは、分散コンピューティングや大規模なクラスターストレージプラットフォームなしで解決されます。 たとえば、StackOverflow Webサイト全体は、SSDを備えた4つのサーバー上に存在します。StackOverflow自体のマスターコピー、その他すべてのマスターコピー、2つのレプリカです。 また、1日あたり2億のリクエストを処理します。 同様の量に直面している世界の企業はいくつですか？



技術がコモディティになると、質的な改善が現れなくなります。 Hadoopはもともと、データを保存するファイルシステムと、このデータを処理するコンピューターシステムであるMapReduceで構成されていました。 その非効率性のため、今日ではほとんど使用されていません。 MapReduce、TEZ、Sparkの代わりに。 ファイルシステムは生き残っていますが、そこには革命的な新しいものは何もありません。 HDFSファイルシステムは、データセンターに大規模なデータウェアハウスを作成するために作成されました。 Amazon、Facebook、Yahoo！、Google、携帯電話会社などの企業は多くのデータを保存しています。 しかし、全員がHDFSを使用しているわけではありません。 たとえば、Google Spannerは確立されたグローバルに分散されたファイルシステムです。 そして、ますます多くの非インフラストラクチャ企業がデータセンターからAmazon、Microsoft、またはGoogleのクラウドに移行し始めています。 また、データセンターに留まる人は、多くの場合、CephファイルシステムでOpen Stackを使用します。



元々Apache Hadoopだったベースレイヤーは、徐々に解散し始めています。 元々その上で機能していた新しいコンポーネントが、クラウドで機能するように切り替わり始めています。 これはまだHadoopと呼ばれますが、既に30を超えるコンポーネントがあり、そのうち2つだけが元のApache Hadoopです。 Hadoopは宇宙の中心ではなくなりました。 Apache Sparkもどちらにもなりませんでした-彼は、Hadoopのストーリーをわずかに異なるレベルで繰り返しました。



現在、Hadoop自体からクラウドエリアへのアクティブな移行があり、Hadoopを使用してデータを保存するセグメントが削減されています。 本当に必要な場合は、Sparkクラスターを使用してAWSにデプロイすることができ、そこにHDFSがあるかどうか心配する必要はありません。 ほとんどの企業と開発者はデータ処理に焦点を当てており、ビジネスプレーヤーはそれらの保存方法にあまり関心がありません。 クラウドファイルシステムとのデータ交換の速度は、HDFSよりも遅くなります。 マイクロソフトのソリューションを使用してAzureに移行することを恐れていない場合は、さらに低くなります。 ただし、自分の専門家やシステム管理者にお金をかけたり、壊れるより早く陳腐化するハードウェアを購入する必要はありません。 シンプルで効果的なソリューションが勝ちます。



たとえば、Amazonはセルフサービスシステムの実装に懸命に取り組んでいます 。 このようなシステムでは、専門家が実行および保守する必要はありません。誰でもコンソールにアクセスし、「ボタンを押す」、データ処理用のクラスターを上げる、アップロードして処理することができます。 スキルセットも商品になります。 Amazonに5人のシステム管理者があり、10万台のサーバーにサービスを提供している場合、数百台のコンピューターにサービスを提供するためにシステム管理者は必要ありません。 クラウドでリソースを実行し、ソフトウェアリリースを実行するには、Devopsが必要です。



コンピューティングパワーも当たり前になり、人々はデータから得られるメリットに焦点を当てています。店舗で製品を販売するか、顧客の行動を予測してマーケティングオファーを最適化することをお勧めします。 データ処理の技術的部分は、 予測分析に積極的に移行しています。たとえば、購入者の行動をモデル化します。 履歴データを処理し、何が起こるかを伝えるモデルを構築します。 2番目の重要な領域は規範的な分析です 。大量のデータを処理し、10％の売り上げを上げるには、マーケティング戦略を特定の方法で変更する必要があると結論付けます。



将来を100％正確に予測またはシミュレートすることは不可能です。 ただし、このようなアプローチを使用すると、結果の信頼区間を25％から60％に増やすことができます。これは、小さいながらも勝利です。



このアプローチの興味深い実装の1つは、多くの複雑なユニットが関係する業界で使用されています。つまり、発生する日付と障害のタイプの分析の構築です。 1つの例は、石油とガスの生産です。 石油生産のための海洋プラットフォームを想像してください-それは百万の異なるコンポーネントで構成されています。 ポンプの任意のベアリングが破損すると、プラットフォーム全体が1週間停止します。 部品は、大陸からヘリコプターで注文、製造、配送されます。 代わりに、センサーからの情報の分析により、ポンプ温度の上昇や振動などの異常兆候を事前に確認できます。



機械学習法を使用し、機器からの履歴データを分析することにより、たとえば94％の信頼区間で、このベアリングが今後4日間で故障することを理論的に予測できます。 事前にこのベアリングを注文して受け取ることにより、生産プロセスを30分間中断するようにスケジュールでき、合計で数百万を節約できます。



これらのテクノロジーはすべて、非プログラマーにとってよりアクセスしやすくなり、一般的なユーザーを対象にしています。 より多くのデータがあるという事実のため、処理からの速度も増加するはずです-そうでなければ、ゲーム全体の意味が失われます。 そのため、コンピューターメモリで完全に機能するインメモリコンピューティングプラットフォームを見つけることができます。 それらの中には、もともとGridGainによって開発されたApache Igniteと、Pivo​​talから来たApache Geodeがあります。



メモリ内の分散データ処理は、大規模なテクノロジー企業からますます注目されています。 驚くべき事実：過去20年間でコンピューターのメモリの価格は100,000倍近く下落しました。 名目ドルで、同時期のほぼ60％のインフレを除く。 これは、今後数年間で多くの刺激的で興味深いことが起こる分野の1つであるように思えます。JavaDay2017で他の分野とトレンドについてお話します。