今日、「ビッグデータ」の分野には専門家の需要があり、明らかに専門家の不足さえあると言われています。 そして、私たちの国だけでなく、ヨーロッパと米国でもです。 多くの大学は、そのような専門家を養成することを約束するプログラムを発表しています。 少し遅れて、このプロセスはロシアで始まりましたが、国が新しい専門分野の専門家を受け入れるまでには時間がかかります。 しかし、今ビッグデータの専門家が必要な場合はどうでしょうか？ それはどのように、そしてそのような経験はどこで得られたのですか？ どのタスクを解決する必要がありますか？ HuaweiのBig Data Solution ArchitectのソフトウェアアーキテクトであるAnatoly Korzunに、これらすべての質問に答えてもらいました。
アナトリー、あなたは比較的最近、「ビッグデータ」を処理するためのソフトウェアソリューションのアーキテクトとしてファーウェイに来ました。 「ビッグデータ」の分野の専門家の訓練を積んだ専門家の経験をどこで構築したのですか？
AK：はい、確かに、昨年11月に比較的最近、ファーウェイに来ました。 それ以前は、電気通信会社のComverseで長年働きました。 私は主にソリューションアーキテクトとして、また開発部門の責任者として働いていました。 この会社はもう存在していません。アムドックスが買収しました。
ビッグデータテクノロジーを始めたのはいつですか？
AK：私は特に電気通信部門で仕事を休みました。特に2012年には、インターネットでの広告を促進するためのソリューションの構築に携わる新興企業で働きました。 これは、他の企業よりも早くビッグデータテクノロジーを採用したビジネスです。 Google、Yandex、Mail.ruなどの有名な企業はこの方向で活動していますが、この市場には多くの新興企業があります。 「ビッグデータ」の技術なしでインターネット上で広告を宣伝する多くの問題では、できません。 当時、Hadoopテクノロジーを使用して大量のデータを処理する開発チームを率いていました。 この技術は比較的新しいものであり、多くの問題は試行錯誤によって解決する必要がありました。
上記のスタートアップで開発マネージャーになる前に、ビッグデータを操作した経験はありましたか？
AK： 「ビッグデータ」に関連するプロジェクトで働いていたとき、以前に扱ったものと多くの類似点が見つかりました。 そして、これは驚くことではありません。 「ビッグデータ」を処理するためのソリューションに組み込まれているアイデアの多くは、ビッグデータ（「ビッグデータ」）という用語が普及する前に存在していたと言わなければなりません。
Huaweiに招待されたタスクは何ですか？
AK：ファーウェイには独自の「ビッグデータ」プラットフォームがあり、これは主に通信および金融セクターの大企業顧客を対象としています。 これは、「ビッグデータ」を処理するためのFusionInsightプラットフォームであり、これに基づいて特定のビジネス向けのソリューションを構築できます。
Huaweiは、基本レベルのハードウェアから始まり、高レベルのビジネスアプリケーションで終わる幅広いソリューションのプロバイダーであることに注意してください。 そして、ビッグデータプラットフォームはこのスタックのレイヤーの1つであると言えます。
FusionInsightに基づいたアプリケーションについて話す場合、Huaweiはテレコムセクター向けに多くの製品とソリューションを提供していることに注意してください。 そして、私の意見では、Huaweiの問題は、十分な解決策がないということではなく、むしろ、それらの多くがあり、それらは巨大な会社のさまざまな部門によって準備されているということです。 機能が重複するという問題があり、顧客だけでなく売り手にとっても特定の製品を選択するのが困難になります。
そして、あなたは個人的にどの製品に対処しなければなりませんか？
AK：現在、モスクワのオフィスでは、FusionInsightの上で動作し、一般的な通信事業者が「ビッグデータ」の処理に関連する問題を解決できるUniverse製品のプロモーションに注力しています。 今年4月末に、FusionInsightクラスターがモスクワオフィスに展開され、このプラットフォーム上にUniverseがインストールされました。 興味のあるお客様には、ユニバースのプラットフォームと製品を紹介できます。
つまり、クラスターは最近構築されました。 顧客からの関心はありますか？ プロジェクトを開始できましたか？
大規模な顧客向けのパイロットプロジェクトがいくつかあります。 特定の名前を付けることはできません。これらはビッグスリーオペレーターの2つであり、ロシア最大の銀行であるとしましょう。
AK：通信事業者向けのプロジェクトの1つは、通信事業者の通信インフラストラクチャのネットワークおよびその他の要素によって生成されるCDRログ（通話データレコード）の分析に基づいてM2Mデバイスを特定できるソリューションを構築することです。
そして、なぜそれらを特定する必要があるのですか？
AK：さまざまな端末デバイスを通信ネットワークで使用できます。 同時に、電話、スマートフォン、タブレットなどの一部は人間が使用しますが、CCTVカメラなどは人間の介入なしに機能し、M2Mデバイスのクラスに属します。 つまり、通常の電話のように、無線ネットワークにアクセスし、基地局と通信できるが同時に電話ではないSIMカードを備えたクラスの端末デバイスがあります。 原則として、これらのデバイスのトラフィック構造は通常の電話のトラフィックとは大きく異なる可能性があるため、オペレーターはそのようなデバイスに個別の料金を提供できます。 同じビデオカメラは音声トラフィックを使用せず、データの送信のみを行います。 さらに、データ転送にも独自の特性があります。 ビデオカメラはほんの一例です。 そのようなデバイスは非常に多くなる可能性があります。 そして、オペレータはタスクに直面します。サービス対象デバイスの動作パターンに基づいて、カテゴリ「電話、スマートフォン、タブレット」または「M2Mデバイス」に属するデバイスを特定します。
なぜファーウェイに連絡することを話している顧客がいるのですか？
AK：ビッグスリーオペレーターがベンダーを追いかけているとは言いません。 むしろ、この市場で何かを提供できるベンダーは、さまざまな角度から通信事業者を包囲しています。 さらに、大手通信事業者には独自の強力なリソースがあります。
私はRostelecomとTELE 2の機能にあまり詳しくありませんが、ビッグスリーオペレーターと言えば、彼らは少なくとも2、3年の間ビッグデータプロジェクトに従事しており、技術機器と人員の両方を持っていると言えます。この分野でのソリューションの構築。
同時に、「ビッグデータ」は通信事業者にとっての主要なビジネスではなく、ツールにすぎず、意思決定についてはあまり喜んで話しません。 そして、多くのカンファレンスで講演を行っても、彼らは具体的なことをせず、もちろん彼らのノウハウを明らかにしません。
「ビッグデータ」に関連するHuaweiのソリューションは、主に電気通信部門に向けられていると言えますか？
AK： Huaweiは、完全な通信ソリューションとビッグデータ用のプラットフォームを提供しています。 たとえば、リレーショナルデータベースと同様に、「ビッグデータ」を処理するプラットフォームは、さまざまなデータを処理し、さまざまなタスクに使用できます。 また、「ビッグデータ」のプラットフォーム上で、通信会社向けの特別なソリューションを使用できます。
ファーウェイのビッグデータプラットフォームの強みは何ですか？
AK：このプラットフォームは、中国の大企業で実際にテストされています。 そして、中国の基準による大企業は、データの信頼性、安全性、セキュリティを確保する手段を備えた本当に大企業です。 Huaweiのお客様の中には、China Unicom、China Merchant Bank、Industrial Bank of Chinaなどの大手企業があります。
ファーウェイはロシアの銀行のために何をしていますか？
AK：ロシアの大手銀行のパイロットプロジェクトについて言及しました。 標準データウェアハウスからビッグデータテクノロジーに基づいたデータウェアハウスへの移行の課題に対処します。 現在、この銀行のODSストレージ（オペレーショナルデータストア）では、1か月間のデータ履歴を保存できます。 近い将来、データ量の増加により、ODSはデータの保存を2週間のみ許可します。 前述のODSの機能の拡張は、多大な経済的コストと基本的な技術的制限に関連しています。 そして、銀行の指導者によって表明されたターゲットは、7年間データを保存することを規定しています。 つまり、ここでは、明らかに、「ビッグデータ」テクノロジーに切り替える必要があります。このテクノロジーは、比較的手頃なコストで（技術的な観点から）実質的に無制限のスケーラビリティを備えています。 このパイロットプロジェクトのアーキテクチャを設計するとき、従来のリレーショナルデータベースと「ビッグデータ」を処理するプラットフォームの統合に関連する多くの技術的な問題を解決する必要がありました。 この問題は、まず、「ビッグデータ」のプラットフォームとのペアリングが既存のシステムに影響を与えるべきではないという事実によって引き起こされました。 第二に、顧客はメインシステムの変更をリアルタイムに近いモードで履歴アーカイブに反映することを望んでいます。
ビッグデータプロジェクトに直接携わっている活動は何ですか？
AK：この作業を3つの部分に分けます。 1つ目は、顧客向けの高レベルのプレゼンテーションです。 2つ目は、顧客と協力して「ビッグデータ」の処理に関連するニーズを特定し、それらを技術要件に定式化し、FusionInsightプラットフォームに基づく特定のアーキテクチャソリューションにこれらの要件を投影することです。 3番目は、テストラボでの特定のソリューションのプロトタイピングとテストです。
「ビッグデータ」を扱うのに必要な専門家について話すと、「データサイエンティストソフトウェアエンジニア」の専門性がしばしば言及され、彼女は世界で最も魅力的で人気のある職業の1人としても知られています。 データ処理ソフトウェアエンジニアとは誰ですか？ この職業に自分をランク付けできますか？
AK：データ処理ソフトウェアエンジニアは、データを扱う人であり、そのタスクはこれらのデータのセットからパターンを抽出することです。 より低いレベルのソリューションスタックを提供する専門家もいます。つまり、このデータを保存および処理するための技術を提供しています。 しかし、実際には、1つのレイヤーと他のレイヤーの境界を描くのは非常に困難です。 また、1人の専門家が両方の役割に必要な知識を組み合わせる必要があることがよくあります。
私の仕事について言えば、私はデータ処理ソリューションの構築に携わるエンジニアとして活動するプロジェクトもあれば、例えば、M2Mデバイスを識別するために言及したプロジェクトのように、クラスM2Mのデバイスを識別できる「ビッグデータ」。
今日の若者にどんなアドバイスを与えることができるか、「ビッグデータ」の分野の専門家になる方法、興味深い仕事をすることができる希少な専門分野を獲得する方法、そしてアナリストが予測するように、需要が増えるだけでしょうか？
AK：私の観点からすると、基本的なIT教育を受けた人なら誰でも、「ビッグデータ」の分野の専門家になることができます。 ファーウェイにはそのような機会があります。 基本的なITの職に就くことができます。原則として、会社には成長の見通しがたくさんあります。適切なコースを受講し、「ビッグデータ」分野のプロジェクトでの経験を積むことができます。 時間が経つにつれて、あるユニットから別のユニットに移動することが可能になり、「ビッグデータ」を処理するプロジェクトにより緊密に関与できるようになります。