銀行は非常に骨化した構造であり、実験する場所がないという神話があります。 この神話に反論するために、Sberbank Technologiesでスーパーアレイの実験クラスターを開発する部門の責任者であるValery Vybornovに短いインタビューを行いました。 彼らのチームでは、Scala、Akka、Hadoop、Sparkの全機能を使用することを恐れておらず、Rustでプロトタイプを作成することすらありません。

主な質問：

• 技術的な詳細を含むパイロットプロジェクト（ソーシャルグラフを使用した作業）の例の説明。
• 使用される言語と技術（Scala、Akka、Hadoop、Spark、Rustなど）;
• すぐに管理職に就くことができますか？ 内部ではすべてがどのように編成されていますか、グレードは何ですか？
• 単純な開発者はどのように生きますか？ Sberdzhaylの実装の詳細。

-あなた自身について少し教えてください。

-私はほぼ3年前にスベルテに来て、彼がビッグデータを構築し、ビッグデータのインフラストラクチャの構築に参加したという事実に従事していました。 私たちは、Sberbank自体の専門家を含む単一のチームで働きました。

どのタスクを解決する必要がありましたか？ 募集を含む、あらゆるもの。 現在、この部門の従業員数は47人です。 私は従業員を雇い、部門で仕事を作りました。 彼はクラスターの構築、パイロットおよびプロトタイプの開発に参加しました（これはビッグデータの構築の最初の段階でした）。

-ズベルバンクからはどこから来ましたか？

-Video International社から。 私たちは基本的にオンライン広告の技術サポートに従事していました。 彼らは広告のひねりを加え、しばらくの間そこで使用しました。 ビッグデータもそこでの構築に従事し、プラットフォームの作成に参加しました-その後、分離され、最近まで市場ではアンバーデータとして知られていました。 今、彼らはNMGに買収されました。

-人が大企業にすぐにリーダーシップの位置に来たとき、通常、疑問が生じます：そのような高さに達することを可能にした重要なスキルは何でしたか？

-重要なことを言うのは困難です。さまざまなスキルがさまざまな程度で役に立ちました。 まず、もちろん、人々との仕事の経験、管理経験。 いずれにせよ、私はかなり長い間、すでに10年以上、指導的立場で働いてきました。 2番目に役立ったのは、この10年間、テクノロジーから脱却することができなかったことです。 私はまだペンで何かをする方法を忘れていません。

-暇なときにこれをしましたか？ プログラムにどれくらいかかりましたか？

-たとえば、Sberbankを使用する場合は、初期段階で、すべてが開始されたときに、最大80％の時間をかけてみましょう。 部門が登場するとすぐに、現在の20パーセント、またはそれ以下まで徐々に低下しました。

-プログラミングをお見逃しなく。

-少し懐かしい。 一方、ここでより高いレベルにあるタスクは、非常に興味深いものです。 管理タスク。

-プログラミングに携わっていたとき、どんな仕事が好きでしたか？ ユニットだけでなく、ビッグデータユニットもありました。 これは個人的な好みと関係がありますか？

-もちろん。 部門の開発の結果、現在の状態-ビッグデータアプリケーション開発のITエリア-が判明しました。

-ITエリアとは何ですか？

-Sbergileマトリックス構造。 垂直には「部族」、水平には「ITエリア」とビジネスの章があります。 実際、ITエリアは、異なるチームで働く同じIT能力を持つ人々のグループです。

-人々、Sbertekhについて聞いたとき、彼らは特定の技術だけに興味がありません。 さらに、これらの技術はすべて使いやすく、非常に特殊であるため、使用が困難です。 アジャイルを含む誇大広告のトピックについて話しましょう。 ドイツのオスカロビッチの報告の後、怠け者だけがこれについて知らない。 それで、あなたは彼についてどう思いますか（どうにかして）。

-これは難しいトピックであり、多くの興味深い問題があります。 伝えるべき具体的な情報は何ですか？

-このような大企業にアジャイルを導入する見込みは何ですか？ 以前は、通常のプロジェクト管理で何とかしていた。 ドイツのオスカロビッチは高レベルの抽象化について語っていますが、これは特定の人々にとって何を意味するのでしょうか？ 特定の開発者ですか？ ユニットの特定の頭？ 要するに、大規模なアジャイルを実装するインサイダーが必要です。

-具体的には、これはいくつかのことを意味します。 たとえば、デボス。 リーダーは以前のように「リーダー」ではなくなりました。

「デボス。」 私たちはボスを取り、それを減らします。 排除します！

-はい:-)これが今起こっていることです。 おそらく、異なる方法で定式化する方が良いでしょう。 ITプロフェッショナルは以前はビジネスとは別に座っていましたが、現在はビジネスと一緒に座っています。 これにより、労働条件といくつかのタスクが変わります。 共にお客様のニーズを理解し、製品を改善します。

-これは特定の開発者の生活にどのように影響しますか？ ルールはより厳しくなります、またはその逆、よりソフトになりますか？

-厳密でも柔らかでもありません。 各チームと個々の従業員の責任の度合いは増加しています。 質問をする人はいませんし、調整を放棄する人もいません-あなたは自分で決定を下し、それに対する責任を負います。

Sbergile以前は、ITスペシャリストが同じ場所にいて、同じオフィスにいた場合、現在はモスクワにいる場合でも、複数のオフィスに散らばっています。 人々が部門内に座っていた場合、今では彼らはビジネスとチームに座っています。

-プロダクトマネージャーは誰ですか？

-プロダクトオーナーがいます。ビジネスプロジェクトについて話している場合、通常、これはビジネスの人です。 彼はこの製品の開発に従事し、バックログに優先順位を付け、チームが直面している問題の解決を支援しています。 コンセプトは、製品の全寿命にわたって製品とともにチームが作成されることです。 以前は、プロジェクトの期間中のみチームが形成されました。

-一般の人が、ある製品から別の製品に切り替えることは可能ですか？ 社内モビリティをどうしていますか？ たとえば、1つの製品で3年間働いたが、そこからどうにかして...

-もちろん。 現在のチームのフレームワーク内で開発の限界に達した人は、ローテーションを開始して別のチームを選任できます。

-かっこいい。 学べる人はどうですか？ 彼らがあなたの現在の知識やスキルよりも一桁高いレベルを持っているように。 キャリアだけでなく、知識の面でも進歩すること。

-もちろん、すべてのIT分野に専門家がいます。 彼らの知識を理解すれば、12年生の専門家と8年生の初心者開発者との間のギャップはまさにあなたが言及したものです。 私たちは、IT分野レベルであらゆる方法でそのようなプロセスを刺激しようとします。 まず第一に、知識交換の形で、能力の交換。 ちょうど昨日、このトピックに関する会議がありました。IT分野が参加する製品の主要なフェーズに関する定期的な会議を開始することが決定されました。 さらに、彼らは知識の交換とその後の能力の成長を促進するために、独自の内部メッセージングを開始することを決定しました。

-ところで、モスクワでいくつかの会議をすることをどう見ていますか？ 面白い話がある面白いスピーカーを見つけることができますか？

-はい、私たちは前向きに見ます。 スピーカーがいます。 JBreakやJPointなどのカンファレンスに参加するスピーカーも参加します。 私たちはしばしば内部レポートを持っていますが、レベルはあなたがそれらと共に出かけることができるようなものです。

-トピックに戻ると、会社での開発者の進歩はどうですか？ あなたは、8年生は初心者の開発者だと言いました。 彼がそこで呼ばれているように、接頭辞「シニア」と「チーフ」のない普通の「エンジニア」。 これ以上のキャリアを築くことができますか？

-コンピテンシーが成長するにつれて、グレード9および10に成長する可能性があります-これらは、リーダーシップの負荷がなく、コンピテンシーが高い専門家です。 グレードは成長しています-報酬は成長しています。 11以降、これらはより深刻なものです。 11年生は「開発マネージャー」、つまりチームリーダーと呼ばれていました。 Sberdzhaylへの移行に伴い、すべてが少し変わりました。 現在、デボスがあり、チームリーダーは存在しません。 実際、これらは、建築政策が実行される人々であり、彼らの役割は、すべてが正しいように他の従業員に物事を行う方法を伝えることができるという意味で、非常に大きなものです。 12年生は、複数のチームを編成および同期できる最もクールな専門家です。

-12年生の後、人生はありますか？

-13のグレードがあります-方向の主任であり、開発の専門戦略家です。 上記のグレードは管理能力です。

-Sbergileと組織の問題について話し合いました。 あなたの部署について教えてください？ 何してるの？

-Hadoopプラットフォームでさまざまな種類のデータ処理を処理するアプリケーションを開発しています。 Map-Reduce、Spark、Hiveなど。 まあ、もちろん、機械学習も。 タスクを取り、これらのプラットフォームで実行されるコードに変換します。

-アプリケーション開発のIT分野があると言っていましたか？

-はい、ITエリアは基本的に同じ能力を持つ人々の集まりです。 これが、Sbergileがコンピテンスセンターで「部門」に変えようとしているものです。

-つまり、ある種のビジネスプロセスを自動化するアプリケーションを開発しますか？

-これらは、ビジネスまたはインフラストラクチャのために何かを行うだけのアプリケーションであり、具体的にはさまざまな問題を解決します。 おそらく、これは私たちのチームにとって幾分人工的な用語です。 最初は、非常に単純な属性であるメイン開発ツールで分けられた2つの大きな部門がコンピテンスの中心にあることがたまたまありました。 プラットフォームは同じですが、プログラミング言語は異なります。 私はScalaを持っています。VadimSurpinの部門にはJavaがあります。 彼のユニットはビッグデータプラットフォーム開発のITエリアと呼ばれ、私のユニットはアプリケーション開発のITエリアと呼ばれます。 ただし、この部門は社内の問題に関連しており、両方のIT領域がほぼ同じタスクに従事していることを理解する必要があります。 たとえば、ビジネスクライアントはわずかに異なります。私には「セキュリティ」があり、彼には「リスク」があります。 しかし、この境界線は今やぼやけています。

-そして、どの部族ですか？

-従業員はさまざまな部族で働いています。 部族は他の軸です。 私は部族のインフラストラクチャーと企業を持っていますが、Vadimはまだリスクと小売業を抱えているようです。

-これで、一般座標のどこにいるかが明確になりました。憲章と部族の水平軸について話しました。 それでは、テクノロジーについて少しお話しましょう。 どこでもScalaを使用すると言いました。 JavaではなくScalaを使用する理由 誰もが通常Javaを持っていますか？

-誰もがJavaだけを持っているかどうかはわかりません。Scalaが主要な開発ツールの1つである十分に大きな企業があります。同じTinkoff、QIWI ...

-さて、SberbankのメインツールはJavaであり、どこでも登録されています。 そして、あなたはScalaを手に入れました。 何が起こっているの？

-実際、誰も私がJavaを使用することを要求しませんでした。 当時の部門の責任者として、私は、この分野での能力を開発し、使用し、開発し、開発することに自分の人々が興味を持つツールを選択する必要がありました。 さらに、Scalaは多くの理由で選ばれました。 開発言語として、Scalaは非常に便利です。

さらに、私はこの方向に発展したい人を正確に探しました。私たちの問題を解決できるScala開発コミュニティを作成するというアイデアがありました。

-そして、なぜScalaなのか？ 彼女の何が好きですか？ たとえば、部長としてはどうですか？

-まず、Java、およびHadoop全体、Sparkと互換性があります。これらはすべてJVM上で動作します。 これは重大な要件であり、オプションセットを大幅に絞り込みます。 したがって、JavaまたはJVM互換言語のいずれかである必要がありました。 多くのJVM互換言語はありません。 たとえば、私たちもClojureに興味がありましたが、実際には、Clojureには特異性があるため、大成功を収めませんでした。大規模なチームで大規模なアプリケーションを作成することは困難です。 さらに、必要な機能を提供する最も動的に開発される言語としてScalaが選択されました。

-GroovyとKotlinがあります。 彼らの問題は何ですか？

-コトリンは、それは考えられます、まだそこにいませんでした、それは子供の頃でした。 Groovyはそうでしたが、Groovyはまだ本来の目的（スクリプト言語）であり、大規模プロジェクトへの適用性が疑問を呈しています。

-Scalaを選んだのは、他のすべてが演ductive的に落ちたからですか？ それとも、Scalaにはいくつかのクールな機能があるのですか？

-クールな機能。 ビーラインでの仕事から始めても、私は彼を長い間見ていました。 Video Internationalでの以前の作品で、私はそれを使用することを考えましたが、それでも労働市場には十分な供給がありませんでした。 Sberbankに来てから、多くの専門家がすでに現れていたので、始めるべき時であることに気付きました。

-あなたは、Scala専用のイベントをやろうとは思わなかったのですか？ 企業内でScalaという言葉を大衆に伝えます。 または、ロシア全体でさえ。

-私たちは考えており、おそらくそうするでしょう。

-8年生の条件付き初心者デベロッパーであるプログラマは、Scalaを提供するときにどのように開発できますか？ そこで学ぶ方が良いでしょうか？ たぶんいくつかのフレームワーク...

-まず、このトピックに関するかなり集中的なトレーニングがあります。 これらはフルタイムのコースです。 オンラインのコースがあります。 私たちは、ロックについてさえ知らないが、それを研究することに熱心で、開発のバックグラウンドを持つ人々を連れて行きます。 オンラインコース-Courseraで始まるすべてのコースは、会社のトレーニング予算を犠牲にして受講できます。 もちろん、職場での主要なトレーニング（タスクを完了し、ドキュメントを読み、経験を共有する）は、年上の仲間があなたに言うことです。 あなたが来て、彼らはあなたにタスクを与え、あなたは学習しながらそれをします。

-理解度が開発者の人生で多くの助けになるものはありますか？ たとえば、特定の技術を学ぶために。 Hadoopの特定の部分。 Hadoop全体は、おそらく、学ぶことができません-それは巨大だからです。

-もちろん。 SparkでJOIN



を実行する方法など、小さなことを完全に学んだとしても、一般的に能力や同僚の認識が大幅に向上していることが経験からわかります。

-イノポリスでのプレゼンテーションを覚えています。 それはソーシャルグラフについてでした。

-はい、それは一年前でした。 ラボクラスタープロジェクトがあり、課題がありました...ビッグデータが私たちと一緒に使用するのに十分な熟しているかどうかを管理者が決定したとき、ビッグデータパイロットプロジェクトでした。 そして、プロトタイプの1つはソーシャルグラフに関連付けられていましたが、ソーシャルグラフには困難があり、チーム全体がそれに陥らなければなりませんでした。 これは、インタラクティブモードで特大のグラフを使用しています。 プロトタイプが作成され、これのおかげで、Laboratory Clusterプロジェクトが実施され、成功したと認識され、その後、現在何が起こっているのかが始まりました。 これが背景です。

-タスクの規模とは何ですか？

-テクノロジーの観点から見ると、タスクは簡単です。 特定のソーシャルグラフ、ソーシャルネットワークでつながりを持つ人々がいます。 さらに、これらはいくつかのソーシャルネットワークであり、人々の並置があります...異なるソーシャルネットワークからのエンティティであり、これが同一人物であることを理解する必要があります。

-ビジネスタスクとは何ですか？

-非常に簡単：ソーシャルネットワーク上の人々を検索して問題のある負債を解決します。

-それはちょうど悪い借金についてですか、またはより多くのアプリケーションがありますか？

-さまざまな用途があります。 しかし、問題を解決したとき、クライアントは不良資産を扱う部門でした。 プロトタイプでした。

-タスクの大きさは？ 大まかに言えば、10人を分析する必要がありますか、それともFacebook全体を完全に分析する必要がありますか？

-いいえ、実際、問題はグラフが大きいことです。 数十億のノードがあります。 大規模なソーシャルネットワークの重要な部分。

-異なるソーシャルネットワーク間で相互接続しましたか、それとも同じネットワーク内に留まりましたか？

-複数のネットワークがあり、それらのデータを一致させようとしました。

-簡単に言えば、Facebookで条件付きGraphQLを使用する場合、その中に留まりながら自分でクエリを無料で実行できます。 そして、ここでは、各ソーシャルネットワーク用に独自のアダプターを作成し、1つの普遍的なビューにする必要がありましたよね？

-いや。 それがどのように行われたかを見てください。最初は大きなグラフが1つあり、各人が複数の頂点を持ち、各頂点はソーシャルネットワークに対応していました。 それらを比較し、接続し、複数のネットワークにいる1人の人物を取得します。

-そして、主なもの：既存のSberbankベースを取得し、その各要素についてソーシャルネットワークでマイニングしたか、またはすべてのソーシャルネットワークがマッチのために抽象的に分析されました。

-そしてソーシャルネットワーク、そしてまたSberbankのベースに参加しました。

-つまり、「参加」したのは彼女であり、ソースではありませんでした。 この列では平等でしたか？

-はい。

-どのようなデータが収集されましたか？

-パブリックプロファイルのデータ。 機密情報はありませんでした。

-全体として、このプロトタイプは成功しましたか？

-一般に、はい。 彼は成功したと認められ、インタラクティブ性を達成することに成功し、ユーザーインターフェイスが作成されました。 彼らが結果とインターフェースを示したとき、誰もがそれが素晴らしいことがわかったと言ったので、私たちは続ける必要があります。 しかし、継続はまだ始まっていません:-)

-これは技術的にどのように実装されていますか？

-バイナリグラフファイルはソースから作成され、これらのバイナリデータはUnsafe JVMインターフェースを介してRAMにロードされました。 JVMでは、配列がインデックス化されていること、つまり、最大20億個であることが明らかであり、さらに多くの数があり、それらをオフヒープに配置する必要がありました。 その後、Akkaを接続し、独自のメッセージングモデルを開発しました。 GiraphおよびHANAで使用されるバルク同期処理に似ています。 分散ダイクストラアルゴリズム、Crauser-Meyer-Mehlhorn-Sandersを実装しました。 それに基づいて、非常に優れたパフォーマンス結果を達成しました。 タスクが見たように：インタラクティブエリアで最短パスを見つけるために（つまり、十分に迅速に）ポイントA、ポイントBがあります。 インタラクティブを達成することができました。

-通常、異なるアルゴリズム、ダイクストラ、双方向最短パスなどについて話します。 この大きなグラフでどのように使用されますか？

-これらはすべて、2点間の最短距離をできるだけ早く見つける方法に関するトピックのバリエーションです。 これらは同じ問題の解決策です。

-そして、これは相互につながっている人々を見つけるのにどのように役立ちますか？

「最短時間で接続されます。」 たとえば、グラフに2つのポイントがあり、それらの間の距離が1である場合、ほとんどの場合、それは同じ人物です。 1つの接続。 多くの側面があり、アナリストはこれに非常に優れています。

-グラフが構築されるこれらの「スペース」は、名前、姓、または他の何かですか？

-「スペース」？ グラフには頂点と接続があります。

-OK、この列の距離はどのくらいですか？

-リブ（ネクタイ）があり、それぞれに重量があります。 最短パスは、総重量が最小の頂点間のエッジのセットです。

-rib骨の重量はどのように決定されますか？ 何で構成されていますか？

-これは、たとえば、この接続の信頼性、どのソースから受信したかに基づいて決定されます。 いくつかの重みがあり、特性に応じて見る必要があります。

-最後に、これらの重みは1つの数値に削減されますか、それともベクトルの形のままですか？

-いいえ、私たちは方法を探して、それを見ています。 パス全体が必要です。 タスクを折りたたむ必要がある場合は、実行できます。

-「インタラクティブ」という言葉はすでに数回発音されています。 あなたはそれが何であるかを解読できますか？

-これは、人がコンピューターの前に座って、タスクを設定し、受け入れ可能な時間内に回答を受け取ることを期待している場合です。 秒単位で測定される遅延あり。 最大、1分。 これがHadoopの通常の動作とは異なることは明らかです。バッチジョブ、つまり数時間または数日間回転する大きなバッチがあります。 ここでは、主なHadoopパラダイムから離れなければならなかったことを理解することが重要です。

「しかし、Hadoopはとにかくリクエストに応答しますか？」

-いいえ、ここではSparkはデータの準備にのみ使用されます。 彼は、RAMにプルされるバイナリファイルを作成し、動作するもの-原則として、これはビッグデータと見なすこともできますが、Hadoopはそこで使用されません。そこで使用された主なものはAkkaです。

-Hadoopはインターネットクローラーとして機能しますが、正しく理解できますか？

-一般に、はい。 彼はデータを準備し、収集し、処理します...

-インターネットからプルし、その構造に入れますか？

-私たちのHadoopは、インターネットから直接それらを取得しないとだけ言ってみましょう。 それは難しいマルチステップの組み合わせでした。他の自動化されたシステムが関与していました。正確な状況を説明することはできません。

-誰がしゃがみましたか？

-請負業者。 私たち自身はチートしませんでした。 これは完全に私たちの能力ではありません。 このような疑問が提起されましたが、最終的に彼らは専門分野であるビッグデータ処理に直接関与することにしました。

-この全体の実装中に興味深いタスクが発生しましたか？

-もちろんそうです。 当初、彼らは単に「箱から出して」大規模なサプライヤのグラフデータベースを取得しましたが、待機時間は数時間でした。

-どのシナリオでの待ち時間ですか？

-関係会社の検索に関連する不良資産を扱う作業の部門の従業員が、グラフ上の2つのポイントを見つけ、それらの間の接続を確認したい、タスクを設定して最短パスを見つけると、数時間動作するとします。 もちろん、これはもはやインタラクティブではありません。 このアプローチは拒否され、いくつかのソリューションを整理した後、自分で書く必要があることに気付きました。 彼らは座って書いた。 JVMソリューションは2番目に作成されました。 プロトタイプはRustで作成されました。

-そして、なぜ彼らはRustを放棄したのですか？

-まず、HadoopはRustで書かれていません。 そして、あなたは彼らが完全に拒否したと言うことはできません。将来的には、おそらく私たちはそれについてまだ書くでしょう。 それをJVM言語ではないため、Hadoopの下でアプリケーションを作成するのは不便です。 この場合、Rustを使用したのは、プロトタイプを作成した共同作業者がRustに非常に優れていたからです。

-とにかく、Hadupスタックからデータを取得してRustに転送する必要があります。 相互運用を整理する方法は？

-データはSparkによって準備されています。 もちろん、SparkのアプリケーションはRustには書かれていません。 Scalaで書かれました。 準備されたデータはRAMに転送されます。

-つまり、ファイルを使用して互いに通信しましたか？

-はい。 Sparkは非常に大きなバイナリファイルを生成し、次にこのアプリケーションを最初にRustで記述し、次にAkkaを使用してScalaでJVMの下で書き直しました。このファイルは十分で、吸い込まれて動作しました。

-RustからScalaおよびJVMに切り替えるとき、実行速度は変わりましたか？

-変更されましたが、わずかです。 もともとRustで作成されたアプリケーションは非常に長い間存在しなかったため、100％を確実に言うことは不可能です。 これは概念実証のようなものでした。 このアプローチが基本的に機能することを確認します。 Scalaで完成したアプリケーションに関しては、実際に誰もベンチマークしていません。 Rustに経験のある人がいないので、この問題に特化した産業ソリューションを作成しても、Scalaでそれを行うことが明らかになりました。 当時、そのような人々が労働市場でいかにアクセスしやすいのかという疑問がすでにありました。 言語は非常に動的に開発されていますが、これらの疑問も残っていますが、それでも、この能力が市場でどのようにアクセスできるかは明らかではありません。 その後、すぐに確認する必要がある場合は、Rustでこのように実行し、開発ツールの標準に基づいて他の人が来て同行できるようにやり直します。

「将来、再び適用できると言っていました。」 なぜあなたは彼をとても好きだったので、一般的にこれらすべての実験の中で彼を覚えていますか？

-これは、CおよびC ++が置かれている同じブランチの一種の開発です。 システム開発。 しかし、CおよびC ++にある重要な問題のほとんどはありません。 さらに、彼はGolangなどのより現代的な競合他社が抱えている重大な問題を抱えていません。 パフォーマンスが向上し、GCの形でオーバーヘッドがなくなり、大規模なアプリケーションを効果的に作成できる言語の抽象化があります。 突然システムの低レベル開発を行う必要がある場合、ほとんどの場合Rustで行われます。

-突然、岩の多い専門家と同じ数のRust専門家がいると想像した場合。 Rust vs. Scala。 どちらが良いですか？

-質問には価値がありません。Hadoopがあるからです。 結局のところ、主なものは開発ツールではなく、プラットフォームです。 Hadoop with SparkがRustで書き直される場合、実際、そのような質問が提起されます。 しかし、これまでのところ、これは起こっておらず、疑問はありません。

-現在話しているプロジェクトの結果、プロトタイプ以外で何が起こったのですか？ ある種のFastGraphがありました。 これは何ですか？

-はい、最短経路をすばやく検索するアプリケーションがあり、ユーザーインターフェイスが記述されていました（「問題資産の研究者の職場」と呼ばれるようです-詳細についてはVadim Surpinに問い合わせてください）。 一般的に、彼は実験室クラスタープロジェクトの一部として引き渡されました。 大規模な産業クラスターを構築することは既に決定されています。 経営陣は、ビッグデータ製品ラインが成熟しており、立ち上げる必要があると判断しました。

議論中のプロトタイプは、さらに開発されていません。 どこかでそれを起動する試みがあったが、様々な理由で彼らは発砲しなかったからです。 私が理解している限り、公式の主な理由は、より緊急なプロジェクトを支持する他の優先事項です。 私たちは今これをやっています。

-このストーリー全体から学んだ興味深い技術的結論と解決策は何ですか？

-スタックの選択（Scalaをツールとして含む）が完全に正しく行われていることがわかりました。 このツールは、Sberbankのような真剣で大規模な企業であっても、産業開発で使用するのに非常に適しています。 私たちが研究したプロジェクトはすぐに待っています-機会があれば、すぐに開発を続けます。 実際、私たちのアプローチは正しいことがわかりました。

-ビジネスレベルの結論でした。 そして技術レベルは？ ソーシャルグラフでダイクストラアルゴリズムを使用するシステムを作成しましたが、実際に機能しますか？

-はい。 さて、ここで明らかなように、ダイクストラはさまざまな方法で実装できますが、私たちが選択したアプローチは、大きなグラフで非常に効果的に機能することです。

-そして、どのようなアプローチですか？

-たとえば、アプリケーションのレイアウト。 別の方法で行うことができます。 GraphXを使用しなかったのはなぜですか？ しかし、GraphXはバッチシステムであり、一般にインタラクティブな結果をもたらさないと言います。 彼と対話して、対話モードで作業を開始することができます。 多くの選択肢がありましたが、私たちはこれを選択し、彼は解雇しました。

また、非常に大きなグラフの分布をすぐにレイアウトしました。 この問題は延期されましたが、現在のシステムは1つのJVMで正常に動作していますが、アーキテクチャはソリューションの抜本的な改訂を引き起こさないほど大きな改善を伴わずに複数のJVMを使用することができます。

-そこにアッカを連れてきました。 彼女が自分自身を証明したのに、なぜアッカが必要なのですか？

-これはメッセージング用であり、メッセージモデルをサポートするためのものです。 これまでのところ、彼女には問題は見つかっていません。

-誰が誰とメッセージを交換しますか？

-ワーカーが存在し、それぞれがグラフの頂点のサブセットを提供するようなアーキテクチャです。 ワーカーは、たとえば、話し合ったCMMSなどの分散コンピューティングを行うために、互いにメッセージを交換します。 これがすべて回転しているマシンのすべてのコアが使用されます。

-どのレベルの配布ですか？ マシンレベルで、クラスターレベルで？

-現在-マシンレベルでは、1台のマシン内で並列化されています。 一般的に-クラスターレベルで。 まだ時間がありませんでした。1つのプロジェクトは既に終了しており、もう1つのプロジェクトはまだ開始されていません。

-1台のマシン内での配布は、64個のプロセスを64個のコアに釘付けにしたこと、または...

-いいえ、プロセスは1つだけですが、すべてのコアを使用します。 マルチスレッドです。

-つまり、Javaスレッドを使用します。 または、Akkaを使用していて、彼女はすべてを自動的に行いますか？

-もちろん、私たち自身はスレッドを管理していません。これはすべてAkkaレベルで行われています。

-それでは、プレゼンテーションで「コニカルメッセージングモデル」という用語を参照していますが、それは何ですか？

-はい、これは同じメッセージングモデルです。 これは、並列コンピューティングを編成するために、ワーカーがメッセージを交換する方法を示す一種の形式化です。 これは、バルク同期処理の類似物です-GiraphおよびHANAで使用される用語。

「それは彼女のクローンですか？」

-ある意味では、これは彼女のクローンであると想定できますが、実際にはすべてをゼロから書き、BSPを少し見ました。 その後、当社の専門家が比較を行い、異なることが判明したという結論に達しました。 私たちのプラットフォームでBSPを書いて、それがどのように機能するかを見るのはおそらく面白いでしょうが、同じ理由で、手はまだこの点に達していません。

-PageRankとMPIについて何か言いました。 それらはプロジェクトとどのように関係していますか？

-これらは、将来の誰かにこれを示すために、プロトタイプの機能の完全性を確保するためにオプションで行った実験的なものでした。

-なるほど。 すでに締めくくりにする必要があるので、最後の質問です。 現在、Habréで私たちを読んでいる人々のために、別れの言葉や願いなどはありますか？ おそらく、Scalaチームでコーディングする人が必要ですか？ そのようなもの。

-はい、私たちは常にスマートなロッキーを必要とし、ビッグデータとMLの経験を得るための興味深いプロジェクトがたくさんあります。 たとえば、prodでの機械学習モデルの実行。 これは別のディスカッションのトピックです！

-彼らは雇用のトピックに触れたので。 自宅で見たい開発者のプロフィールを説明してください。

-Scalaを知っている開発者。 または、それを勉強したいが、同時に開発経験がある人。 ビッグデータ、Hadoop、Sparkツールに関する何らかの知識が欲しい。 ユーザーインターフェイスでタスクを実行する準備ができているスペシャリストも必要です。ScalaJSを使用します。

-専任の専門数学者、データ科学者-それらが必要ですか？

「はい、もちろん。」 現在、機械学習に関連する興味深い製品、特に「ニュースモニタリング」が開始されています。これは、当社にとって関心のある組織のニュースの選択です。 機械学習スペシャリストは私たちにとって非常に便利です。

-ありがとう、ヴァレリー！ 非常に波乱に富んだインタビューであり、読者の皆様に楽しんでいただければ幸いです。 JPoint / JBreak / JokerやSmartDataなどの会議でお会いしましょう。 レポートが付いてきます！