ジュリアン・ドラゴス（スカラ）とのインタビューの翻訳

Luxoft TrainingのトレーナーであるNazari Shimanskyは、Scala言語の開発に多大な貢献をした有名な開発者であるJulian Dragosにインタビューしました。 インタビューの翻訳に精通してください。

Yulinanは2004年からScala言語を勉強しており、同時にローザンヌ連邦工科大学のMartin Oderskyの研究室で働き始めました。 彼は、Java仮想マシンのバックエンドとバイトコードオプティマイザーを作成し、コンパイラのさまざまな部分にも取り組みました。 さらに、JulianはScalaの型特化を実装しました。



2010年、ジュリアンはローザンヌ連邦工科大学で博士号を取得しました。 Typesafeの設立以来、Scala言語の作成者であるMartin Oderskyは、開発ツールを開発していました（特に、ScalaのEclipseプラグインを作成しました）。 その後、Lightbend（以前のTypesafe）のSparkグループを率いて、このプロジェクトの開発に大きく貢献しました。 さらに、彼はトレーニングコースを実施し、クライアントがSparkプロジェクトを実装するのを支援しています。



許可を得て行われた翻訳と出版



NS：こんにちは、ジュリアン。 私の名前はナザリウス・シマンスキーです。



JD：こんにちは。



NS：私はLuxoftでトレーニングセンターのエンジニアおよびトレーナーとして働いています。 私たちはあなたと話す機会を持っていることを嬉しく思います。 あなたとMartin Oderskyが長い間Scalaをやっていることを知っています。 この言語を使用すべきプロジェクトは何だと思いますか？



JUD：まず、招待してくれてありがとう。 私はあなたと話すことを非常に嬉しく思います。 Scalaの使用に関しては、2年前、この言語はアプリケーションのサーバー側、つまり現在Javaが広く使用されているプログラミングに最適であると答えます。 したがって、Java仮想マシンで実行されるアプリケーションには、Scala言語が最適です。 同時に、クライアント部分は除外されません。 ご存知かもしれませんが、過去2年間でScalaコードの新しいコンパイラーが使用されています。ScalaJSは、Scalaで書かれたプログラムをJavaスクリプトでコンパイルし、ブラウザーで実行できるようにします。 このアプローチは非常に成功しています。 そこで、答えを変えて、Scalaはアプリケーションのクライアント部分とサーバー部分の両方に適していると言います。 これは、アプリケーションの両側で使用可能な言語とスキルを使用できるため、非常に強力な組み合わせです。

おそらく、今日のScalaは、Cが通常使用されたりコマンドラインユーティリティが使用されたり、Java仮想マシンの起動時間が問題になる可能性のある、より深いシステムプログラミングにはあまり適していません。



さらに、Scalaが広く使用されている新しい分野が現在活発に開発されています-これはビッグデータ（BigData）です。 そして、これが今日の会話の理由の一つだと思います。 Scalaは、データの操作に特に適した関数型言語であり、Sparkソフトウェアプラットフォームのおかげで、Scalaはビッグデータ処理の分野で使用されています。 結論として、これら3つの分野がScalaにとって最も有望であると言えるでしょう。 これは汎用プログラミング言語であり、もちろん、他の多くの分野で使用できます。



NS： Sparkと言えば、Sparkアプリケーションの作成にどの言語を使用することをお勧めしますか？



JD：まず、Scalaを選択します。 これにはいくつかの理由があります。 まず、Scalaは、特に並列処理と副作用のないデータ処理のコンテキストで、データを扱うのに最適です。 2番目の理由は、Sparkプラットフォーム自体がScalaを使用して開発されたことです。 したがって、すべての新しい機会にアクセスできます。 Sparkで新しく表示されるものはすべてScala言語で最初に使用可能になり、かなり長い時間を経て初めてSparkチームが他の言語で新しいAPIを提供します。 プラットフォーム自体が開発されているのと同じ言語を使用する場合、常に何らかの利点があるように思えます。 Pythonは、データ処理の専門家にとって、特にPythonを特に研究している場合に最適な選択肢だと思います。 Pythonを純粋に研究アプリケーションに使用することをお勧めします。完成品を開発する必要がある場合は、Scalaを使用することをお勧めします。



NS：ありがとう。 春にロシアでセミナーを開催する予定があることを知っているので、プロジェクトでどのクラスターマネージャーを使用し、トレーニング中のデモンストレーションに何を使用しますか？



JUD：はい、素晴らしい質問です。 私は通常Mesosを使用します。 これは汎用のクラスターマネージャーであり、負荷を結合できるため、このシステムが気に入っています。 たとえば、社内で使用されている他のアプリケーションと同時にSparkタスクを実行できます。 さらに、Mesosシステムは進化しています。 これは、同じ研究室で、Sparkプラットフォームが作成されたバークレー大学で開始された新しいプロジェクトです。 したがって、一種の相乗効果があります。 セミナーについては、たった1日で多くのことを話すことができるので、Sparkのローカルリリースを使用します。 セミナー参加者は、インストールを最初から完了し、Sparkタスクを起動して、作業の結果をすばやく確認できます。



NS：そして、Spark APIはトレーニング中に何に焦点を合わせますか？



JD：たった一日しかありませんので、基本的なことについて主に話します。 リスナーがSparkの仕組みをよく理解すると、他のライブラリに簡単に切り替えることができると思います。 質問に直接回答する場合は、RDD APIに多くの時間を費やし、舞台裏で何が起こっているのかを説明します。 基本的な概念を検討したので、高レベルAPIに進むことができます。 Spark SQLを理解することは特に重要です。 そこで、これら2つのことに焦点を当てます。



NS：ありがとう。 Sparkでサポートされているデータ形式をいつ、どのように使用する必要があるのか​​例を示す予定はありますか？



JUD：もちろん。 データの取得と処理のプロセス、つまり、特にSpark SQLからSparkに読み書きできるデータのタイプについて説明します。 この質問は、コースの後半で検討します。



NS：ストリーミング、GraphX、機械学習などのSparkモジュールについてどう思いますか？ トレーニング中にそれらについて話すつもりですか？



JD：はい、もちろん、それらについてお話しますが、実践的な演習は行いません。 これらのモジュールは非常に重要です。 第一に、提案されたアルゴリズムおよび機能に関して、第二に、SparkがRDDビルディングブロックとどのように機能するかを示しているためです。 これらのブロックは、高レベルのアプリケーションとサービスを作成するために使用されます。



Spark Streamingモジュールは非常に興味深いプロジェクトであり、データストリームを単独で処理する技術は、すでに十分な既製のソリューションとライブラリが存在する非常に競争の激しい環境にあります。



Spark StreamingがAPIを変更し、これがどのように発展するかについて独自のビジョンを持っていることを知っているので、私は間違いなくこれに従うことにします。 機械学習モジュールも非常に興味深いものです。現在、多くの人がビッグデータに従事しており、データ処理システムで機械学習アルゴリズムと方法を使用したいからです。

このモジュールについては、実際のアプリケーションにとどまることなく簡単に説明します。 先ほど言ったように、このトレーニングでの私の目標は、学生にSparkがどのように機能するかについての理解とメンタルモデルを提供することです。 将来Sparkが必要になった場合、彼らはこのシステムをより詳細に独自に研究することができます。



NS：ビッグデータのディストリビューションとサービスを提供し、それらにSparkを含めるベンダーについてどう思いますか？ あなたの意見では、そのような提案の長所と短所は何ですか？



JD：そのような提案はかなり受け入れられると思います。 私はそれがすべてあなたがどんな種類のビジネスを発展させているかに依存すると言うでしょう。 たとえば、地元の都市新聞を発行します。 残念ながら、新聞は今や過去のものです。 また、ビッグデータを扱い、ビジネス向けの製品を開発するチームのための資金がありません。 この場合、完成品を提供する商用サービスを使用することは理にかなっています。

ただし、ビジネスでビッグデータが重要な役割を果たしている場合は、おそらく独自の開発チームが必要です。 実際、あなたのコアビジネスがどれだけビッグデータに関連しているかに依存していると思います。



NS：どうもありがとう。 これらはすべて私があなたに尋ねたかった質問です。



JUD：ありがとう。



Julian Dragosのマスタークラスは4月6日にモスクワで開催され、Scala言語でのApache Sparkアプリケーションの開発に専念します。 詳細はこちら。