「データエンジニアがいない場合、アナリストのモデル値はゼロになる傾向があります」-データエンジニアのニコライマルコフとのインタビュー

こんにちは、Habr！ データエンジニアリングはますます人気が高まっており、多くの企業が関連する空席を徐々に開拓しています。 この点に関して、シニアデータサイエンスエンジニア、Aligned Research Group LLC、およびビッグ データ スペシャリストとデータエンジニアプログラムのニコライマルコフの教師に、データサイエンティストとデータエンジニアができることについてインタビューしました。彼らがしばしば欠くことと、データ分析で自分の場所を見つける方法。







-エンジニアとしての道のりを教えてください。 データを扱う分野に最初に惹かれたのはなぜですか？なぜ人気のある魅力的なデータサイエンティストの代わりに、データエンジニアになったのですか？データエンジニアは、その価値について話し始め、教育プログラムを作成し始めたのですか？



私は大学からソフトウェアエンジニアとして働き始め、長い間Pythonでコードを書きました。 正直なところ、率直に言って、最初は私の学校で数学を学んだことはあまりありませんでした。 そして、データサイエンスが別の領域として形になり始めたとき、私は、これが人々が本当にコンピューターを意図したとおりに動作させる領域の1つであることに気付きました。 つまり、ある場所から別の場所にバイトを転送したり、美しいインターフェイスを描画したりしないでください（私は何らかの方法でWebスタジオで働いていました。便利で興味深い体験ですが、すべてのプロジェクトに少なくとも何らかの利点があるわけではありません）。



この分野には本当に世界的な普遍的な意味がありますが、秘trickは数学をよく知る必要があるということです。 これは、データサイエンティストに直接行かないことの重要な理由の1つでした。開発コースを完全に変更する必要があるからです。 データアナリストにとって、そのPython、そのSparkは単なるツールであり、基礎は数学的な装置、パラメーターの選択、モデルの調整です。 私はプログラミングをやりすぎて、別のプールに真っ向から飛び込むのが好きでした。



それから私は突然、数学の問題を解決するのが得意な人には別の弱点があることに気づきました-彼らはしばしば産業用コーディングの経験がなく、ある種の完成品を作ります。 そして、私はこれで有利だと思い切って結論付けました。



それで、データエンジニアリングに来ました。 なぜなら、第一に、それは私が好きなことをすることを可能にするが、同時に私にとってより興味深い分野で。 次に、これは人気のあるエリアです。 心から楽しんでいることにお金をもらえるといいですね。



これを長くすればするほど、Data Scienceは非常に多様な分野であり、誰もがニッチを見つけることができることがわかります。 私が教え始めたとき、私の目標はこのアイデアを生徒に伝えることでした。数学を解き、コードを書くことの両方を行うことができる人に出くわすことは非常にまれです。 この領域には多くのタスクがあります。これらはモデルだけでなく、アーキテクチャの構築、展開、プロトタイプから何らかの完成品までのワークフローの完全なチェーンのセットアップでもあります。 これらの手順はすべて重要であり、それぞれに専門家が必要です。



-職業上どのような困難に直面しましたか？キャリアの初めと将来、どのような課題に直面しましたか？



他の皆のような困難-最初は経験の浅い、さまざまなテクノロジーに対処するために多くのことがありました。 あなたは新しい会社に来て、あなたのスタックは完全に変化しています。 数年前、Mail.ru GroupでPythonを書くようになったとき、Perlで書かれたスクリプトをサポートするために24時間365日送られました（高品質のコードの例とは言いません）。それをゼロから学びます。 そのようなことはしばしば起こりますが、一方で、それはあなたが異なる分野で経験を積むことができて、タスクで異なる見方をすることを可能にします。



したがって、分析に近づいたとき、数学が主要な問題の1つになりましたが、ここでは、代数、統計、確率論など、買った本が役立ちました。 1年以上も文学から抜け出すことはできませんでしたが、最初は毎日無理やり、その後は習慣になりました。 そして最終的には、良い結果が得られたようです。 しかし、私が判断するのは私ではないと思います。



-データサイエンティストと比較して、データエンジニアとして働くことの長所と短所は何ですか？



それはその物語のようなものです。データエンジニアであることは、どのデータ科学者よりもプログラミングをよく理解しており、統計もその逆です。 他の人々が研究、数学、およびトリッキーな機能の選択に従事しているという事実から、少し悲しいことがわかります。 しかし、ここでのデータエンジニアの利点は、このプロトタイプモデルの価値があり、ほとんどの場合、Pythonファイル内のコードで構成されていることです（そして、Rではなく、ひどい品質である場合は良いことです）。はデータサイエンティストから来たものであり、少なくとも何らかの排気を提供し、ゼロになる傾向があります。 データエンジニアの作業がなければ、このコードはプロジェクトになることはなく、ビジネスタスクは解決されません。 これまでのところ、これは膝に対する単なる実験です。 データエンジニアはこれを製品に変えようとしています。



-今日、この分野の有能な専門家の膨大な数が海外に行きます。 ロシアの企業は人員の流出を防ぐために何をする必要があると思いますか？



他の場所と同じように、ここにレシピがあります：競争力のある給与、社会的な「グッズ」、すべてはいつものようです。 現在、危機に伴い、非常に多くの人々が外国のオフィスでリモートで働くことでより収益性が高くなっていることが判明しました。給与が高く、機会が増えています。 私たちの会社は困難な状況にあり、私の意見では、できることは慎重に候補者を選択し、賢明な人に投資することを恐れないことです。 昨日線形代数を勉強した学生を雇う価値はないかもしれませんが、予算を増やして、特定のビジネス上の問題を解決できる優秀なスペシャリストを雇う方が良いでしょう。 例：ストアがあり、サイトの推奨システムを構築するとします。 その後、このシリーズから意図的に専門家を探すのが賢明です。 データサイエンスが現在流行していると聞いて、仕事に行きたいと思っている人たちとお金を交換する代わりに、実際には彼らは常にジュニアでさえ引っ張るわけではありません。







-なぜあなたは教えることに決めたのですか？



私はいつも記事を書くのが好きでした。 さらに、私は歴史的に家族のすべての科学者、教師を何とかして、これが血にあることが判明しました。 私も哲学の原則が好きです：あなたが自分で問題を理解したいなら、最も正しい方法はそれについて深刻な記事を取り、書くことです、そしてあなたがすでに深刻なレベルに達しているが、あなたの歯から跳ね返るようにそれを修正したいなら、その後、教えに行くことができます。



教育の枠組みにおけるNewprolabのメンバーとのコラボレーションは、私がコース「ビッグデータスペシャリスト」の最初のセットにいたという事実から始まりました。その後、プログラミングを教える方法があまり好きではなく、エンジニアリングの詳細がたくさんありました。 私はみんなに行き、助けを申し出て、私たちは去ります。 今、私はPythonを教えています。



-教え方について教えてください。 あなたの意見では、プログラミングとデータ分析を教えるプロセスで最も重要なことは何ですか？



私のアプローチは、人々に興味を持ち、エネルギーに感染させることです。 彼らが心から掘り下げて質問するとき、私はそれが好きです、そして、私にとって、すでにそこにあるものは、これは私と他の人に興味があるトピックでチャットするもう一つの機会です。 私にとって最も重要なことは、好奇心を自分自身に育てることであり、それなしではクラスから利益を得ることは困難です。



特定のことについて話す場合は、たとえば、美しい写真だけでなくプレゼンテーションを作成しようとしますが、自分で保持するために、すべてのリンクをクリックできます。最終的に人々が何らかの種類を持つように、この記事またはその記事を読むことができます次に、そこから構築できるベース。



-あなたの教育経験に基づいて、プログラミングのどの側面、特にデータ分析が最も難しい生徒に与えられますか？ この理由は何ですか？



難しい質問。 今、私は非常に多様な聴衆と仕事をしています：機械学習の種類とビジネスへの応用方法を理解しようとするトップ（そしてそうではない）経営陣の人々、およびデータ分析コースに参加する方法をすでに知っている経験のあるエンジニアコーディングはできますが、これらのスキルをデータ分析で100％に適用する方法はまだわかりません。 その結果、最初はプログラミングが非常に困難であることがわかりました。彼らは人生でそれをやったことがないので、2番目は文字通り大学の1年目から数学を覚えておく必要があります。 また、データ分析用のツールセットは、市場の典型的なIT企業の標準セットとはかなり異なる場合が多く、コースの学生にとってもこれは課題です。



-異なるバックグラウンドを持つこれらのグループ間でどのようにバランスの取れた指導を維持していますか？



私たちはオーガナイザーに敬意を表さなければなりません。人々がチームで働き始めると、他の人が他の人を助けます。そして、多くの場合、うまくいくのはこれらの雑多なチームです：人々はさまざまな分野の問題を解決し、互いに平均レベルまで引き合います。 それから、Pythonでいくつかの基本的なことを書いて、いくつかのラボを一緒に決めた後、人々は結集し、より自信を持ちました。 また、その役割は、大学とは異なり、ここに集まった人々が特定の問題を生きて研究し、その問題に多くの時間を費やしているという事実によって演じられています。 そして、あなたが何かに多くの時間と努力を費やすとき、それは重要になります、そして、あなたは心からそれを掘り下げて「それを押してください」ことを望みます。 もちろん、授業料は勉強するための追加のインセンティブでもあると思います。 無料の優れたコースもありますが、少なくともODSから同じコースを受講してください（これについては後ほど説明します）。







-あなたの観察から：初心者と経験豊富なデータサイエンティストとデータエンジニアの両方が真のハイクラススペシャリストになるには、多くの場合、どのソフトスキルとハードスキルが不十分ですか？



私は、データ科学者はあまりうまくプログラムできないはずであるという事実にすでに同意しているように思えますが、これは彼らの仕事ではありません。 データサイエンティストはモデルをトレーニングするだけでなく、コードを完全に記述し、視覚化を描画し、パイプラインを構築し、プレゼンテーションを行うことができると信じる人々やコースがまだありますが。 実際、スキルごとに異なるタスクがあります。 もちろん、マーカー付きボードやノートブックに書かれたモデルはあまり役に立ちませんが、Excelのマクロプレートよりも優れた何らかのコードである必要があります。



エンジニアの状況では、数学とこれらのモデルがどのように機能するかを深く理解する必要はありません。 しかし、データエンジニアがこれらのモデルを効率的に製品に変えるためには、技術会社での経験が必要だと思います。 私にとって、科学者や若手エンジニアの最も基本的な問題の1つは、ワークフローが通常どのように配置されているかをまったく知らないことです。 良い方法では、コードのレビューが必要です。コードはバージョン管理システム、継続的インテグレーションなどに保存する必要があります。 もちろん、上で言ったように、データ科学者がこのすべてをよく知っていると期待することは価値がありません。 しかし、ここのエンジニアは傷つきません。 テクノロジー企業で働くインテリジェントエンジニアでさえ、このインフラストラクチャをゼロから構築したため、誰かに焦点を合わせずに、または適切な人がいないために、必ずしもこれらのスキルを持っているわけではありませんが、なぜそうする価値があるのか​​を説明します。



-領域を探索するという観点と、キャリアを構築するという観点の両方で、データを扱う際に初心者とどのようなライフハックを共有できますか？ データを分析する最良の方法のビジョンについてお聞かせください。



この地域を探索するために、私は少し無頓着なPRを投げることができます：ロシアには非常に良いデータサイエンスコミュニティがあります- オープンデータサイエンス 、6500人のスラックにチャンネルがあり、その多くは常に助けてくれるので、特に最初はそれを使用する必要があります。 もちろん、必要なスキルは英語であり、それが不自由な場合、最初にすることはそれを引き上げることです。出版社の努力にもかかわらず、データ分析に関する最高の本はまだ英語です。



データサイエンスだけでなく、あらゆる分野でキャリアを構築するという点では、今、非常に重要なスキルがあります-あなたがしたことをどのように機能させるかを人々に説明する能力です。 特にデータサイエンティストにとって、作業内容を提示する能力は非常に重要です。 すでに述べたように、誰も紙に書かれたモデルを理解することはできません。別のことは、描画されたグラフ、視覚的なプレゼンテーションがあるときです。 コーナーに座って何かをコーディングしたり計算したりする内向的な人がいることは理解していますが、少なくとも自分自身を圧倒する方法を学ぶ方が良いでしょう。



データエンジニアリングに関しては、今でも複雑です。現在、独自のデータサイエンスユニットの構築を開始している企業は、何らかの方向で設定されたITプロセスを既に内部に持っているからです。 彼らは長い間、ウェブサイト/サービスを維持し、何も落ちないように定期的に新しい機能をドロップするIT部門という製品を持っていました。 さらに、会社が古ければ古いほど、ITプロセスが麻痺し、レガシーよりも多く、すべてのコードは厳密に10段階のコードレビューを通過し、アップロード後10日以内に点滅します。 これらは、安定した製品を構築するための優れたプラクティスですが、データサイエンスインフラストラクチャを構築するためには不適切です。 データ分析は活発に変化しているため、この分野では実験が必要です。モデルを膝の上ですばやく組み立て、プロジェクトを立ち上げ、そこでどのように反応するかを見て、何かが修正されました。



エンジニアの観点から、必要なアイデアを推し進める能力に加えて、既存のインフラストラクチャに統合する能力も必要であることがわかります。 たとえば、私が働いている会社では、通常のデータエンジニアリングが行われる前は、データサイエンスとオペレーションの間の適切な対話がありませんでした。 さらに、データ分析用の非常に古いインフラストラクチャと、長年にわたって作成された独自のビルドシステムがありました。 そして、これを中心にデータサイエンスを構築しようとすると、環境が私たちを妨げていることに気付きました。 その結果、かなり小さなチームの力、つまり私たち自身の小さなサブインフラストラクチャによって、社内に会社を構築する必要がありました。 そして、私には、これは地元の問題だけでなく、これがそのようなことを導入し始めたすべての企業で起こっていることです。



まあ、効率のために、あなたは人々と話すことを学ぶ必要があります。 もちろん、これらのスキルは管理に向けて少しですが、これらのものは何らかの方法で対処する必要があります。 この分野はまったく新しいものであり、新しいプラクティスへの移行があるところはどこでも、レガシーからデータ駆動型の洞察への移行を構築できる人々は、この骨化を突破し、常に価格と名誉を得るでしょう。

Nikolai Markovのデータエンジニア向けの有用なリソース

本

• ScratchのData Science （Joel Gras）は、Pythonを既に作成できる人を対象とした基本的なData Scienceの紹介です。 本の特別なトリックは、理解を与えることであり、典型的なツールのセット（Pandas、Numpy、Tensorflow）を使用せず、素のPythonコードで数学的概念について数学します。 はい、動作は遅くなりますが、記述とロジックの面で最高品質のコードがあります。 ロシア語がありますが、英語で読むほうが良いです。
• Programming Collective Intelligence （Toby Segaran）は非常に興味深いもので、基本的なことの概要を示しますが、前のものとは異なり、Pythonコードの品質は非常に劣っています。 インスピレーションに適しています。
• ビッグデータ （Nathan Marz）-著者はTwitterなどの大企業で分析システムを構築し、Apache Stormを作成しました。 実際、この本は、データエンジニアとデータアーキテクトに現在期待されている多くのことを説明しています。 バッチデータ処理とリアルタイム処理を組み合わせたラムダアーキテクチャの概念を発明したのは彼でした。 この本は、すべてをゼロから構築する方法を説明しています。 Javaコードですが、それでも非常に便利です。
• Python Machine Learning （Sebastian Raschka）-最初の本とは異なり、標準ツール-Numpy、Pandasでのデータ分析について説明しています。 より深刻なレベルで物事がどのように行われるかという点で非常に良い本です。
• 視覚的な数学的統計 （Mikhail Lagutin）-純粋にコードを書くことに加えて、エンジニアはデータ科学者の気を散らさないために簡単な統計分析をしなければなりません。 数学の基礎とは何か、統計は何かについての基本的な理解のための素晴らしい本。

コース

• Andrew Ngの機械学習は、Andrew Ngの有名なCourseraコースで、誰もが修了する必要があります。 確かに、たとえば、Matlab（実際の開発ではほとんど見られない）を使用しているという事実、および宿題が非常にたくさんあるなど、その中のいくつかのことはあまり好きではありません。
• Konstantin Vorontsovの機械学習入門は、データ分析の優れたコースです。この分野にはそれほど深くはないため、XGBoostの微調整についてではなく、機械学習のいくつかの基本原則は、データエンジニアにとっても有用です。
• HabréのコミュニティのコースであるOpen Data Scienceのオープンマシンラーニングコースは非常に優れており、さらにプラスです-このコースを作成し、それを理解しているすべての人はSlackで簡単に見つけることができ、書き込み、質問ができるため、学習が大幅に促進されます。
• Newprolabのメンバーからデータエンジニアリングを学ぶ -ここでも少し教えます。 かなり面白くて便利になると思います。

それでも、私は忘れていました-みんなとデータサイエンスブレックファーストを開催します-これは、プロスペクトミラのカフェにいる会社が週に1回集まります。 #data_breakfast ODS, !