「主な課題はスタッフ不足です」-データチームの選択に関するパネルディスカッションです。 データサイエンスウィーク2017

こんにちは、Habr！ 9月12〜14日にモスクワで開催されたData Science Week 2017レビューの最後の部分を公開します。 今日は、「データを操作してその有効性を評価するチームの選択」というトピックに関するパネルディスカッションについてお話します。 モデレーターは、Mail.ru Groupの人事および教育プロジェクト担当副社長であるOlga Filatovaで、参加者はViktor Kantor（Yandex）、Andrey Uvarov（MegaFon）、Pavel Klemenkov（Rambler＆Co）、Alexander Erofeev（Sberbank）でした。







-同僚、あなたの会社とその中のデータサイエンティストのチームについて教えてください。 チームはどのように編成され、何人のチームが参加していますか？ どのような興味深いプロジェクトについて話せますか？ よく直面する課題は何ですか？



Andrey（MegaFon）：私はMegaFonの分析サービスの責任者です。実際、会社の技術部門でビッグデータ分析を担当しています。 MegaFonの分析能力は現在、さまざまな部門に分かれており、我が国では現在約18人がおり、積極的に強化しています。 アクティビティの構成について話す場合、動的なチームで作業します。新しいプロジェクトが表示され、その実装に必要なスキルを持つチームを編成します。 同時に、私たちだけがデータサイエンティストではありません。チームには、パイプラインのデータエンジニア 、および生産、テスター、ビジネスアナリストのモデルを実装する開発者が含まれます 。



当社の顧客は、MegaFonのさまざまな内部機能であり、収益の増加またはリスクの軽減に関係しています。 会社のどの部門も私たちのところに来て、その「痛み」について話すことができます。そうすれば、私たちはすでに彼らの問題を解決する方法を考えています。



最新のプロジェクトの中で、新しい基地局の場所を決定するケースを区別できます。 ユーザーの満足度がネットワークの開発方法に直接依存することは秘密ではないため、ステーションを構築する必要がある場所を理解することが非常に重要です。 さまざまなタスクがこの方向に関連付けられています。各ベースステーションまでのトラフィックの増加を予測し、クライアントの好み、場所、およびトラフィック構造を分析します。 その結果、Smart CAPEXと呼ばれるこのタスクストリームはすべて、投資の正しい優先順位付けを目的としています。



チーム内の相互作用はアジャイルで行われます。 私たちはオープンな計画を立てており、各従業員は、地位に関係なく、自分の考えを表現して聞くことができます。 顧客と協力することについて話す場合、スクラムに取り組んで、彼と一緒に仮説をテストし、いくつかの仕事、いくつかの仕事はしませんが、最も重要なことは、顧客が主題領域により深く突入し、処方に対して異なる態度を持っていることですタスク。



私たちの主な課題は、顧客がプロジェクトに参加する方法を理解し、顧客がその分野で実質的な専門知識を共有できるようにすることです。 多くの場合、データサイエンティストは顧客の活動分野について非常に深い知識を持っていないため、数年間その分野で働いてきた人々の助けがデータの本質を理解するのに非常に役立ちます。 また、これらはHRに関連するあらゆる種類の課題です。開発、動機付け、雇用、チームビルディング：責任の領域を正しく分割する方法-1人のスーパーマンまたはデータエンジニア、テスター、データサイエンティストのチーム？



Alexander（Sberbank）：私はSberbankの企業データ管理部門で働いています。 部門には2つの領域があります。1つ目はデータサイエンティスト、2つ目はデータ、その可用性、ストレージインフラストラクチャ、および処理を担当する人々です。



現在、チームには100人強のデータサイエンティストがおり（将来は300人に増やす予定です）、10単位で作業し、それぞれのデータドリブンを強化しようとしています。 これに基づいて、現在の私たちの主な課題は人員不足です。 現在、市場には十分な資格のある専門家がいません。 この状況は、データサイエンティストだけでなく、インフラストラクチャを扱うスペシャリストにも当てはまります。 Sberbankの特徴は、膨大な数のデータソースがあるかなり複雑なランドスケープがあることです。現在では約100のストレージが接続されています。 これに加えて、データを共有し、適切な人員が必要な管理のために非常に大規模になるパートナーとの作業を追加します。 問題は、開発者が十分な経験を積むとすぐに、外国企業からすぐにオファーを受け取り、海外に行くという事実によって悪化します。



当社の製品は2つのグループに分けられます。最初のグループはデータに直接関連し、開発者の作業の結果は安定したデータショーケースです。 2番目のグループには、プロダクションで表示される開発者とデータサイエンティストの作業の結果である分析モデルが含まれます。 ところで、データサイエンティストのパフォーマンスの指標の1つは、実装段階に達したモデルの数です。



また、現在、銀行レベルでは、ユニットに投資する投資が最大限回収できるように、積極的にイニシアチブのポートフォリオの管理に取り組んでいます。 同時に、一定の頻度でポートフォリオを更新します。各ユニットで内部移行の計画があります。データエンジニアがしばらくしてデータサイエンティストになりたい場合がよくあります。



私たちが開始した最新のイニシアチブの1つは、スマートローン、小規模ビジネス向けのパーソナライズされたオファーの選択です。これにより、詳細な顧客分析に基づいてローンの意思決定プロセスを大幅に削減できます。 ここでは、インターネット会社や通信会社とは異なり、データのかなりの部分が手動で作成されるという特徴があります。ローン申請の処理時、デビットカードの発行に関する契約の締結時などです。 もちろん、そのようなプロセスが存在する場合、データ品質の問題が前面に出てきます。 従来、データ品質に関するすべての責任はデータウェアハウスの側にいる人々が負担していましたが、現在この状況のバランスを取りながら、各ユニットには独自のDQAがあります。



Pavel（Rambler＆Co）：国内最大級のメディアの1つであるRambler＆Coの機械学習部門を率いています。 データ分析の専門知識のほとんどは当社に集中しており、3つの分野に分かれています。 1つ目は広告に関連するすべてのもの、2つ目は推奨システム、Price.ruプラットフォーム（Yandex.Marketの類似物）です。 3番目の領域はアウトソーシングのためのデータサイエンスであり、外部企業と協力し、知識、データ、および経験に基づいてケースを解決します。 たとえば、有名な靴店であるEccoのWebサイトで製品の推奨事項を発表し、かなりクールな結果を得ました。予想外に、平均チェックは2倍になりました。



また、コンピュータービジョンも扱っています。 クライアントの1つは、さまざまな都市プロジェクトに従事しているKB STRELKAでした。 彼らには方向性があります-都市人類学は、都市で人々がどのように振る舞うか、彼らが訪れる場所、そして彼らにとってどんな魅力が存在するかを研究します。 このプロジェクトでは、ソーシャルネットワーク上の市内のさまざまな場所への訪問者の写真を使用して「ポートレート」を構成し、彼らがどのような人物であるかを理解しました（もちろん、データは完全に匿名で、これらの人々の顔しか見えません）。



私たちのチームは10人のデータサイエンティスト、2人のインフラストラクチャエンジニアで構成され、管理者の部署もあります。 データサイエンティストは、エンドツーエンドで私たちのために働いており、量産コードを実装する前にビジネス上の問題を解決し、スクラムですべてを実行しようとします。



人を雇うことも私たちにとっての主な挑戦です。原則として、彼らは少数であり、資格のある人はさらに少なく、専門的に訓練された場所もあります。 別の問題であると同時に、オンライン教育の利用可能性もあります。オンライン教育では、コンテンツとその品質が常に私たちに適しているわけではありません。







Victor Kantor（Yandex）：今年5月、Yandex.Taxiに来て、機械学習部門を設立しました。 現在、数十のプロジェクトがあります。 現在、いくつかの主要な領域があり、その中には、たとえば、正確な待機時間の決定、乗降の便利なポイントがあります。 また、ここと現在のドライバーと乗客の行動の分析、それらにどのように影響を与え、収益性の高いものを提供することで活動を増やすことができますか？ドライバーの場合は彼がより多く乗り出し、クライアントの場合はより多く乗ることができます



チームには13人のスタッフがいますが、全員がデータサイエンティストですが、特別なスキルを持つ人もいれば、開発が上手な人もいます。競争に参加した豊富な経験を持つ人がいて、モデルの品質を可能な限り高くすることができます。 したがって、特定の問題をより速く、より良く解決できる人は常に存在し、私たちはそれを積極的に使用しています。



私の経験では、多くの場合、課題は、内部顧客であろうと外部顧客であろうと、タスクの設定を成功させることです。 その前に、私はYandex Data Factoryで働いていましたが、その過程で問題ステートメントを何度か再定式化することがよくありました。 ただし、これは顧客がそれほど悪いという事実によるものではなく、適切な設定を見つけるのに多大な労力を要するためです。 現在、プロセスを構築して、理解可能で測定可能な段階があり、測定可能な結果と、外出先で頻繁に変更する必要がない定式化を試みています。



-あなたのために仕事を見つけたい同僚のためにライフハックを共有します。 仕事に応募するとき、何を求めますか？ あなたの会社での選択の準備方法に関するいくつかのヒントを与えてください。



ビクター：私たちは通常、次のことを確認します：機械学習に関するものはどうですか？理論、実践。 理論的には、人が何が起こっているのかを理解し、1つまたは別の動作を説明でき、解決する最適化方法を知っていることを確認する必要があります。これは、非自明な方法でアルゴリズムを使用する必要がある場合があるためです。 練習に関しては、人がやったタスクについて尋ねます。 まだ経験がない場合は、彼がどのように仕事をするかを説明することをお勧めします。 同時に、もちろん、タスクは顧客からのものという形ではなく、むしろ一般的に、そのような状況でそのような推奨アルゴリズムを開発する必要があります。品質を測定する方法、使用するデータを記述し、モデルを構築する兆候に基づきます。」 多くの場合、候補者は兆候についてではなく、一般的に予測することを考えずに訓練するモデルについて議論し始める問題があります。



-オリンピアドニキや、さまざまなハッカソンを経験した人を好むのですか、それとも無原則ですか？



ビクター：私たちは非常にシンプルなアプローチを取っています。全員が平等であり、チームにとってその人がどれだけ価値があるかを示すのは知識だけです。 チーム全体がオリンピックで構成されているという事実には反対ですが、同時に、オリンピックプログラマとカグラーの両方がチームで非常に役立つという異なるケースがありました。それらと正しくやり取りする必要があります。



アレクサンダー：私は人事に従事していませんが、潜在的なデータ科学者に数学の知識のテストと応用問題を解決するためのいくつかのケースを与えた場合がありました。 テスト結果によると、候補者のかなりの部分がすぐに脱落しました。



実際、各ブロックはそれ自身で人々を募集します。 コンピテンシーの開発を担当する部署もあり、私たちは大学とのパートナーシップを発展させており、早い段階で人々を迎えようとしています。 内部リソースに可能な限り投資し、従業員のスキルを向上させます。 現在、私たちのユニットはコミュニティの形式で機能しており、そのタスクの1つは能力の相互開発です。 たとえば、リスクブロックと小売ブロックがあり、データサイエンスのレベルが非常に高い場合、それらは主に他のブロックのデータ分析の改善に役立ちます。



-トレーニングに欠けているものは何ですか？ 組織や学生自身に何をお勧めしますか？



Pavel：残念ながら、すべての人が学習方法を知っているわけではないようです。 オンラインスペシャライゼーションを完了したとしても、排気は非常に表面的です。 人々はあらゆる種類の言葉をたくさんつかみ、浅い知識を持っています。 これは、仕事の内部原則を理解する必要があることが多い生産に物事を持ち込み始めるときに特に顕著です。 学習する能力で何もすることはないようですが、あなた自身でそれを行うことができます。コースラには優れた学習方法があり、優れたファインマンの方法があります。



個人的には、2番目の問題はプログラミングが非常に悪いことです。 ここでのポイントは、人が多少なりとも複雑なアルゴリズムを実装できないということでさえありませんが、原則としてプログラムできないことです。 人がPandasをインポートしてPythonでファイルを読み取る場合、これは奇妙です。 しかし、私たちはこれと戦い始めています。さもないと、誰も雇うことができません。 したがって、プログラミングはデータサイエンスの仕事の非常に重要な部分です。



アンドリュー：ポールが提起したトピックを続けます。 データサイエンティストはプログラミングが苦手で、回避することはできません。 同時に、あまり多くのアルゴリズムを知らず、自分の手でそれらを訓練しようとしていない高級な開発者がいます。 したがって、最も重要な（そして最初のライフハック）自己決定であり、業界と方向性は非常に豊富で多様であり、誰もが自分の場所を見つけることができます。



たとえば、現在、本番環境でモデルをテストする優秀なテスターを見つけることができません。 一方では、自動化の経験があり、オペレーティングシステム、データベースなどの十分な知識がある人である必要があります。他方では、少なくとも機械学習アルゴリズムとデータ分析に精通している必要があります。



さらに、MegaFonの内部キッチンを開くと、私たちは人から移動します。空室の完全に明確な説明はありません。 もちろん、それは存在しますが、私たちはそれに固執せず、その人は私たちに履歴書を送り、私たちに役立つかどうか、もしそうなら、どのプロジェクト、どの部門などで見ているかを探しています。 あなたがその能力の下でプロジェクトを見つけた場合、あなたは次の双方にとって好都合な話を得る。

ご質問

-現在、データ分析に関するオンラインおよびオフラインのコースがすでに多数あります。 一定レベルの基本的なトレーニングを受けて、さらに良い方法は何だと思いますか？さらなる自己教育と数ヶ月でのキャリアの開始、または実践と仕事による開発、応用問題の解決？



Pavel：私の意見では、特定のレベルをすでに持っている場合、特定の会社で練習して何らかの方法で仕事に就くのはクールです。なぜなら、フィールドは本当に巨大であり、必要に応じて一生勉強できるからです。 また、さらに勉強したい場合は学歴が向上し、そうでない場合は教育のために教育を受けます。 さらに、人々はしばしば自分自身を過小評価し、「このようなクールな人はYandexで働いています。彼らに連絡しないのは明らかです」と考えています。 そしてほとんどの場合、あなたは平均的な候補者よりも優れていることがわかります。



ビクター：できるだけ早く、合理的な範囲内で練習を積む方が良いことに同意します。 たとえば、最初は理論的な知識なしで実践を習得しようとしましたが、誰にも助言しません。 長い間何も起こらず、理由がわからないのは非常に不愉快であり、後であなたはどれだけの時間を無駄にしているのかを理解します。



存在について勉強したことがないので、単に存在について何も知らないことがよくあります。したがって、教育を停止する必要はありません。少なくとも、その仕組みを理解するレベルで、フィールドの内容に常に関心を持つ必要があります。



New Professions LabのFacebookページでパネルディスカッションの1時間ごとのビデオを見る。



これで、Data Science Week 2017のレビューで、2018年3月の初めに、同じ場所、DeworkacyのData Science Weekend 2018でお会いできることを嬉しく思います。



MegaFonはイベントのパートナーとして、Pressfeedは情報パートナーとして行動しました。



プレスフィード-会社に関する無料の出版物を入手する方法。 営業担当者およびPRスペシャリスト向けのジャーナリスト照会のサブスクリプションサービス。 ジャーナリストがリクエストを残し、あなたが応答しています。 サインアップします。 良い仕事をしてください。