CTOcast＃1：キリルサフォノフ（RuTarget）

IT企業のテクノロジー、プロセス、インフラストラクチャー、および人々に関するポッドキャストの最初の問題を紹介します（ ここでゼロの問題を聞いて読むことができます ）。 今日、CTOcastにアクセスするのは、RuTargetのテクニカルディレクターであるKirill Safonovです。



ポッドキャストを聴く



対話者とRuTargetについてのいくつかの言葉：



キリル・サフォノフはロシアのサンクトペテルブルクに住んで働いています。 サンクトペテルブルク州立工科大学を卒業（2004）、物理学および数理科学の候補（2007）。 2001-2004年 2004年から2006年にSoft-ImpactでC ++開発者として働いていました。 -ボーランドのプログラマー。 2006年から2010年まで、SwiftTeamsで（2010年からCTOとして）。 2011〜2013年 -JetBrainsの開発者。 2013年4月以来、彼はRuTargetのCTOを務めています。

RuTarget社は 2011年にEugene Easyによって設立され、その後、最初の投資が集められました。 同社はカスタムRTBソリューションを開発しています。 RuTargetが提供するRTBインフラストラクチャにより、代理店と広告主は広告とデータを自動的に売買できます。 最も有名なソリューションは、広告主と広告代理店にRTBサービスを提供するSegmento（RuTargetに密接にリンク）のプラットフォームです。

ポッドキャストのテキスト版（前編）

アレクサンダーアスタペンコ： RTB（リアルタイムビッダー）とは何か、このシステムのさまざまな参加者（広告主、サイト、データプロバイダー）の相互作用はどのように調整されているのか説明してください。



キリル・サフォノフ：もちろんです。 RTB、またはリアルタイムオークションは、オンライン広告を表示するためのスキームであり、その本質は、Webページをロードするプロセスで、広告ネットワーク（ページが接続されている）と複数の参加者（RuTargetそれらの中で）。



ネットワークには広告スロットがあり、最も重要なのは特定のユーザーIDです。 そして、参加者は、ネットワークの提供にどれだけ興味があり、ユーザーとサイトがどれだけ魅力的であるかを決定し、このユーザーにひねった広告キャンペーンのバナーの1つを表示するかどうかを決定します。 決定が肯定的である場合、参加者は広告ネットワーク入札を提供する必要があります。 上限入札単価が勝ち、エンドユーザーには勝者のバナーが表示されます。



技術的には、これは広告ネットワークサーバーと買い戻し当事者間の相互作用として発生します。 リアルタイムで、要求が送信されます。この要求に対して、償還当事者は短時間（100ミリ秒）以内に応答する必要があります。 広告ネットワークは、回答を収集し、特定の方法でフィルタリングし、上限入札単価を選択し、バナーを表示します。 したがって、RTBスキームでは、どのバナーを表示するかについての決定は、Webページをロードするプロセスで行われます。



このようなスキームは、広告主とユーザーの両方にとって広告がより効率的に機能するという点で優れています。 広告主は、クリックと全体的な応答の割合が高いユーザー関連広告を表示できます。 また、ユーザーには意図や興味に基づいて広告が表示されます。 したがって、これは一種のwin-winです。



オークション参加者（償還当事者）がユーザーについてよりよく知っているほど、ユーザー（参加者-約Ed。）がより効率的に予算を費やすことができることは明らかです。彼にとっては面白くない。 ここでは、数学、ユーザーに関する情報を収集し、それに応じて消化し、属性のセットを構築する数学モデルを開始します。これを使用して、ユーザーが広告をクリックするかどうかを理解または予測できます。



アレクサンダーアスタペンコ：製品としてのこのチェーンのRuTargetとは何ですか？



キリル・サフォノフ： RuTargetはプラットフォーム、DSP（デマンドサイドプラットフォーム）です。つまり、広告ネットワークに接続できるバイバックサイド（私たちの地域ではSSPと呼ばれます-サプライサイドプラットフォーム、セールスサイド）とプレースベットです。 また、システムはユーザーデータを収集、保存、処理して、入札を最も効率的に行うことができます。



Pavel Pavlov：顧客は誰ですか？また、RuTargetプラットフォームとのやり取りはどのように組織されていますか？



Kirill Safonov：エンドカスタマーは通常、Segentoを操作します。これは一種のビジネスフロントエンドです。 Segmentoは、クライアントの広告キャンペーンを実行、ひねり、必要なクリック数、コンバージョンなどを提供することができます。 SegmentoはRuTargetプラットフォームを使用して、これらのキャンペーンのネジを外します。 クライアントがSegmentoに来た場合、またはSegmentoがクライアントを見つけて彼と契約を結び、すべての技術的なアクションがRuTargetによって実行されたとします。



Pavel Pavlov： RuTargetとエンドクライアントの間に相互作用がないことがわかりましたか？



キリル・サフォノフ：今ではありません。 RuTargetプラットフォームを公開する計画はありますが、ユーザーがAPIを介してテクノロジープラットフォームに直接接続するなど、テクノロジープラットフォームと直接通信する機会が得られるようにします。



Alexander Astapenko： RuTarget製品の形成を担当しているのは誰ですか、APIはどうなりますか？ 現在の顧客は製品開発のドライバーですか？ これはRuTarget内でどのように発生しますか？ 誰がプロセスを決定して管理しますか？



Kirill Safonov：私たちには、SegentoとRuTargetの間にいる製品マネージャーがいて、バグトラッカーに来るすべての機能とリクエストを蓄積し、製品の移動先を監視しています。 一方、私が率いる開発チームは、これらの機能要求を分析し、どの時点で実行できるかを決定します。 そして、通常の調整と優先順位付け、次の反復のためのいくつかのタスクがあります。



アレクサンダー・アスタペンコ：それでも、このトピックを「掘り下げ」たいです。 機能に優先順位を付けるプロセスはありますか？ これらの機能を食料品のバックログに取り込むプロセスは？



Kirill Safonov：一方では、これらは常に着信機能であり、プロダクトマネージャーからの着信要求です。 一方、これがどのくらいの期間行われ、現在のアーキテクチャにどのように適合するか、何をやり直す必要があるかを理解する。 次はディスカッションです。優先度、このタスクのビジネス上の重要性、および完了するまでの時間に応じて共同で決定します。 コミュニケーションの結果、彼女は遅かれ早かれバックログのどこかに横たわっています。 さらに、操作を計画するときに、バックログから次のピースを取り出し、この操作に該当する機能を選択して実行します。



Pavel Pavlov： Cyril、100ミリ秒少し前に言及しました。 RTBソリューションにはかなり高い要件があるという印象を受けます。 特に高速化するために。 これらの要件をどのように満たすことができますか？また、プラットフォームの開発、作成、および保守時に直面しなければならない技術的な問題はありますか？



キリル・サフォノフ： 「技術的困難」-少し悲観的に聞こえますが、面白い点と言います。 最初の興味深い点は、固有の要件である負荷と短い応答時間です。 リクエストの着信ストリーム（1秒あたり約1万から2万リクエスト）があり、実際には、100ミリ秒未満-決定を下すために20から30ミリ秒まであります：バナーを表示する人かどうか、どのバナーか、どの入札かなど。 この問題を解決し、水平方向にスケーラブルになるようにアーキテクチャを構築し、負荷の増加に応じてサーバーを追加しました。 これで、異なる口径の10のローカルネットワークに接続され、すべてで正常に動作するようになりました。



もう1つは、ユニークではないかもしれませんが、重要なポイントは、システムの高可用性です。24時間体制で、高い割合があります。 アーキテクチャコンポーネントの設計では、ブロック障害が発生した場合のコンポーネントの安定性と複製について考える必要があります。



別の興味深い場所は数学的モデルです。これは、保有しているデータに基づいてユーザーに関する予測を最も効果的に提供するはずです。 そして、これは明確な枠組みのないオープンエリアです。 この場合、完全性の限界を見つけることができないため、要件を満たしているかどうかはわかりません。 これは、絶え間ない仕事、絶え間ない思考、テスト、比較、新しいバージョンの展開、ロールバック、数学のプレイ、たとえばモデルのプレイです。 これはおそらく最も興味深い場所であり、最も重要な場所です。



Pavel Pavlov：興味深いことに、ここに少し滞在したいと思います。 「データサイエンス」などがあり、あなたはこの分野の専門家です。 この科学はどの程度真実ですか？ それとも、あなた自身の定義による「数学ゲーム」ですか？ 科学やプログラミングに近い？ このニッチを現代のITテクノロジーでどのように定義しますか？



Kirill Safonov：私たちにはデータマイニング部門があり、これらのモデルを開発し、本当の科学を持っている少数の人々がいます。大量のデータの分析、モデルの構築、テストの実行です。 効果的である必要のあるアイデアがあると彼らが言うとき、私たちはそれをシステムに実装し、リクエストまたは広告キャンペーンの一部のテストを展開し、それが機能するかどうかを確認します。 その後、私たちのスタッフはそれがどのように進行したかを見て、ログと結果を分析します。 新しいモデルとアプローチが受け入れられることを確認し、他のすべての広告キャンペーンに拡張します。 または、それを拒否し、戻って別のことを試してください。 つまり、一方では、誰もが理解している意味でのデータサイエンスです。ビッグデータの分析、パターンの検索、モデルの構築です。 そして、これはシステムで絶えず起こっているある種の実験です。



Pavel Pavlov：あなたはビッグデータ、スケーリングのレベル、負荷について話しました。 どのようにしてこのようなアーキテクチャを実現し、適切なソリューションを実現しましたか？ 以前のプロジェクトやチームワークでの個人的な経験はありますか？



Kirill Safonov：以前の経験はおそらくあまり役​​に立たなかったでしょう。それ以前はデスクトッププロジェクトまたはサーバープロジェクトのいずれかで作業していましたが、そのような負荷と要件はありませんでした。 文学を読んで、インターネットが助けた。 最近、非常に多くの記事、システムを作ることができる製品。 この分野の市場の他の人々とのコミュニケーション。 奇妙なことに、競合する企業やパートナーのエンジニアと技術的な問題を議論する必要が頻繁にあります。 したがって、実際に機能する特定の理解があり、それを適用することができ、それがリターンをもたらします。



Pavel Pavlov：決定は外部から行われたので、共有する準備ができているレシピがありますか？ このようなレベルのワークロードとアップタイムを持つ業界で仕事をしようとしている人は、どのような技術スタックを探るべきですか？



キリル・サフォノフ：ビッグデータに関しては、明らかにHadoopとHBase、MapReduceタスクなどのコンポーネントを使用しています。 負荷の高いフロントエンドとして、Nginxは非常にうまく機能します。 私たちは彼に非常に満足しており、彼をほとんどカスタマイズしませんでした。 彼は失敗せずに非常に大きな負荷を経験しています。 今では、さまざまなキャッシュを整理できる高性能のNoSQLデータベースがたくさんあります。 おそらく、具体的なアドバイスをすることはできません。なぜなら、私が持っている情報はインターネットから取得され、2時間以内に何がどのように起こっているかについての基本的なアイデアを得ることができるからです。



Pavel Pavlov：理論的な解決策に基づいて、この束（Hadoop、NoSQL、Nginx）が機能し、本格的な生産に完全に適合する実用的な方法になりました。



キリル・サフォノフ：はい、すべてが判明しました。



Pavel Pavlov：それで、高レベルの信頼性というトピックを締めくくりましたが、SLA（サービスレベルアグリーメント）を共有できますか？ ナインはいくつありますか、そのような決定にはどのような信頼性要件が提示されていますか？



Kirill Safonov：もちろん、9の信頼性に関する正式な要件はありません。 しかし、同時に、何かが突然壊れるとすぐに、広告ネットワークまたはデータプロバイダーのパートナーは、何かがおかしいと不平を言います。 そのため、システムは可能な限り信頼性の高い設計になっています。 そのため、バックエンドが応答を停止した場合でも、スタブを備えたフロントエンドは、全員に適した応答を形成します。



Pavel Pavlov：どうやら、あなたが持っている空席はオープンで、Javaの開発と技術に重点が置かれているようです。 この選択の理由は何ですか？ これは、IT市場の専門家を検索する能力があるあなたの経験に関連していますか？



キリル・サフォノフ：私には、Javaは特定の妥協点を表しているように思えます。 一方、彼女は、負荷の高い高速の意思決定を行えるプロダクション言語であることを確認しました。 一方、スキルやトレーニングのレベル、言語の点では、非常にシンプルで広範囲に使用されています。 さらに、Hadoopを使用します。 いずれにしても、クライアントアプリケーション、HadoopのコンポーネントはJavaで作成されます。



ポッドキャストのテキスト版は今後数日間継続します。



ポッドキャストにサインアップする