「Sparkコードを調べる必要がある場合があります」：Alexander Morozov（SEMrush）によるScala、Spark、ClickHouseの使用

SEMrushの場合、「会社が使用している言語と技術」を尋ねるのは意味がありません。ここでは、各チームに最大限の自律性が提供され、「すべての人に共通」を最小限に抑えます。 しかし、特定のチームは非常に質問するべきものです。



プロジェクトの1つがScala、C ++、Spark、ClickHouseを使用していることを学びました。 Scalaの選択自体は非標準であり、C ++との組み合わせはさらに少ない頻度で見つけることができます。YandexのClickHouse DBMSも最も一般的な選択ではないため、これらすべての動作について質問することにしました。 アレクサンダー・モロゾフが回答しました。



-まず、SEMrushに所属しているチームを教えてください。



-バックエンド開発者、マルーンチーム、トラフィック分析プロジェクト。 それどころか、Googleアナリティクスのようなことを行います-あらゆる種類のcな統計手法を使用して、インターネット上のサイトのメトリックを先取りします。



-なぜScalaを使用することに決めたのですか-Sparkを持っているという事実、またはその他の理由のためですか？ 現在、通常のJavaはSparkを使用するのに悪くないという意見がありますが、これについてあなたの経験は何と言っていますか？



-もちろん客観的であれば、SparkはScalaで書かれているためです。 Javaは非常にうまく適合しますが、標準機能が見逃され始めた場合、Scalaにモジュールを追加する方が便利です。 個人的には、Spark構造の機能を拡張する暗黙のクラスを記述するのがどれほど簡単で単純かを想像することはできません。岩をプロジェクトにドラッグする必要があります。



はい、最高のドキュメントはコードです。 Sparkコードを調べることが必要な場合がありますが、ここではこのコードが記述されている言語を知らなくても何もしません。 人生の例は、jdbcを介してClickHouseにデータを挿入できるように、SQLペアの方言を識別して登録することです。 明らかに、この点は文書化されておらず、エラーがどこにあるのか、そしてそれを排除するために何を実装する必要があるのか​​を理解するためにスパークコードを調べなければなりませんでした。



そして、主観的な側面について話すと、長い話です。 私の以前の経験はテレコムで、そこから俳優への愛を引き出し、同じ場所で関数型プログラミングに興味を持つようになりました。私はErlang、Haskell、Scalaで始めました。 OOPとFPの共通部分としてのScala、さらにはAkkaさえも-選択は明らかです:)



-ロシアではScalaを使用する人はほとんどいないため、実際の経験であることが判明したこと、何が喜ばれ、何が痛いのかを尋ねたいと思います。



-一般に、コードの簡潔さ、開発の速度、ライブラリの数（Javaで記述されたライブラリを含む）に満足しています。 アーランの後、マッチングの通常のパターンは非常に不足しています。 痛みだけでなく、バ​​グへの対処にも問題が生じることがあります。 一方で、含意により、簡潔かつ柔軟に書くことができますが、一方で、コンパイル段階でも何が間違っていたのかを理解するのが難しい場合があります。 ただし、ここでは、テンプレートクラスのエラーに対してgccが表示するフットクロスの種類を思い出します。



純粋にインフラストラクチャのものは、実際に最大の痛みをもたらします。 コンピューティングクラスタは、かなり気まぐれなものです。 その計算は、メモリ不足のため中央に落ちます。 ディスクの1つの上のその場所は突然終了します。 次に、DCのネットワークラグのために、ノードが脱落します。 分散システムのバグは一般的に別の問題です。 このような問題の診断と解消は、かなり面倒な作業です。



-ScalaとC ++の両方は、「気弱な人向けではない」言語で定評があります。 1つのプロジェクトでこのような組み合わせで生活しているのは何ですか？ 彼は典型的なものよりもはるかに「ハードコア」であることが判明しましたが、後輩がこれを行うのは難しいですか？



-C ++の方が難しくなるようです。 「二重の解放または破損」、またはメモリリークを撃退する価値がある場合があります。 16進エディタでのメモリダンプの手動分析など、多くのことを行う必要がありました。 Scalaでは、おそらく十分な微妙さもありますが、足を撃ち落とす方法は少なくなります。



また、6月には、C ++でクラスを使用したCスタイル、およびScalaで-奇妙な構文を使用したJavaスタイルで作成しないことが最も困難な場合があります。



-しかし、すべてが技術的に強力であるという事実により、言語/技術の選択に費用を支払う必要がありますが、そのようなプロジェクトで人々を見つけることは困難ですか？



-もちろん。 2番目のバックエンドに空きができました。 しかし、非主流の言語で人を見つける問題は非常に深刻であるため、100％の一致を直接探しているわけではありません。 たとえば、C ++やScalaを知っている人は非常に適しています。 またはScala / JavaとSpark、ただしC ++なし。 残りを教えます。



-ClickHouseに移りましょう。そこで選択した理由は何ですか？



「合理的な時間内に数千億のイベントを保存および処理できる基盤が必要でした。」 ClickHouseはまさにその基盤です。



-Yandexは「ClickHouseには狭いニッチ内に選択肢がない」などの美しい単語を発音します。また、実際の経験でそのような単語をどれだけ確認していますか。 ClickHouseの使用を誰に勧めますか？



-さて、かつてVerticaについて真剣に考えていました。 また、現在のシステムの分析部分のプロトタイプをSpark / Hive専用に使用していましたが、多くの中間的な「手動」アクションが必要でした。その結果、動作が非常に遅くなりました。 何らかの形で選択肢があると言ってみましょう。ここでは、特定のプロジェクトのプラスとマイナスのバランスを選択する必要があります。 ClickHouseは、何らかの形でWeb分析に関連するプロジェクトに最適です。



-ClickHouseは比較的若い開発です（少なくとも、オープンソースへの移行から数えれば）。 干渉しますか？ コーンを埋めてバグレポートを送信する彼女の「先駆者」と一緒ですか？



-時々、一見明らかな機能の欠如が困惑します。 次の四半期のロードマップには何かがあります。 重大ではないバグに出くわしましたが、先駆者ではありませんでした-誰もがすでに欠陥がありました。 一般に、主要な機能は整っており、バグは非常に迅速に修正されます。



-ClickHouseの使用は、ロシアで作成されたという事実に何らかの影響を与えますか？ その開発者は「腕一杯」であると感じていますか？彼らとコミュニケーションを取りますか？



-ClickHouseにはロシア語のテレグラムチャットがあり、開発者からの質問に対する回答を非常にすばやく得ることができます。 非常に高価なサポート、診断、および問題の解決策を備えた企業向け製品であっても、毎週「Re [100500]：」と書かれていることがあります。 この機会を利用して、Yandexチーム全般とAlexey Milovidovに個人的に助けてくれたことに感謝します。



-あなたの意見では、SEMrushの「チームの独立性」は、選択したテクノロジースタックの選択にどの程度影響しましたか。



-私はほとんど何もないと思います。 私たちはいつか目を覚まさず、「今日からScalaに書いてみよう」とは言わなかった。 開発者のような未熟さは許されません。 最初に、C ++のみでプロジェクトを作成しました。 ある時点で、彼らは研究用のプロトタイプを作成しましたが、これは生産では使用されませんでした。 しかし、それを書くのは非常に速く、計算の並列化が非常に簡単になり、開発は非常に後押しされて実装することになりました。 以前の仕事の経験によると、より「伝統的な」会社では、プロセスは似たものになります。プロトタイプを作成し、長所と短所を評価します。 もちろん、重要な条件はサポートとさらなる開発を提供することです。つまり、社内の数人がスタックに精通し、プロジェクトを「ピックアップ」できるようにする必要があります。



-チームが独自にスタックを選択したという事実にもかかわらず、「隣人」の経験がどのように影響するかを理解したいと思います。 スタックが形成されたとき、他のコンポーネントはSEMrushでそのコンポーネントを積極的に使用していましたか？これは決定に影響しましたか？



-当然、私たちは隣人がそこに持っているものに興味があります。 Sparkは、私たち自身の研究と統計のためにR＆Dチームを使用していました。 彼らは経験を引き継ぎました。 ClickHouseは、データウェアハウスに関する質問が発生したときに、別のチームと一緒に調査および実装を開始しました。



-そして、あなた自身は他の人にどのくらい積極的に影響を与えていますか？ 会社内で彼らの専門知識をScalaやClickHouseと共有することはどのくらいの頻度で起こりますか？これは「ああ、私たちもしたい」につながりますか？



-Scalaで、別のチームが執筆を開始しました。 そして一般的に、ClickHouseは彼らが言うように「ログイン」しています。 他のチームと経験を積極的に伝え、交換します。 意図的に宣伝されているわけではありませんが、「クリックハウスがあると聞きましたか？ また、「定期的に発生する」と考えています。