「平均を上回るには、お金以外の何らかの動機が必要です」-Ruslan Chereminとのインタビュー

友人、次は「スライドなし」の次号です。番組、ビデオキャスト、ポッドキャストで、興味のある人にインタビューします。 このリリースのゲストは、Javaと並行性の専門家であるRuslan Cheremin、別名chereminでした 。 Javaメモリモデル、技術的なブログ、実験の文化、基礎教育などについて話しました。







いつものように-インタビューのカットオフ転写の下で。

メモリモデルとマルチスレッドバイクが必要な人

-今日は技術について話しています。 ルスラン、3年前にあなたはメモリモデルについて話しました-あなたは、それが何であるか、それがどのように機能し、どのように機能するかを理解している人はほとんどいないと言いました。 特に、彼はあなたがインタビューでこれを見ると言いました。 近年、何か変わったことはありますか？



-変更されました：インタビューをやめました！ そのため、小さなスレッドを失い、直接観察しません。 個人的な印象ではなく、私が読んだものから判断すると、はい、今ではさらに多くの情報がありますが、より多くの理解があるかどうかはわかりません。 むしろ、インタビューの中でそれぞれの記憶モデルについて特定の質問をするようになり、反対側はそれらに対する答えを学びました。 妨害の一部が記憶されているため、これも悪いことではありません。これは実行すべきではありませんが、このように実行する必要があります。 全員のメモリモデルを理解する必要はありません。



-職場で出会った同僚の中に、この知識が必要ですか？



-実際、深いレベルでは、それを必要とする人はほとんどいません。 チーム内に困難な状況であなたを伝えることができる人が1人いる場合、これで十分です。

しかし、彼らはそれが難しいと言います-そしてそれは本当に難しいです。 独自のコンカレントアルゴリズムを作成することは、毎日やることではありません。 原則として、シンプルなケースでどこかでそれを引き上げるデザイナーから準備ができた何かを集めます、これで十分です。



-これらのマルチスレッド設計パターンは「Javaの実際の実行」のようなものですか？



-はい。 これを知っていれば、タスクの99％以上が解決されます。 自分の境界線がどこにあるかを理解することがより重要です。そうすれば、自分でうまくできない半分の割合で踏み込んだときを理解できます。 次に、質問に進みます。



-あなたの国境はどこですか？



-抽象モデルの一種であるメモリモデルに加えて、パフォーマンスがさらに詳細になり、すべてがより深くなります。 抽象メモリモデルでは、だいたいわかりました。 これは、私がすべてを理解しているという意味ではありません。データの競合については大きな部分があり、正式なモデルを完成するため以外に理解する必要があるかどうかは明確ではありません。

そして、別のタスクがあります-わかりました、正しいアルゴリズムを作成しましたが、既製のコンストラクターから組み立てられたプリミティブよりも高速ですか？ これは大きな疑問です。java.util.concurrentを作成する既製のコンストラクターの要素を作成する人は、あなたよりも多くのことを知っているからです。 彼らには、良い決断を下すためのより多くのリソースがあります。



-一方、大企業で高負荷のソリューションを開発している場合、理論的にそれを行う人々よりもパフォーマンスについて多くのことを知っています-実稼働サーバーの束が手元にあり、毎日これに遭遇します。



-それは本当です。 しかし、特定のシナリオに出くわすと、特定のハードウェア、特定のバージョンまたはJavaのバージョンの範囲、特定のソフトウェアがある場合に、自作ソリューションのニッチが得られることがわかります。 もちろん、ここですべてを修正すれば、Doug Leeの配置はそれほど難しくありません。 Doug Leeの天才は、彼が全範囲のプラットフォームと仮想マシンで、全範囲のユースケースで機能する優れたアルゴリズムを作ろうとしているからです。 そして、これはすべて最適の70〜80％で機能します。 これは非常にクールです。これを行うには、多くのことを念頭に置く必要があります。 また、特定のハードウェアを使用している場合は、特定のバージョンのJavaがあり、ベンチマークを作成します-何らかの専門知識が必要ですが、超越的ではありません。



-自分で作ったものを書いたとき、あなたの練習で経験がありましたが、時々より速く動き始めましたか？



-そのような経験がありました。 もう1つは、アルゴリズムを時々加速しても、システムが数倍速く動作することを保証しないということです。 たとえば、特定のものを3回加速すると、5％の増加になりますが、これが非常にうまくいけば、それでも十分です。 時々特定の場所を加速した経験があります-システム全体でそれほど重要ではありません。



「通常、別のボトルネックに移動しますか？」



-はい。 このボトルネックを開いて、それが広くなると、通常、次のことがわかります。



-全体的な生産性の向上はそれほど大きくなく、投資はそれ自体に対価を支払わないことがわかりますか？



-常にではありませんが、原則として、単一の小片の超最適化はほとんど成果を上げません。 おそらくそれが、このことをすべて知っているクールな専門家があまりいない理由です。 これは、コアが増えるにつれてさらに変化し、健全なパフォーマンスを確保するために並行して実行する必要があるアルゴリズムの割合が増えていると思います-これが私のビジョンです。

技術的なブログについて

「5年前に会った。」 当時は、このトピック全体に真剣に関心があり、同時実行により、Runetで最も人気のあるブログの 1つがありました。 今、あなたは再び書いていますが、まだ何か他のものについて少しです-つまり、あなたはパフォーマンスについても話しているが、すでにエスケープ分析について話している。 これで完了しましたか、それともさらに開発しますか？



「自分で理解できません。」 今後の計画はありません。たとえば、エスケープ分析に関する一連の投稿を書いてください。 何か面白いことがあれば、それについて書いています。



-経験を世界と共有したいという欲求はどこで得られましたか？



-何らかの明快さには大きな価値があります。 最初に自分で理解できることをすると、疑問が生じます。これは理解の幻想かもしれません。多くの情報を自分で読み込んだからでしょうか？ 他の人が理解できるような方法でそれを述べることができますか？ 数学のようなものです-証明のアイデアを見つけることができますが、それを有能で正式な証明に形式化する必要があります。 この考えは数学から生まれたと思います-私はブログに書いて、似たようなことをします。

もちろん、他の人のために書いたり、経験を共有したり、自慢したりする動機があります。 しかし、同時に、いわば、アイデアを明確に述べ、理解しやすく、読みやすくするという私たち自身の動機があります。 そのような瞬間に、私はトピックが閉じられていることを理解し、これはある程度の完全性の感覚を与えます。







-並行性の分野に対するあなた自身の理解は、近年変化しましたか？ 急な曲がり角がありましたか、それとも単に「肉」で生い茂っていますか？



-4年前、私は形式モデルが好きでした。これを形式化する方法、この複雑なトピックを形式モデルのフレームワークに絞り込める方法は興味深いものでした。 この間、私は正式なモデルが最も難しいものではないことに気付きました。 正式なモデルはまさにそのような合意です。



物理モデルとは異なり、これははるかに基本的な契約ではありません。 これは、自然と人間の間の契約ではなく、ある人と他の人の間の契約です。 あなたはそうすることに同意し、まさにそれをしようとしています。



したがって、正式なモデルを深く研究することにあまり興味はありません。 事実、彼らの背後にはある種のエンジニアリングプラクティスがあります。プロセッサを作成するエンジニアの決定、プログラミング言語を作成する他のエンジニアの決定、そしてそれらはすべて互いに同意する必要があります。 数学的厳密さは、それらの間の一種の妥協であり、あまり基本的ではありません。



-あなたは競争的利益で何が起こっているかに従っていますか？



-私はフォローしています。 しかし、たとえば、新しいメモリモデルであるJMM 9で何が起こっているかは、私が従うまで続きます-私が理解できることについて彼らが同意するまで待ちます。 私よりもはるかにこのトピックをよく知っている専門家の割合があり、彼らが何について話しているかを理解しようとすると...まあ、私は待っています。



-エスケープ分析について話します。 これを行うためのアイデアをどのようにして得ましたか？



-これはクールなアイデアであり、若者とはほど遠い、5〜7年前に初めて聞いた。 Javaでうまく機能すれば、革命的なものになりそうです。



文句を言う人が多いので、彼らは機会が少ないと言っているので、メモリがどのように、どこで割り当てられ、いつ割り当てられるかは明確ではありません。 ただし、これは実際には十分ではありません。たとえば、今後N番目のオブジェクトが存在することを確実に知る必要があります。 なぜゴミをガベージコレクターに持ち込む必要があるのですか？ そして、彼らが私のためにこれらすべてをできるのは素晴らしいことです。私はリラックスして人生を楽しむことができます。



そして、このアイデアが生まれたとき-サンはそれを持っていると報告していたようです-この問題に関する記事が爆発的に増え、この作業が私のために行われると期待していました。 私は怠け者で、みんなが書いてくれるまで待ったほうがいい。 基本的な記事は少ししかありませんでしたが、印象的なのは、それが撮影されなかったということでした。 私は定期的にこのトピックに戻ろうとしましたが、私はまだ怠け者で、グーグルで誰かがこの仕事をするのを待っていました。



しかし、誰もこの仕事をしませんでした。 そして、それから私は誰かのホットコードを読みました-それがそこにすべてを行ったアーロンコードであったか、ピーターロリクロニクルマップであったかどうか。



そして、明らかに割り当てがないはずの暑い場所にいる人が、タプルのようにメソッドから単純にオブジェクトを直接返すことがわかりました。 つまり、彼は明らかに割り当てがないことを期待しています。 はい、エスケープ分析でこれを削除する必要があることは理解していますが、人々はすでにこれを信頼しているようです。 分析は、単純な状況でも信頼できる段階まで静かに成熟していることがわかります。



これにより、ブレーキを停止して、テイクしてみてください。 ゆっくりとすべてが成長しました。



「簡単に言えば、あなたの仕事の結果は何ですか？」



-シナリオの大部分では、特定の条件下で、これが実際に機能し、非常に確実に機能することがわかりました。 しかし、いくつかの非自明な「しかし」、欠点があります。もしあなたが知らなければ、それがどうあるべきかを推測できません。 それらがどこから来て、どのようにそれらを回避するかを明確にするより明白な「しかし」があります。



-マシンがどこかでEscape Analysisを実行できない場合は、情報が不足しているか、何らかのトレードオフに基づいていることを意味します。 通常、どの情報が十分ではなく、この場所にどのようなトレードオフが通常表示されますか？



-Oracleは現在、Escape Analysisをあまり推進していません。これは、Value ObjectがすでにRoadMapにあるためです。これにより、この問題は部分的に解決されます。 エスケープ分析で使用されるアルゴリズムは変化しましたが、そのボトルネックは2010年と同じままでした-それらを大幅に変更することは、大きなチャンクをカットし、その場所に別のチャンクを挿入することを意味します。 HotSpotが何をするのかわかりません。 Graalには別のアルゴリズムが実装されています。 それらには異なるアプローチがあり、おそらく多くの場合、よりインテリジェントです。



-このことは、JITが正確にどのように機能するかに強く関係していますか？



-はい、もちろん、エスケープ分析はJITにかなりこだわっていますが、彼自身がアルゴリズムを持っています。



-私が理解しているように、IR（コンパイラの内部表現）の観点から、GraalとC2はそれほど違いはありません。 つまり、コンパイラが動作するモデルは非常に似ているようです。 Graalはどのように、またなぜ行われますか？



-私はまだコンパイラ開発者ではありませんが、私の理解では、アルゴリズムを初めて見た瞬間から7年後、あるアルゴリズムから別のアルゴリズムに変更するのはそれほど簡単ではありません。 はい、すでにコード全体に広がっています。

Graalは、おそらく最終的にOpenJDKの特定の数の歴史的なレイヤーを取り除くプロジェクトとして浮上したという考えを持っています。 基本的な基本的な制限はありませんが、実行する必要がある作業量が非常に大きいためです。



「Graalを試しましたか？」



-むしろ、彼らが彼について書いていることを読みながら。

理論と対立して練習する

-あなたはこの物語にどのようになったのか考えましたか？ なぜさまざまなテクノロジーのなかで、自分のしていることをするのですか？ あなたの日々の専門的な活動は、パフォーマンスとその最適化に強く関連していますか？





-私の仕事の約10％はパフォーマンスに関連しています。 それ以外の場合、私はほとんどの上級開発者が行うことを行います-古典をジャグリングする、「ここはクラシック、そこはクラシック」。



-そして、単純な解決策でどの程度の頻度で対処できますか？ そして、座ってパズルをする必要がありますか？



-原則として、パフォーマンスよりもデザインに頭を悩ませる必要があります。 私が取り組んでいるプロジェクトでは、それを深く理解する必要はありません。



-あなたの実践はどのくらいの頻度で理論から逸脱していますか？ あなたが実際に見るものと、しばしばあなたが見ることを期待する現実は違うのですか？





-実践は理論と矛盾しています。 私は何か、私の直感に基づいて期待しています。 たとえば、10〜15年前のアルゴリズムについて読みましたが、理解しました-はい、動作するはずです。 この場合、予想よりもよく機能することがよくわかります。 それでも、エンジニアはパンを食べても無駄ではありません。 他のケースもありますが、統計によると、多くの場合、予想以上にうまく機能します。 OpenJDKコードと比較すると、これは非常に難しいことです。



-特に、どうやら、C2コンパイラ。



-はい。 したがって、そこで結論を出すことは難しく、仮定によってのみ導かれます。

教育について

-あなたは教育で誰ですか？



-私は理論家であり、モスクワ州立大学の物理学科を卒業しました-私はそこでカオス過程に関与していました。



-当時は数学にも関わらず、私は混chaosとした。 あなたが長年に費やしてきた物理学があなたを変えたと思いますか？ あなたの体育はエンジニアとしてあなたに何を与えますか？



-基礎教育が提供する重要なことの1つは、十分な努力をすればすべてを把握できることです。 私はしばしば自分がタスクを見ていることに気づき、それが特別な人々のためのものであると感じますが、私はそれをまったく理解しません。 実際、一定量のエネルギーを費やせば可能です。 しかし、誰かがあなたが読んで、すべてを理解し、満足する簡単な記事を書くのを待つ方が簡単です。



2番目の重要な点は、教育のラインを明確に描くことが難しいということです。 各人には、教育システムを通る独自の経路があり、それぞれ独自の経路をたどっています。 私には物理学科だけでなく、寄宿学校もありました-SUNTs MSU。 そこで私は物理学にも従事していましたが、数理科学にも携わっていました。 そして、世界観の観点から私が誰なのか、私にもっと影響を与えたもの-物理学部または寄宿学校を言うのは難しいです。 結局のところ、私は自分でITを習得しました。独立した学習プロセスは、彼らがあなたを教えるときとは異なります-さらに別の異なる外観があります。



-パフォーマンスと並行性に真剣に取り組み始めてから物理学科を卒業するまでの数年間、あなたは何をしましたか？



-お金を稼いだ。 物理学部でさえ、彼は最初は、負荷ではなく、小規模の通常の企業でプログラミングに従事していました。 その後、彼はしばらくの間教育に従事しました-1Cには教育製品とトレーニングコースを扱う部門があります。 最初に「Living Geometry」という数学的コンストラクターを作成し、次に物理コンストラクターに到達しました。 Mathは5つのバージョンをリリースしており、引き続きリリースしています。 それは興味深い経験でした-プログラミングと教育の一種でしたが、まだ少しの作業でした。 クライアント側のソフトウェア、多くのインターフェイスタスク、および複雑なアルゴリズムとインターフェイスのバランスは、「ボタンを増やしましょう」に移行することがよくあります。



その後、シミュレーションに従事していたYandexがあり、初めてパフォーマンスに細心の注意を払わなければなりませんでした-もちろん、限られた量の鉄でYandexネットワーク全体をシミュレートするタスクがありました。 しかし、これらすべてを1つのサーバーに押し込む必要があったため、常識を超えることなく、そこで多くのことができました。 私はスーパートリックをせず、自分の持っているものとジャグリングしました。 そこから、 ディスラプターはちょうど大きくなって偶然に成長しました-私は何か他のものを探していてそれに出くわしました、そして何らかの理由でそれは私に興味を持ちました。 その後、Vova Dolzhenkoに会いました-彼はこのトピックを中心に展開し、ドイツ銀行で働きました。 だから私はドイツに行きました。

「棒で自然を突く」

-物理学の文化は実験の文化であり、今では人々に欠けています。 人々は、それが何であり、モデルがどのように構築されるか、モデルのいくつかの特性を見つける方法、現実に結論を戻す方法を理解していません。



-それにもかかわらず、自然科学には「自然を棒で突く」方法について明確な見方があり、それは何世紀にもわたって形成されてきたようです。 同じ物理学科の卒業生の多くは、この考えを理解する時間がなかったため、私自身は理論家です。 私は自分の手で働くのが好きではありません。 これには、ファインマンの講義またはそれに類似したものが注入されます。 ITを試す人にとっては、まったく異なる動機です。



自然な科学的動機があります。つまり、杖を自然に突き刺して、何が起こっているのかを理解します。 そして、最初の段階では実際的なタスクはありません。まず、何が起こっているのかを理解し、次にタスクを返し、結果を適用できるかどうかを理解しようとします。 すべてのモデルがすぐに練習に行くわけではありません。



-しかし、特定のケースが飛んでくることがあります。何かが遅くなり、3回分散する必要がありますか？



-はい。ただし、特定のケースが発生した場合に別のアプローチがあり、必要なのはそれを解決することだけです。 それはそうです、私はそれをエンジニアリングと呼ぶことさえあえてせず、むしろクラフトアプローチです。 悪くはありませんが、特定のモデルを取得するか、特定の問題を解決する（または解決しているように見える）という点で異なります。



-つまり、モデルを理解せずに、10種類の方法を試すことができますか？



「はい、そのうちの1つが発砲します。」 突く、そしてショットが素晴らしい場合-彼らはタスクを閉じました。 これは必ずしも悪いことではありません。客観的な指標が問題が解決したことを示している場合、これは良いかもしれません。 企業は、数か月続く科学研究に常に喜んで支払うとは限らず、これは必ずしも必要ではありません。 回収は依然として重要です。



しかし、これらは異なるアプローチであり、どこかがより優れており、どこかがより優れています。 そして、人が適用性の境界を理解していないのは悪いことです。 はい、両方のアプローチを提示し、区別する必要があることは明らかです。 そして、「特定の問題を解決する」アプローチに慣れている人がベンチマークを作成し、そこからいくつかのモデルを引き出し始めると、通常、ゴミが判明します。



「このテーマに関しては、学校全体があります。スカンジナビアでは、そうです。」 そこで、1人の男がクールなことをしました。特定のテストセットを実行し、ベンチマークの結果に基づいてプロセッサーがどのようにモデル化されるかを構築します。 つまり、彼はさまざまな方法でそれらを追いかけようとし、そのために、どのキャッシュがここにあるか-共通かそうでないか、コアの数などについて仮定します。 そして、これは、ベンチマークに基づいて、実際に何が起こっているのかを理解しようとしているアプローチであることがわかりました。



-しかし、このベンチマークのセットを選択した時間と、分類する必要のあるモデルの数を理解する必要があります-彼はまた、選択する特定のモデルのセットを持っています。 これは、盲目的に指を突くのと同じではありません。 これらの仮説から選択できる一連の仮説と一連のベンチマークがあります。



-難しいです。 10年前にIntelプロセッサを搭載し、MESIキャッシュコヒーレンスプロトコルを備えていると言えば、MESIに似たキャッシュコヒーレンスプロトコルがあることしかわかりませんが、仕様に何があるかさえわかりません。 私の意見では、これは機密情報です。 あなたが何かを見つけるのが面倒ではないが、単に情報を与えないときに、そのような世界で生きる方法は？



-もちろん、このような世界に住むことは困難です。 この場合、JVM開発者がIntel開発者に同意し、静かにすべてを伝えるという事実に頼る必要があります。 JVM自体が必要な作業を行います。 ITもこの方向に進みます。私たちは鉄からさらに遠ざかりつつあります。



-抽象化のレベルを共有することです。 その一方で、この全体が難しくなっています。 そしてポイントは、レイヤーの数を増やすことではなく、各レイヤーの複雑さが増すという事実です。 しばらくして、モデルを作成しようとする試みは難しくなるだけでなく、不可能になるのではないかと心配しています。



-はい、おそらくこのようなアプローチでは難しいでしょう。 しかし、なぜそれが必要なのか、それが必要なのかどうかも理解する必要があります。 JVMを作成する人々には、優れたモデルが必要です。



-私は、10の標準的な方法をとって、どうにかして組み合わせようとする人たちの可能性が高いです。



-標準的な方法を組み合わせることができない、またはそれらが組み合わされていないように見える-このエリアに登る理由をよく理解する必要があります。 そして、興味のないところに登ることはできますが、その結果の実際的な価値は疑問です。



関心は通常の動機であり、重要なことです。 したがって、彼の作品への愛が生まれ、それなしでは何も機能しません。 遊びたいなら、それは素晴らしいことです。 しかし、興味のために登った場合は、これを理解する必要があります。 そして、あなたが特定の目的のために登った場合、簡単な方法では結果が得られないと確信している場合、大きな困難に直面する準備をしてください。

自己啓発の時間を見つける方法

「仕事が好きですか？」



-はい。 少なくとも週に数日は彼女を愛しているので、私は幸運だと思います。



-私のサービスの結果として、私はさまざまな人々と多くのコミュニケーションを取り、しばしば文句を言います。「私は記事を書き、報告書や何かを自分のためにしたいのですが、当局は適切に調査する時間を与えません。 深刻な増加を保証することはできないので、彼らは通常、「知っている10の方法を試し、それらを組み合わせて先に進みます。調査する時間がないため、機能を削減する必要があります！」 この問題をどのように解決しますか？



-私はそれについてよく聞きます、彼らは言う、あなたは良い仕事をしていて、あなたはこれをすべて探求する時間があると言います。 実際、これは一種の悪循環です。自分自身のための独学の時間を見つけられない場合、自分を価値あるまたは有能な従業員にして合理的な投資を提供することはできません。



常に何らかのMiddlのレベルにとどまる場合、何か有用なものを掘り下げる可能性は低く、この意味で、雇用主は統計的に正しいです。 彼は正確な結果を得たいと思っていますが、従業員を掘り出すことについて、彼らが結果を出すかどうかは不明です。 もちろん、最初はやがて夕方にやらなければなりませんが、これは普通のことです。 これに興味がない場合は、なぜこの分野で働いているのかはまったくわかりません。



-まあ、あなたは合理的なお金のために地域を選ぶことができます。 , . , . , — .



— , — , . , - , , , . .



, . , , , , , , , . .



— , , — . ?



— , . Deutsche Bank , , , .



— , , — - - ?



-はい。 , , , , . , , .



— IT-, ? , , ?



— , , . : , IT .



— . — ?



— , .



— , ?



— , , .



— , , ?



— , , . , — , - , . , , , . , , .



— , , , . , , , - , : . . ?



— JMM , , , , .



— .



— , , , : «, oncurrency-interest , !» feedback loop . , - , , - .



— ?



— , Martin Thompson . , — . : «. ?» — , , . , .



— . , — , .



— . — , .



— , . 10 , — , , , . , .



— , , — , . , .



— , ?



Nitsan Wakart , . , .



— , .



— — . , , « , ».

---

便利なリンク

• Disruptor
• Java Memory Model