ロシアの大規模なオープンソースプロジェクトにコミッターがそれほど少ないのはなぜですか

私の短いキャリアを通じて、Lucene、Solr、Hadoop（map-reduce and yarn）、Spark、Zeppelin、IPythonなどの大規模なオープンソースフレームワークでの作業を楽しんでいます。 プロプライエタリな製品を開発するか、オープンソースに基づいたものを開発するかを選択するとき、私は常に次の理由でオープンソースを選択します。



ジェダイ開発 。 ジェダイは主に、宇宙の運命を独力で変えることができる人です（「人はフィールドの戦士ではない」という原則に該当しません）。 また、一部のオープンソースフレームワークでは、既成のソリューションを簡単に展開することで、複雑な技術的問題を解決できます。 理論的には、 map-reduce 、分散ファイルシステム、さらにはスーパーテーブルリアルタイムデータベースを作成できます 。 しかし、それには多くの時間がかかり、既存のソリューションよりも品質が低下します。



ただし、渓谷以外でSparkを書くことはできません。非常に複雑なシステムであり、非常に多くの優秀な開発者が必要です。 しかし、ビッグデータ組織のスタック全体を2日間持ち上げることができるのであれば、なぜこれをすべて書いてください。 テラバイトのログ？ カサンドラ+スパーク+ ツェッペリン 。 既製のドッカーコンテナから 、経験豊富な人が1日ですべてを届けることができます。







-Apache Sparkは3か月ごとに主要な機能とともに リリースされ ます 。 これは、安定性の根本的な向上、新しいツール（SparkSQl、Dataframe、GraphX）の登場、実装アルゴリズムの数の増加（MLLibの勾配ブースティング）です。 Solr は数年で断片化することを学んだため、ビッグデータを操作します。 HadoopはYarnで生まれ変わりました。 これらのフレームワークは、私の努力を適用することなく、新しい便利な機能を獲得します。 そのため、自分に設定されたタスクをより効果的に解決できます。 プロプライエタリな製品では、私がそれをより簡単にするために多額の投資をして初めて人生が楽になります。



良いドキュメント 。 ドキュメントの質が低いトップレベルのApacheプロジェクトはほとんどありません。 Apacheインキュベーターでは、不適切なドキュメントがより頻繁に見られます。 しかし、この場合でも-プロジェクトのオープン性のために、StackOverflowでの研究の痕跡を残すユーザーがいます。 専有プロジェクトでは通常、最初のステップであるという事実-コードの作成者に直接対処することは、オープンソースで最も極端なステップです。 Sparkとの最も近い連絡先である2年間、devメーリングリストに書き込む必要があったのは2回だけでした。



既存のコミュニティ 。 オープンソースでは、私は常に肩の感覚があり、ある種のサークルに属しているので、常に正しい質問をするのに役立ちます。 世界中に素晴らしい同僚がいると感じています。 また、会社を変更してもフレームワークは変更しなくても、それらは残ります。



自分のために働く。 オープンソースを使用することで、オープンソースの専門知識を増やし、給与および専門職の計画で急速に成長します。 実際、転職が必要な場合は、市場に5つのオフィスがあります。それらの技術スタックはすでに知っており、初日から役に立つことができます。 独自のスタックから別のスタックに移行するために、6か月間コンテキストを入力する必要はありません。 また、企業にとっても簡単です。トレーニングをほとんど必要としない従業員を雇うことができます。



これはすべて、ロシアの従業員と雇用主にとってプラスです。 そして、これらの利点を活用するために、コミッターである必要はありません。 貢献者になるのに十分。 知らない人のために、それらの違いを簡単に説明します。 貢献者とは、プロジェクトのパッチを提案し、コミッターをウィザードに入れた人です。 コミッターは、定期的にパッチをコミットしてマスターにマージする権利（および義務）を持っている人です。



したがって、貢献者はロシアの現実の理想的な従業員です。 彼は、プロジェクトをどこで改善できるかを理解するのに十分に使用した場合、プロジェクトをよく知っています。 彼はそれを改善することができました。 彼は並べ替えからプロジェクトを構築し、並べ替えを編集できます。つまり、いつでもコードにアクセスし、必要に応じてカスタマイズできます。



貢献者であることは素晴らしいことです。Spark認定に300ドル合格する必要はありません。誰もこのフレームワークの能力に疑問を抱くことはありません。



コミッターにはプロジェクトの専門知識はありますが、もっと重要なのはより大きな力です。







彼は雇用主にとって有益なパッチをプロジェクトに「ドラッグ」できます。 それが有益でない場合、彼はパッチを禁止できます。 彼はプロジェクトの開発を決定できます。 しかし、電力は無料ではありません。 彼は本当に、権限の形成と維持に取り組むべきです-無限の、役に立たないパッチを読んで、建築のGoogleドックを書いて、質問に答えてください。 あなたの自由な時間にこれを行うことはほとんど非現実的です-それは大きな仕事です。 したがって、コミッショナーは雇用主の費用でこれを行います。 雇用主はどうですか？ Sparkのコミッターのリストを見てみましょう。

アーロン・ダビッドソン	データブリック
アンドリュー・オア	データブリック
アンドリュー・シア	アリババ
アンディ・コンウィンスキー	データブリック
アンクルデイブ	UCバークレー
チャールズ・リース	UCバークレー
チェンリアン	データブリック
デイヴィス・リュー	データブリック
李yuan源	UCバークレー
イムラン・ラシッド	クラウデラ
ジェイソン・ダイ	Intel
ジョセフ・ブラッドリー	データブリック
ジョセフ・ゴンザレス	UCバークレー
ジョシュ・ローゼン	データブリック
ケイ・ウスターハウト	UCバークレー
マーク・ハムストラ	クリアストーリーデータ
マテイ・ザハリア	Databricks、MIT
マイケル・アームブラスト	データブリック
モシャラフ・チョウドリー	UCバークレー
ムリドゥル・ムラリダラム	Yahoo!
ニック・ペントリート	Mxit
パトリック・ウェンデル	データブリック
プラシャント・シャルマ	イマジネア、プラマティ、データブリック
ラム・スリハルシャ	Hortonworks
レイノルド・シン	データブリック
ロバート・エヴァンス	Yahoo!
ライアン・ルコンプテ	Quantifind
サンディ・リザ	クラウデラ
ショーン・マクナマラ	Webtrends
ショーン・オーウェン	クラウデラ
シェーン・ファン	シンガポール国立大学
シバラム・ベンカタラマン	UCバークレー
スティーブン・ハーバーマン	ビゾ
タタガタ・ダス	データブリック
トーマス・ダジアク	グルーポン
トーマス墓	Yahoo!
翔gr	データブリック
陰	データブリック

SparkはUC Berkleyで発生したため、Berkleyをすべて差し引きます。 Sparkの創設者が設立したDatabricksは、Databricks Cloudで収益を上げています。これはSparkの分析ツールです。 実際、Sparkは主な製品であるため、投資する必要があります。 Yahooは常にオープンソリューション上にインフラストラクチャを構築してきました。最初はHadoopでしたが、現在はSparkです。 この種の企業には、次の理由でコミッショナーが必要です。

• 少なくとも数千万ドルがこのフレームワークのインフラストラクチャに投資されています（ Yahooの何千台もの車のクラスター ）。 この種の投資の制御はあまり起こりません。 後方互換性のない変更または会社のビジョンに合わないアーキテクチャの決定により、新しいバージョンへの切り替えを許可しない設計の変更は許可されません。
• 大企業では、通常、オープンソースでローカルパッチを実行して、特定の条件または要件に合わせて機能させる必要があります。 これらのパッチが大きく深刻な場合、新しいバージョンにアップグレードするときに問題が発生します。 そのため、このようなパッチをアップストリームにパッチしてみてください。 これに興味のあるコミッターなしで大きなパッチを大きなプロジェクトにドラッグすることはほとんど不可能です。
• 会社は優先順位を認識しており、コミッショナーはこれらの優先順位をコミュニティに翻訳しようとしています。

確かなことはわかりませんが、Alibabaのインフラストラクチャへの投資はYahooに劣らないと思います。 グルーポンは小さいですが、それでもです。 ClearDataでは、Sparkがメインエンジンです。



Intelは、SparkがIntelと十分に互換性があることを確認する必要があります。 Cloudera、Hortonworks-はHadoup（およびSpark）のベンダーです。 彼らは自分の興味だけでなく、顧客の興味も放送すべきです。 ビッグデータとITが主要なビジネスである企業は、コミッターにずっと興味を持っています。 MapR、SAP、Oracle、IBMは現在、Sparkコミッターを積極的に探しています（すべての人が名前で知っている30人だけを積極的に検索する方法はわかりませんが）。 そして、彼らは良いお金を払っても構わないと思っています。 谷でスパークのコミッショナーになるには、すでに高い場合は、給与を2倍にすることが保証されています。



ロシアにはコミッターに大金を払うことをいとわない企業はありません。 ITインテグレーターは、売上高だけでなく、業界の発展を決定する野心という点でも、IBMとSAPの範囲を持ちません。 彼らは谷に出現する傾向に従っています。 コミッターは単に彼らに利益をもたらすことができません。



しかし、ロシアの食品会社は小規模であるか、独自の技術スタックに座っています。 Yandexは、すべての開発が社内で行われるGoogleのモデルで開発しようとしています。 私が理解しているように、このポジションは、企業が経験豊富な専門家を大量に作成できる場合、内部での開発はどのオープンソースよりも迅速かつ効果的であるという考えに基づいています。 VKontakteはインフラストラクチャの詳細に精通していませんが、独自仕様でもあります。 クラスメートは間違いなくSparkを使用しています。なぜ彼らがコミュニティに表示されないのか、私には言えません。



したがって、コミッターである私は、単純な貢献者の中で、ロシアでお金や機会のために勝つことは非常に難しいと思います。



ロシアにはコミッターを維持したい企業が存在しないので（これは有益でしょう）、コミッターの数が少ないという主な問題を考えます。