🤵🏾 🤛🏾 🧕🏽 GitHub上のリポジトリのテーマモデリング 👨🏼‍💻 ↩️ 🈲

テーマモデリングは、一連の「ドキュメント」から抽象的な「トピック」を抽出することに特化した機械学習のサブセクションです。各「ドキュメント」は、一連の単語、つまり多くの単語とその頻度。テーマモデリングの概要は、教授によって完全に説明されています。 K.V. VorontsovのShADの講義[ PDF ]。最も有名なTMモデルは、もちろんLatent Dirichlet Placement （LDA）です。 Konstantin Vyacheslavovichは、加法正則化（ARTM）の形式の単語の袋に基づいて、可能なすべての主題モデルを要約することに成功しました。特に、LDAは多くのARTMモデルにも含まれています。 ARTMのアイデアはBigARTMプロジェクトに組み込まれています。

通常、テーマ別モデリングはテキストドキュメントに適用されます。ソース{d} （スペインの新興企業）は、GitHubリポジトリから取得した大きな日付を消化しています（そして、世界中で公開されているすべてのリポジトリを引き継ぐ予定です）。当然、各リポジトリを単語の袋として解釈し、BigARTMを扇動するというアイデアが生まれました。この記事では、オープンソースプロジェクトの最大のリポジトリについて、世界で最初のケーススタディをどのように実施したか、その起源、およびその再現方法について説明します。 中のドッカー！

TL; DR：

docker run srcd/github_topics apache/spark

（必要に応じて、 apache/spark

をGitHub担当者に置き換えてください）。

» 抽出されたトピックを含むOpenDocumentテーブル。

» 抽出されたトピックを含むJSON。

" 訓練されたモデル -40MB、Python 3.4 +、Pandas 1.18+用のgzip圧縮ピクル。

» data.worldのデータセット。

理論

一連の文書の主題確率モデル $\インラインD$ 単語の出現頻度を説明します $\インラインw$ 文書内 $\インラインd$ トピックで $\インラインt$ ：

$p（w | d）= \ sum_ {t \ in T} p（w | t）p（t | d）$

どこで $\インラインp（w | t）$ -単語の関係確率 $\インラインw$ トピックへ $\インラインt$ 、 $\インラインp（t | d）$ -トピックの関係の確率 $\インラインt$ 文書へ $\インラインd$ だから上記の式は、確率変数の独立性の仮説が真であるという条件で、単純に合計確率の表現です。 $\インラインp（w | d、t）= p（w | t）$ 。単語は辞書から取られます $\インラインW$ トピックは多くに属します $\インラインT$ これは単なる一連のインデックスです $\インライン[1、2、\ドットn_t]$ 。

復元する必要があります $\インラインp（w | t）$ そして $\インラインp（t | d）$ 指定されたドキュメントのセットから $\インライン\左\ {D \ in D：d = \左\ {w_1 \ドットw_ {n_d} \右\} \右\}$ 。一般的に信じられています $\インライン\ハット{p}（w | d）= \ frac {n_ {dw}} {n_d}$ どこで $\インラインn_ {dw}$ -エントリ数 $\インラインw$ 文書に $\インラインd$ ただし、これは、すべての単語が同様に重要であることを意味しますが、これは常に正しいとは限りません。ここでの「重要性」とは、文書内の単語の一般的な出現頻度と負の相関関係がある測定値を意味します。回復可能な確率を示す $\インライン\ハット{p}（w | t）= \ phi_ {wt}$ そして $\インライン\ hat {p}（t | d）= \ theta_ {td}$ 。 T.O. 私たちのタスクは、確率論的な行列分解に還元されます。

$\ frac {n_ {dw}} {n_d}≈\ Phi \ cdot \ Theta =（\ Phi S）（S ^ {-1} \ Theta）= \ Phi '\ cdot \ Theta'$

機械学習タスクでは、通常、未知のデータのモデルの特性を改善する方法として正則化が使用されます（結果として、再トレーニング、複雑さなどが軽減されます）。私たちの場合、それは単に必要です。

上記のようなタスクは、最尤法を使用して解決されます。

$\ sum_ {d \ in D} \ sum_ {w \ in d} n_ {dw} \ ln \ sum_ {t} \ phi_ {wt} \ theta_ {td} \ to \ max _ {\ Phi、\ Theta}$

条件の下で

$\ phi_ {wt}＆gt; 0; \ sum_ {w \ in W} \ phi_ {wt} = 1; \ theta_ {td}＆gt; 0; \ sum_ {t \ in T} \ theta_ {td} = 1$

ARTMの本質は、追加の用語として正規化を自然に追加することです。

$\ sum_ {d \ in D} \ sum_ {w \ in d} n_ {dw} \ ln \ sum_ {t} \ phi_ {wt} \ theta_ {td} + R（\ Phi、\ Theta）\ to \ max_ {\ Phi、\ Theta}$

これは単純な追加であるため、マトリックスを間引いてトピックの独立性を高めるなど、1つの最適化で異なるレギュラーを組み合わせることができます。 LDAは、ARTMの用語で次のように定式化されています。

$R（\ Phi、\ Theta）_ {Dirichlet} = \ sum_ {t、w}（\ beta_w-1）\ ln \ phi_ {wt} + \ sum_ {d、t}（\ alpha_t-1）\ ln \ theta_ {t、d}$

変数 $\インライン\ Phi$ そして $\インライン\シータ$ 反復EMアルゴリズムを使用して効率的に計算できます。 BigARTMの一部として、数十の既製のARTMレギュラーが戦闘の準備ができています。

これで、ShAD講義の強制書き換えが終了し、開始します

練習する

2016年10月には、GitHubの約1800万のリポジトリが分析に利用できました。実際にはもっとたくさんあります。フォークと「ハードフォーク」をドロップしました（フォークはGitHubによってマークされていません）。これを各リポジトリに入れます $d$ 、ソースの各名前は $w$ 。ソース分析は、初期の実験でのソースコードのディープトレーニングと同じツールを使用して行われました（最新のRE・WORKカンファレンス：ベルリンとロンドンからのプレゼンテーションを参照）： github /言語学者による初期分類とPygmentsに基づく解析。 README.mdなどの汎用テキストファイルは削除されました。

ソースからの名前は「額」として抽出されるべきではありません。たとえば、 class FooBarBaz

はバッグに3語を追加します： foo

、 bar

およびbaz

、およびint wdSize

は2を追加します： wdsize

とsize

さらに、NLTK Snowballによって名前がスタンプされましたが、この利点については特に調査しませんでした。前処理の最後の段階は、 TF-IDF計量の対数バージョンを計算することです（ここでも、通常のNLPからソリューションをコピーしただけで、特に調査しませんでした）。

ARTMが結果を返した後、キーワードとリポジトリ担当者に基づいてトピックに手動で名前を付ける必要がありました。トピックの数は200に設定されましたが、後で判明したように、さらに多くのトピックを追加する必要がありました。 Githubには多くのトピックがあります。面倒な作業には1週間かかりました。

前処理は、Google CloudのDataproc別名Sparkで実行され、主要なアクションは強力なコンピューターでローカルに実行されました。結果のスパースマトリックスのサイズは約20 GBであり、BigARTM CLIがダイジェストできるようにVowpal Wabbitテキスト形式に変換する必要がありました。データは数時間で非常に迅速に粉砕されました。

 bigartm -c dataset_vowpal_wabbit.txt -t 200 -p 10 --threads 10 --write-model-readable bigartm.txt --regularizer "0.05 SparsePhi" "0.05 SparseTheta" Parsing text collection... OK. Gathering dictionary from batches... OK. Initializing random model from dictionary... OK. Number of tokens in the model: 604989 ================= Processing started. Perplexity = 586350 SparsityPhi = 0.00214434 SparsityTheta = 0.422496 ================= Iteration 1 took 00:11:57.116 Perplexity = 107901 SparsityPhi = 0.00613982 SparsityTheta = 0.552418 ================= Iteration 2 took 00:12:03.001 Perplexity = 60701.5 SparsityPhi = 0.102947 SparsityTheta = 0.768934 ================= Iteration 3 took 00:11:55.172 Perplexity = 20993.5 SparsityPhi = 0.458439 SparsityTheta = 0.902972 ================= Iteration 4 took 00:11:56.804 ...

-p

は、反復回数を設定します。どのレギュラーを使用するかについての確実性はなかったため、スパース性のみがアクティブ化されました。詳細なドキュメントの欠如が現れました（開発者はそれを修正すると約束しました）。ピーク時に動作するために必要なRAMの量は30 GBを超えないことに注意することが重要です。これは、 gensimの背景と、神が許してくれたsklearnに対して非常にクールです。

テーマ

その結果、200のトピックを次のグループに分類できます。

概念は、一般的で広く、抽象的なものです。
人間の言語 -コードがプログラマの母国語をほぼ決定できることが判明しました。これはおそらく、ステミングからのオフセットが原因です。
プログラミング言語はそれほど面白くないこの情報はすでに知っています。 YPには通常、ソースにインポート/インクルードされるクラスと関数の標準的な「バッテリー」ライブラリがあり、対応する名前はテーマモデリングによって検出されます。一部のトピックはYaPよりも狭かった。
一般的なIT-表現力豊かなキーワードのリストがある場合、 コンセプトに分類されます。リポジトリは、たとえばRailsなど、一意の名前のセットに関連付けられることがよくあります。ActiveObjectやその他のActiveを念頭に置いてください。プログラミング哲学2-神話と言語を部分的に反映しています。
コミュニティー -特定の、潜在的に狭いテクノロジーまたは製品専用。
ゲーム
でたらめ -2つのトピックは、合理的な説明を見つけることができませんでした。

コンセプト

おそらく、日常生活の多くの事実を持つ最も興味深いグループ：

ピザにはチーズが含まれており、多くのリポジトリでも言及されています。
数学、線形代数、暗号、機械学習、デジタル信号処理、遺伝子工学、素粒子物理学の用語。
曜日。月曜日、火曜日など
RPGやその他のファンタジーゲームのあらゆる種類の事実とキャラクター。
IRCにはエイリアスがあります。
多くのデザインパターン（JavaとPHPに感謝します）。
色。いくつかのエキゾチックなものを含みます（ CSSは彼らに感謝します）。
電子メールにはCC、BCCがあり、SMTPを介して送信され、POP / IMAPで受信されます。
良い日時ピッカーを作成する方法。これはGitHubでの非常に典型的なプロジェクトのようです。
人々はお金のために働いて、家を買うことと運転することにそれを使います（明らかに、家から仕事へ、そして戻って）。
あらゆる種類のハードウェア。
HTTP、SSL、インターネット、Bluetooth、およびWiFiという用語の包括的なリスト。
メモリ管理について学びたいことすべて。
グーグルに何を、私はAndroidに基づいて私のファームウェアを作りたいです。
バーコード膨大な数の異なる種。
人。彼らは男性と女性に分けられ、生きてセックスをしています。
テキストエディタの素晴らしいリスト。
天気。多くの典型的な言葉。
オープンライセンス。一般的に、彼らは別のトピックに分類されるべきではありませんでしたライセンスの名前とテキストは理論上交差しません。 Pygmentsの経験から、一部のPLは他のPLよりもはるかに劣悪にサポートされており、明らかに一部は誤って解析されました。
コマース Uストアは割引を提供し、商品を顧客に販売します。
ビットコインとブロックチェーン。

人間の舌

トピックのリストには、スペイン語、ポルトガル語、フランス語、中国語が含まれます。ロシア語は、少数のロシア語リポジトリではなく、すぐに英語で書くGitHubプログラマーのより高いレベルを証明する別個のトピックを形成していません。この意味で、中国のリポジトリは殺している。

プログラミング言語

YPで興味深い発見は、英語が母国語ではない人々によって書かれたPHPプロジェクトに関連するトピック「非ネイティブ英語PHP」です。どうやら、これら2つのプログラマグループは根本的に異なるコードを記述しています。さらに、Javaに関連する2つのトピック、JNIとバイトコードがあります。

一般的なIT

ここではあまり面白くない。 OSカーネルには多くのリポジトリがあります-大きくてうるさく、私たちの努力にもかかわらず、いくつかのトピックを台無しにしました。ただし、言及する価値があるもの：

ドローンに関する多くの情報。 Linuxで動作します。
多くのRuby実装があります。多くの場合、人々が他の誰かのコードベースを使用して、変更の履歴を失うことなくコミットする場合、「極端なフォーク」が存在します。
onmouseup、onmousedown、onmousemoveは、UIが立つ3つの巨人です。
Javascriptの世界からの膨大な数の流行語と技術。
オンライン学習のためのプラットフォーム。特にMoodle 。たくさんのMoodle。
これまでに作成されたすべてのオープンソースCMS。
Coursera機械学習テーマは、Coursera機械学習コースの宿題リポジトリの優れたリストを提供します。

コミュニティ

最大のトピックグループ、ほぼ100。多くのリポジトリは、テキストエディタ、特にVimとEmacs用のプライベートクラウドベースの構成リポジトリであることが判明しました。なぜなら Vimには1つのトピックしかありませんが、Emacsには2つのトピックがありますが、これでどのエディターが優れているかという議論が終わればいいのですが。

Python、Ruby、PHP、Java、Javascriptなどで書かれたすべての有名なWebエンジンのサイトに出会いました。 PHPサイトは、何らかの理由で（各トピックについて）Wordpress、Joomla、Yii、VTiger、Drupal、Zend、Cake、およびSymphonyエンジンを使用します。 Python：Django、Flask、Google AppEngine。 Ruby：Railsと唯一のRails。リール。 Javaサイトは1つの混合テーマに崩壊しました。そしてもちろん、Node.js上のサイト用の場所もありました。

多くのプロジェクトがTesseract-オープンOCRエンジンを使用していることが判明しました。さらに、多くはCaffeを使用します（Tensorflowは使用しません）。

Quake 3 / idTech 3はゲーム開発で非常に人気があり、別のトピックに値します。 Unity3Dには2つあり、最初の1つは多数の学生プロジェクトとホームクラフトです。

Cocos2Dも人気があり、2つのスレッドがあります。最後に、OpenGL + WebGLに関する3つのトピックがありました。 APIの操作方法と使用しているバインディング（GLUTなど）におそらく違いがあります。

構成管理ツールであるChefが料理（レシピ、キッチンなど）とテーマを共有していても驚くことではありません。ただし、WinAPIは、ポケモンリポジトリと同じトピックで予期せず終了しました。ステミングにより、特徴的なWinAPI名がポケモンの名前のように見えるという仮定があります...

ゲーム

多くのトピックは、 SDLだけでなく、MinecraftおよびRPGにも関連しています。

何をダウンロードできますか

誰でもGitHubを使用して任意のリポジトリでトレーニング済みモデルを実行できるように、Dockerイメージを準備しました。あなただけを実行する必要があります

 docker run srcd/github_topics apache/spark

トップ5が表示されます。画像内には、トピックと単語のシリアル化されたマトリックスが縫い付けられており、個別に利用できます： link 。形式は、長さ2のタプルを含む4番目のバージョンのピクルで、最初の要素はPandas 1.8+ SparseDataFrameで、2番目はIDFのリストです。さらに、トピックを抽出したOpenDocumentおよびJSON テーブルがあります。

結論

すでに上で述べたように、200のトピックは少なすぎ、多くのトピックは二重、三重、または弱く表現されています。「フィニッシュラインで」分析を実行する場合、500または1000を設定する必要がありますが、トピックの手動ラベル付けを忘れる必要があります。トピックにいない場合、無限の数のPHPトピックを理解するのは困難です:)。私は長年、Habréの記事を読むのに間違いなく重宝しましたが、それでも不快感を覚えました。しかし、それでも面白いことがわかりました。私の意見では、ARTMの顕著な成果は、ソースの名前から人、自然、科学、さらにはデザインパターンに関するトピックを抽出することです。

計画には、readmeファイルと場合によっては他のテキストソースをモデルに追加することが含まれます。おそらく彼らはコンセプトグループを強化するでしょう。

PS

古典的な機械学習の解釈でソースコードをマイニングする（ASTメトリックスとプロダクションを収集した単なる大失敗ではない）ことは新しいことであり、今のところあまり人気がなく、科学的な記事はほとんどありません。将来、プログラマーの一部をディープニューラルネットワークに置き換え、自然言語のビジネスタスクの記述をコードに変換する方法を大まかに想像します。それは素晴らしいように聞こえますが、テクノロジーは実際に熟しており、成功すれば、工業化よりも突然革命が起こります。人々は非常に不足しています！私たちは高いです！

この問題の主な問題は、データへのアクセスです。 GitHub APIは、登録ユーザーからのリクエストの数を1時間あたり5000の数に制限しますが、18kkを取得したい場合はもちろん十分ではありません。 GHTorrentプロジェクトがありますが、これは私たちが収集したデータの薄い影にすぎません。超効率的なクローン作成のためにGo-Gitを使用する特別なGoパイプラインを作成する必要がありました。私たちの知る限り、GitHub、 SourceGraph、およびsource {d}の3社がGitHubの完全なレプリカを持っています。

GitHub上のリポジトリのテーマモデリング

理論