LLVMソースガイド

昨秋の詳細なコンパイラコースでは、LLVMソースツリーの調査に時間を費やしました。 100万行のC ++コードは恐ろしいように見えますが、これは興味深い演習であり、少なくとも一部の学生はこれに同意し、私はそのようなものを書きたいと思いました。 LLVM 3.9を使用しますが、以前の（おそらく将来の）リリースもそれほど変わりません。





LLVMの理論的基礎にあまり時間をかけたくありませんが、知っておくべきことがいくつかあります。



LLVMカーネルには、フロントエンドは含まれず、ミッドランドオプティマイザー、いくつかのバックエンド、ドキュメント、および多数のサポートコードのみが含まれます。 Clangなどのフロントエンドは、個別のプロジェクトに住んでいます。



LLVMカーネル内のコードの中間表現はRAMにあり、大規模なC ++ APIを使用して操作できます。 この表現は、読み取り可能なテキストとして保存し、メモリに解析して戻すことができますが、デバッグの都合上のみです。LLVMを使用した通常のコンパイルでは、テキストIRは生成されません。 通常、フロントエンドはLLVM API呼び出しを使用してIRを構築し、いくつかの最適化パスを開始してから、アセンブラーまたはマシンコードを生成するバックエンドを呼び出します。 LLVMコードをディスクに書き込むと（Clangを使用したCおよびC ++プロジェクトの通常のコンパイル中には発生しません）、コンパクトなバイナリ表現である「ビットコード」として保存されます。



LLVM APIの主要なドキュメントはdoxygenで生成され、 こちらにあります 。 この情報は、何をする必要があり、何を探す必要があるかが正確にわからなくなった場合、使用するのが困難です。 以下で参照されるガイドは、LLVM APIを学習するための出発点です。



コードを見てみましょう。 ルートディレクトリには以下が含まれます。



バインディング -「バインディング」。C++以外の言語からLLVM APIを使用できます。 C言語（これについては以下で説明します）とHaskell（このツリーにはありません）を使用した他の接続詞もあります。



cmake -LLVMはautoconfではなくCMakeを使用します。 あなたのためにこれをしてくれた人々に感謝します。



docs -ReStructuredText形式のドキュメント。 各LLVM命令の意味を定義する言語ガイドの例を参照してください（GitHubは.rstファイルをデフォルトのHTMLとして表示します。「生の」ファイルはこちらで確認できます ）。 マニュアルのあるサブディレクトリの資料は特に興味深いですが、そこを見てはいけません。 こちらに行く方が良いでしょう。 これはLLVMを学ぶ最良の方法です！



例 ：これらは、マニュアルに添付されているソースコードです。 LLVMハッカーは、CMakeLists.txtなどからコードを入手する必要があります。 ここからは可能です。



include ：最初のサブディレクトリllvm-cには、C言語のバンドルが含まれていますが、これは使用しませんでしたが、かなり合理的に見えます。 重要なことは、LLVM開発者がこれらのバンドルを安定させようとする一方で、C ++ APIはリリースごとに変更されることですが、変更の速度は過去数年で低下しているようです。



2番目のサブディレクトリllvmは大きく、LLVM APIを定義する878個のヘッダーファイルが含まれています。 一般に、これらのファイルのdoxygenバージョンは、直接読み取るよりも簡単に使用できますが、関数を探すためにこれらのファイルを取得する必要があることがよくあります。



libには本当に便利なものが含まれています。以下でそれらを個別に検討します。



プロジェクトにはデフォルトでは何も含まれていませんが、コンパイラーrt（サニタイザーなどのランタイムライブラリ）、OpenMPサポート、他のリポジトリにあるLLVM C ++ライブラリなどのLLVMコンポーネントがここにコピーされます。



リソース ：あなたも私も必要としないVisual C ++用の何か（詳細はこちら ）



ランタイム：去年の夏（ 2016.約transl。 ）にのみ追加された外部プロジェクト用の別のプレースホルダーであり、それが何のためにあるのか本当にわかりません。



test ::数千のLLVMユニットテストを含む大きなディレクトリ。チェック対象を収集すると実行されます（ make check-all、約transl。 ）。 これらのほとんどは、テキスト形式のLLVM IRを含む.llファイルです。 たとえば、最適化パスが期待される結果につながるなど、さまざまなことをテストします。 LLVMテストについては、今後の記事で詳しく説明します。



ツール： LLVM自体、ライブラリの単なるコレクションであり、専用のメイン機能はありません。 toolsディレクトリのほとんどのサブディレクトリには、LLVMライブラリにリンクする実行可能ツールが含まれています。 たとえば、llvm-disは、ビットコードをテキストアセンブラー形式に変換する逆アセンブラーです。



unittests：チェックターゲットを構築するときに、さらに多くのユニットテストが実行されます。 これらは、 Google Testフレームワークを使用してAPIを直接呼び出すC ++ファイルです。これは、LLVM機能を直接ではなく、アセンブラー、逆アセンブラー、またはオプティマイザーを実行する「tests」ディレクトリのテストとは対照的です。



utils： LLVMコーディングスタイルに準拠するemacsおよびvim mod、誤検知を抑制するValgrindファイル、ユニットテストをサポートするlitおよびFileCheckツールなど。 おそらくそれらのほとんどは必要ありません。



OK、これまではすべてが非常に簡単でした。 ほぼすべての重要な情報が含まれるlibディレクトリをスキップしました。 サブディレクトリを見てみましょう。



分析ディレクトリには、エイリアスやグローバル値の分析など、多くの静的アナライザーが含まれています。 一部のアナライザーはLLVMパス構造を持ち、パスマネージャーで実行する必要があります。他のアナライザーはライブラリーであり、直接呼び出すことができます。 アナライザーファミリーの奇妙なメンバーはInstructionSimplify.cppです。これは実際には変換であり、分析ではありません。 多くの人は、この文章がここで何をするのかを説明するコメントに気付かないでしょう。





AsmParser ：テキストIRをメモリに解析します。



ビットコード ：IRをコンパクト形式にシリアル化し、コンパクト形式からRAMに読み取ります。



CodeGen： LLVMデバイスに依存しないコードジェネレーター、LLVMバックエンドを記述するためのフレームワーク、およびこれらのバックエンドが使用できるライブラリのセット。 多くのコード（> 100 KLOC）がありますが、残念ながら、私はそれについてほとんど知りません。



DebugInfoは、LLVM命令とソースコードの場所間のマッピングをサポートするためのライブラリです。 2014 LLVM Developers 'Meetingのこれらのスライドに関する多くの良い情報。



ExecutionEngine： LLVMは通常マシンコードまたはアセンブラーに変換されますが、インタープリターによって実行できます。 非JITインタープリターは、最後に使用しようとしたときに正常に機能しませんでしたが、いずれにしても、JITよりも実行速度が遅くなります。 最新のJIT API Orcはこちらです。



Fuzzer：これは、 AFL （ fuzzing ）に似たlibFuzzerです。 LLVM機能を使用して、LLVMでコンパイルされたプログラムをファジングします。



IR ： IRに関連するさまざまなコード。 テキスト形式でIRコードを出力するためのコード、以前のバージョンのLLVMで作成されたビットコードファイルをアップグレードするため、IRノードを作成するプロセスで定数を折り畳むためなど



IRReader 、 LibDriver 、 LineEditor ：ここにあるものにはほとんど誰も関心がなく、有用なコードがまったく存在しない可能性があります。



リンカー： LLVMモジュールには、CおよびC ++コンパイルユニットと同様に、関数と変数が含まれています。 リンカーは、複数のモジュールを1つの大きなモジュールに結合します。



LTO：多くの投稿や科学記事の主題であるレイアウト時間の最適化により、オプティマイザーは個々のコンパイル済みモジュールの外側を見ることができます。 LLVMは「無料」でレイアウトの最適化を行います。リンカーを使用して大きなモジュールを作成し、通常の最適化パスで最適化します。 これは良いアプローチですが、非常に大規模なプロジェクトには対応できません。 最新のアプローチはThinLTOです 。これにより、わずかな価格でほとんどのメリットを得ることができます。



MC：通常、コンパイラはアセンブラコードを生成し、アセンブラがマシンコードを作成できるようにします。 LLVM MCサブシステムは中間リンクを排除し、マシンコードを直接生成できるようにします。 これによりコンパイルが高速化され、LLVMをJITコンパイラとして使用する場合に特に役立ちます。



オブジェクト ：ELFなどのオブジェクトファイル形式の詳細の実装。



ObjectYAML - YAMLのオブジェクトファイルのエンコードをサポートします。 なぜこれが必要なのかわかりません。



オプション： -コマンドラインの解析。



パス：依存関係を考慮して、LLVMパスの開始を制御するパッセージマネージャーの一部。



ProfileData： -プロファイリングベースの最適化をサポートするために、プロファイリングデータを読み書きします。



サポート： APInt（LLVMで広く使用されている任意の精度の整数）などを含むさまざまなコードのサポート。



TableGen： スイスナイフの一種。入力に構造化データを含む.tdファイル（LLVMには200を超えるファイル）を受け取り、LLVMにコンパイルするC ++コードを生成するツール。 TableGenは、たとえば、アセンブラーと逆アセンブラーの実装に使用されます。



ターゲット：さまざまなプロセッサのバックエンドがここにあります。 多くのTableGenファイルがあります。 新しいバックエンドを作成するには、そのうちの1つのクローンを作成します。そのクローンのアーキテクチャはあなたのアーキテクチャに最も近いものであり、その開発に数年を費やします。



変換：これは私のお気に入りのディレクトリで、ミッドランドオプティマイザーがここにあります。 IPOには、関数の境界間で機能するプロシージャー間の最適化が含まれており、通常はそれほど積極的ではありませんが、一度に多くのコードが表示されます。 InstCombineはピープホールオプティマイザーです。 計装-消毒剤のサポート。 ObjCARCはこれをサポートします。 Scalarには、コンパイラに関する「チュートリアルから」の最適化が含まれています。このディレクトリの内容に関するより詳細な投稿を書きます。 Utils-ヘルパーコード。 VectorizeはLLVM自動ベクトル化ツールであり、近年多くの作業の対象となっています。



これでレビューツアーを終了します。これが役に立てば幸いです。いつものように、どこかで間違いを犯したか何かを見逃したかを教えてください。