ドラゴンを訓練する方法。 clang-cの簡単な例

夕方、コンピューターの前に座って憂鬱にふけり、すべての虚弱について考えた後、私は思慮深く「LLVM」と略語を入力しました。キャッチとしましょう。



予想通り、特別なものはほとんど見つかりませんでしたが、1つの発表に興味がありました。 次の行がありました。



「実行するタスクのレベル」を確認せずに「誰を引き受けますか」：

gccでビルドされたオープンソースプロジェクト（ソースコードは10メガバイト以上）をダウンロードしました。最大のcppファイルについては、-fsyntaxのみのclangを使用してASTツリーを構築できました。

Visual C ++（ソースコードは10メガバイト以上）を使用してビルドされたオープンソースプロジェクトをダウンロードし、最大のcppファイルについては、-fsyntax-onlyを使用してclangを使用してASTツリーをビルドできました。

宣言のすべての場所とローカル変数の使用、およびこのファイルで定義されていないすべての関数を強調表示するユーティリティを作成できました 。



まあ、私は、まさか、夜のエンターテイメントだと思った。







最初の2つのポイントについて簡単に検討しますが、すべてが非常に単純です。

ASTを構築する方法

私たちはc ++でプロジェクトを取ります、あなたはそれ自体をclangすることができます（gccとVC ++で構築されています）

clang -std=c++11 -Xclang -ast-dump ////cpp -I/////include/ -D_ -fsyntax-only
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ASTはテキスト形式で取得されます。 大きなファイルの場合、ASTは巨大です。ここではすべてのast-dumpを示しませんが、わかりやすくするために、小さな断片を示します。





別のオプションでツリーを取得することもできます：-ast-print。 また、テキストで巨大なものになり、私もそれを提供しません。



最後に、Graphvizでツリーのグラフィカル表現を取得できます（LLVMでのデバッグに広く使用されています）。 これは、-ast-viewオプションを使用して行われます。 もちろん、Graphvizをインストールし、「ドット」および「gv」ファイルへのパスを設定する必要があります。 この場合、多数のウィンドウが開き、それぞれに小さなASTセクションがあります。たとえば、次のとおりです。







ただし、続行する前に、ASTとは何か、なぜASTが必要なのかを簡単に説明したいと思います。 コンピュータサイエンスの学位をお持ちの読者は、次のセクションを大胆に読み飛ばすことができますが、残りは興味深いかもしれません。

抽象構文ツリー

ウィキペディアで厳密な定義を確認できます。「指で」を説明しようと思います。

抽象構文ツリーは、コンパイラがプログラムのソースコードを、さらにコンパイルするのに便利な形式で提示する構造です。 ツリーの葉には変数（正確には、変数宣言へのリンク）と定数があり、他の頂点には演算子、データ型宣言などがあります。 ツリーのルートは、プログラムの「翻訳単位」です。



たとえば、簡単なプログラム：

 // file foo.h void foo(int x, int y); // file main.c #include "foo.h" typedef struct { int x, y; } st_coord; int main() { st_coord coord; foo(coord.x, coord.y); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これにより、ASTが生成されます。

clang-c APIを使用する

clangコンパイラーでは、各ASTノードは特定のクラスのオブジェクトによって表され、3つの基本クラスのみがあります：clang :: Decl（宣言クラス）、clang :: Stmt（すべての演算子を含む）、およびclang :: Typeクラス、データ型クラス。



そのため、clangはC ++で記述され、オブジェクト指向APIを備えています。 これを使用して、clangを使用してさまざまなユーティリティやツールを作成できます。 ただし、知識のある人は、純粋なCで記述されたclang APIのラッパーである別のAPI clang-cを好みます。意味は単純です。まず、clang APIとは異なり、clang-c APIはよりシンプルで、これはリリースごとに変わります。 最後に、clang-cの使用はclang APIの使用を排除しません。

ASTツリートラバーサル

最初に行うことは、ツリーウォークを詳細に記述することです。 これは完全に標準的な操作です。

 #include <clang-c/Index.h> #include <iostream> #include <string> using namespace clang; void printCursor(CXCursor cursor) { CXString displayName = clang_getCursorDisplayName(cursor); std::cout << clang_getCString(displayName) << "\n"; clang_disposeString(displayName); } CXChildVisitResult visitor( CXCursor cursor, CXCursor /* parent */, CXClientData /*clientData*/ ) { CXSourceLocation location = clang_getCursorLocation( cursor ); if( clang_Location_isFromMainFile( location ) == 0 ) return CXChildVisit_Continue; printCursor(cursor); clang_visitChildren( cursor, visitor, nullptr ); return CXChildVisit_Continue; } int main (int argc, char** argv) { CXIndex index = clang_createIndex ( 0, // excludeDeclarationFromPCH 1 // displayDiagnostics ); CXTranslationUnit unit = clang_parseTranslationUnit ( index, // CIdx 0, // source_filename argv, // command_line_args argc, // num_command_line_args 0, // unsave_files 0, // num_unsaved_files CXTranslationUnit_None // options ); if (!unit) { std::cout << "Translation unit was not created\n"; } else { CXCursor root = clang_getTranslationUnitCursor(unit); clang_visitChildren(root, visitor, nullptr); } clang_disposeTranslationUnit(unit); clang_disposeIndex(index); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここではすべてが非常に明確です：clang_parseTranslationUnitは、ASTの作成を含むすべてのコンパイル手順を実行する関数です。 コンパイルオプションを渡すことができます。 同時に、ファイル名は引数と直接（source_filename）の両方で転送できます。 ソーステキストは、ファイルとしてだけでなく、メモリ内のテキストを表すCXUnsavedFile構造体としても送信できます。 解析後、ツリーは深さ方向にトラバースされ、各頂点に対してvisitor関数が呼び出され、CXCursorが渡されます-ツリーの最上部を表す構造です。 また、任意のユーザーデータを表すCXClientDataパラメーターをvisitor関数に渡すことができます。

ビジター関数を書く

すべてのローカルプログラム変数を見つけてみましょう。

  CXCursorKind cursorKind = clang_getCursorKind( cursor ); // finding local variables if(clang_getCursorKind(cursor) == CXCursor_VarDecl) { if(const VarDecl* VD = dyn_cast_or_null<const VarDecl>(getCursorDecl(cursor))) { if( VD->isLocalVarDecl()) { std::cout << "local variable: "; printCursor(cursor); } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここのすべても簡単です：CXCursor_VarDecl-カーソルは変数を指します。 dyn_cast_or_null-LLVMの型変換テンプレート。





次に、カーソルをVarDeclクラスのインスタンスに変換し、変数がローカルかどうかを確認します。 そうである場合、カーソルの名前とソース内のカーソルの位置を表示します。これには補助関数を使用します。

 //logging functions std::string getLocationString(CXSourceLocation Loc) { CXFile File; unsigned Line, Column; clang_getFileLocation(Loc, &File, &Line, &Column, nullptr); CXString FileName = clang_getFileName(File); std::ostringstream ostr; ostr << clang_getCString(FileName) << ":" << Line << ":" << Column; clang_disposeString(FileName); return ostr.str(); } void printCursor(CXCursor cursor) { CXString displayName = clang_getCursorDisplayName(cursor); std::cout << clang_getCString(displayName) << "@" << getLocationString(clang_getCursorLocation(cursor)) << "\n"; clang_disposeString(displayName); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Decl、Expr、およびStmtの値を見つけるには、補助関数を使用します。

 // extracted from CXCursor.cpp const Decl *getCursorDecl(CXCursor Cursor) { return static_cast<const Decl *>(Cursor.data[0]); } const Stmt *getCursorStmt(CXCursor Cursor) { if (Cursor.kind == CXCursor_ObjCSuperClassRef || Cursor.kind == CXCursor_ObjCProtocolRef || Cursor.kind == CXCursor_ObjCClassRef) return nullptr; return static_cast<const Stmt *>(Cursor.data[1]); } const Expr *getCursorExpr(CXCursor Cursor) { return dyn_cast_or_null<Expr>(getCursorStmt(Cursor)); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、ローカル変数のすべての使用を探します。

 // finding referenced variables if(cursorKind == CXCursor_DeclRefExpr) { if(const DeclRefExpr* DRE = dyn_cast_or_null<const DeclRefExpr>(getCursorExpr(cursor))) { if(const VarDecl* VD = dyn_cast_or_null<const VarDecl>(DRE->getDecl())) { if(VD->isLocalVarDecl()) { std::cout << "reference to local variable: "; printCursor(cursor); } } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最後に、このファイルで定義されていない関数の呼び出しをすべて見つけます。

  // finding functions not defined in the module if(cursorKind == CXCursor_CallExpr) { if (const Expr *E = getCursorExpr(cursor)) { if(isa<const CallExpr>(E)) { CXCursor Definition = clang_getCursorDefinition(cursor); if (clang_equalCursors(Definition, clang_getNullCursor())) { std::cout << "function is not defined here: "; printCursor(cursor); } } } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここで、カーソルが関数呼び出し（CXCursor_CallExpr）であるかどうかを確認します。 ただし、CXCursor_CallExprは関数呼び出しであるだけでなく、コンストラクタ、デストラクタ、およびメソッドの呼び出しでもあるため、追加のチェック（isa）が必要であることに注意してください。 その後、関数定義（clang_getCursorDefinition）を探し、（clang_equalCursors（Definition、clang_getNullCursor（）））が見つからない場合、このファイルで定義されていない関数を見つけました。

テスト

テストのために、2つの単純なプログラムを作成します。1つはC、もう1つはC ++です。

それで、Cプログラムは：

 //file func.h void foo_ext(int x); //file simple.c #include "func.h" int global1; int foo(int x) { return x; } int global2; int main(int arg) { int local; local = arg; foo_ext(arg); return foo(local); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ユーティリティを実行し、出力を取得します。

 local variable: local@simple.c:13:9 reference to local variable: local@simple.c:14:5 function is not defined here: foo_ext@simple.c:15:5 reference to local variable: local@simple.c:16:16
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてが正しいようです。 次に、C ++でファイルを確認します。

 #include "func.h" class MyClass { public: MyClass() { int SomeLocal_1; } void foo() { int SomeLocal_2; } ~MyClass() { int SomeLocal_3; } }; MyClass myClass_global; int foo(int x) {return 0;} int main(int argc, char** argv) { int local; MyClass myClass_local; foo(argc); foo_ext(local); return 1; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

出力を取得します。

 local variable: SomeLocal_1@cpptest.cpp:6:13 local variable: SomeLocal_2@cpptest.cpp:9:13 local variable: SomeLocal_3@cpptest.cpp:12:13 local variable: local@cpptest.cpp:22:9 local variable: myClass_local@cpptest.cpp:23:13 function is not defined here: foo_ext@cpptest.cpp:25:5 reference to local variable: local@cpptest.cpp:25:13
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

OK、すべてが機能しているようです。

これはどのように使用できますか？

clangの広範な機能は、C、C ++、Objective Cソースの分析と変換など、さまざまな目的に使用できます。

文学

トピックのソースのリスト：



1. Gihubプロジェクトコード 。

2.http ： //bastian.rieck.ru/blog/posts/2015/baby_steps_libclang_ast/

3.http ： //bastian.rieck.ru/blog/posts/2016/baby_steps_libclang_function_extents/

4. https://jonasdevlieghere.com/understanding-the-clang-ast/

5. https://habrahabr.ru/post/148508/