Python 3とMS Visual C ++のフレンド。 自動トランスコーディングを使用してBoost.Pythonでブリッジを構築する

すべての{daytime}に良い一日を！



今日は、Windowsプラットフォーム上のMS Visual C ++で構築されたプロジェクトと対話する際のトランスコーディングの基本的な問題と、実際にPython用に作成されたBoost.PythonライブラリのおかげでC ++言語の最も快適なスクリプトバインディングについて説明します。



結局のところ、最新バージョンのPython 3.xのWindows OSでC ++のアプリケーションに適切なスクリプトを使用するか、PythonのアプリケーションにC ++で書き換えられたモジュールのコードの最も高速化されたセクションを使用する必要があります。 どちらの場合でも、少なくとも両方の言語をよく知っているなら、これを読むべきです。



原則として、テキストのトランスコードの問題に関する何時間もの計算であなたを退屈させません。 この問題は新しいものではなく、どこでもさまざまな方法で解決されます。ほとんどの場合、あらゆる方法で解決されます。つまり、プログラマーの肩に移ります。



Pythonでは、バージョン3.0以降、テキスト自体のみを文字列と見なすことが決定されました。 テキスト自体がどのようにエンコードされるかは問題ではありませんが、Unicodeでエンコードされるため、文字列の概念自体はエンコードとは完全に異なります。 つまり、文字列内の文字に対応する数字を理解する方法はありません。そうでない場合は、エンコードを指定してバイト配列にエンコードする方法を理解することはできません。

"!".encode('cp1251')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

上記の例は、「Hello！」行自体は、ロシア、米国、中国、Windows、Linux、MacOSのいずれで表示しても、「Hello！」行のままであることを示しています。 文字列メソッドstr.encode（エンコード）によってバイト配列にデコードすると、世界のどこにいて、どのプラットフォームを使用しているかに関係なく、バイト配列要素の値は常に同じになります。 そしてこれは素晴らしい！

しかし、私たちは地球に戻ります。 そんなWindowsがあり......



全体の問題は、MS Visual Studioの素晴らしい開発環境にあります。 そして何よりも、C ++のすべての行がWindowsコードページのエンコードで保証されているという点で注目に値します。 つまり、ロシアでは、すべての行が常に「 cp1251 」になります。 そして、すべては問題ありませんが、このエンコードはWebページへの出力、XMLでの保存、国際データベースへの出力などには適していません。 「Hello」という形式の行を含むMicrosoftが提案したバージョンはもう少し受け入れられますが、そのような行を持つC ++でそれがどれほど素晴らしいかはわかっています。 さらに、cp1251の形式の一連の行を含むプロジェクトを既に取得しているという事実から進めます。 std :: stringおよびchar *で動作し、完全に動作するギガバイトのコード：迅速かつ効率的に。



PythonからC ++に移行する場合、Python文字列は内部Pythonメモリを使用してchar *に完全に変換されることに注意してください。Python3.xのすべての文字列は少なくともUTF-8に保存されており、GCと参照カウンターによって注意深く監視されているためです。 したがって、再び：MicrosoftのこのUCS-2をUnicodeとして渡す必要はなく、通常の文字列を使用します。 さらに、ロシアの会社のローカルデータベースは、WIN-1251からUTF-8に切り替えるときにデータのサイズが2倍になったことに感謝しないことに注意してください。

一般に、問題が示されます。

今決定。

おそらく既にPython 3.xの最新バージョン（現在はPython 3.3）をお持ちでしょう。まだインストールされていない場合は、 www.python.org / download / releasesから最新バージョンを入手してください。

また、おそらくMS Visual Studioを持っています（現時点では、後者はVS2012ですが、VS2010の以前のバージョンでは以下のすべてが当てはまります）。

C ++クラスをPythonにリンクするには、Boost.Pythonライブラリが必要です。 これは、ほぼ標準のBoostライブラリの一部として提供されています： www.boost.org （現時点では、最新バージョンは1.52ですが、検証されており、最大1.44まで有効です）。

残念ながら、他の何かとは異なり、Boost.Pythonをコンパイルする必要があります。 他のライブラリと一緒にまだビルドしていない場合は、次のBoost.Buildコマンドを使用してのみBoost.Pythonをビルドできます（bjam経由の古いバージョンでは）：

b2 --with-python --build-type=complete





x64用のPython 3.xをダウンロードした場合は、address-model = 64も指定する必要があります。

詳細については、Boost.Buildのドキュメントを参照してください。

その結果、{BoostDir} \ stage \ lib \には、boost-python *のようなライブラリがたくさんあるはずです。 私たちはそれらを必要としています!!。



したがって、実際に問題を再現してください。 簡単なクラスを書きます：

  class MY_EXPORT Search { public: static string That( const string& name ); };
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

彼の唯一の方法のこの実装では：

  string Search::That( const string& name ) { if( name == " !" ) return ""; else throw runtime_error( "   !" ); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実際には、すべてがはるかに複雑です。ほとんどの場合、キリル文字のフィールドを持つデータベースのレコードがあり、値自体もキリル文字であり、すべてがWindows-1251でエンコードされています。 しかし、デバッグするには、このテストケースで十分です。 C ++との間で文字列の変換が行われ、Pythonで例外が渡されます。



Boost.Pythonを使用して、小さなライブラリをラップします。

 BOOST_PYTHON_MODULE( my ) { class_<Search>( "Search" ) .def( "That", &Search::That ) .staticmethod( "That" ) ; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プロジェクト設定のBoostとソースライブラリへの依存関係を忘れないでください！

結果のライブラリの名前をmy.pydに変更します（はい、拡張子を変更するだけです）。



私たちは、Pythonで作業しようとしています。 コンソールから直接、Eclipse + PyDevのようなIDEが手元にない場合は、2行でインポートして使用できます。

 import my my.Search.That( " !" )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これはまだ.dllであり、おそらくSearchクラスのソースライブラリの.dllが必要であることを忘れないでください。さらに、新しいラッパーライブラリには、たとえばMS VS2012の{BoostDir} \ stage \ lib \からの対応するアセンブリの.dll Boost.Pythonが必要になりますデバッグ（マルチスレッドDLL）をビルドするためのBoost 1.52はboost_python-vc110-mt-gd-1_52.dllです。

.dllに何が欠けているかが明確でない場合は、同じDependency Walkerを使用して依存関係を調べます： www.dependencywalker.com-依存ライブラリを開きます。

だからあなたはmy



ライブラリをインポートしmy



my.Search.That( " !" )



を実行することができた



すべてうまくいけば、C ++からの例外が空のテキストで表示されます。 つまり、必要なifブランチに到達しなかっただけでなく、例外テキストは送信した方法でトランスコードされませんでした！



MS Visual Studioの「 プロセスにアタッチ 」を介してPythonプロセスに参加すると、 Search::That( const string& name )



name



がUTF-8になっていることがわかります。 Boost.Pythonは文字列をどのエンコーディングに与えるかを知らないため、UTF-8のデフォルトを与えます。

もちろん、Visual StudioのコードはWindows-1251に完全に対応しているため、「PC、Rs！」が実際には「それは私だ！」であることも理解できません。 視覚障害者と聴覚障害者の間で会話ができます。 同じ理由で、PythonのC ++からの例外テキストは表示されません。

さて、修正します。

最初に思い浮かぶのは、元のクラスをトランスコード可能な別のクラスに継承/ラップすることです。

ええ、他のクラスを見て、順番を待っている間に孤独に足をシャッフルします。 人生の半分を過ごす準備はできていますか？ そうでない場合でも、生産性の最初の測定値は、子孫を回すときにあなたがどれだけ間違っているかを示します。 ラップされたクラスをC ++オブジェクトに戻そうとすると、最終的には地獄のような問題が発生します。 あなたはそれらを持っているでしょう、私を信じて！ 私たちは両方向に歩くブリッジを構築しています。クラスラッパーは目的のクラスのメソッドとプロパティを直接参照する必要があります。 C ++側のpython :: Boostから<T＆>（obj）を抽出します。



文字列がC ++とPythonの間を移動するときに、Boost.Pythonで行われるすべてを分析します。 PyUnicode_AsStringおよびPyUnicode_FromString関数を使用する素晴らしい場所がいくつかあります 。 純粋なCのネイティブPython APIを少し知っていれば（わからない場合はドキュメントを読んで）、これがすべての悪の根源であることを理解しています。 Boost.PythonはPython 2と3のバージョンを完全に区別しますが、Unicode文字列をファイルシステムのコードページでエンコードされた文字列に変換する必要があることを理解することはできませんが、独立して使用することが提案されている代替機能を提供します：



PyUnicode_DecodeFSDefault-ファイルシステムのエンコードで文字列をエンコードし（この場合はWindows-1251のみ）、既製の文字列オブジェクトを返します。これは、ファイルstr.cppおよびconverter \ builtin_convertersの {BoostDir} \ libs \ python \ src \のPyUnicode_FromStringの代わりに最適です.cpp



PyUnicode_DecodeFSDefaultAndSize-同じですが、文字列のサイズがあります。 同じファイル内の同様のPyUnicode_FromStringAndSizeの代替として適しています。



PyUnicode_EncodeFSDefault-反対に、Pythonから文字列オブジェクトを取得してトランスコードし、結果をバイトの配列（ PyBytesオブジェクト）として返します。その後、PyBytes_AsString関数を使用して、バイト配列から通常の文字列を抽出できます。 PyUnicode_AsUTF8String関数の代わりに、 ペアで逆変換に必要です

PyBytes_AsString（PyUnicode_EncodeFSDefault（obj））は、マクロ_PyUnicode_AsString（obj ）を置き換えますが、実質的に同じことを行いますが、変換は行いません。



だから、私たちは歯に武装しており、顔の敵を知っています、彼を見つけて中和するだけです！



コード{BoostDir} \ libs \ python \ src \の PyUnicode_ *を使用したファイルと{BoostDir} \ boost \ python \内のヘッダーファイルが必要です。さらに、すぐに秘密を明らかにします。error.cppファイルの例外も修正する必要があります。



一般的に、リストは次のとおりです。

builtin_converters.cpp -PythonからC ++へ、またはその逆への文字列変換を編集します

builtin_converters.hpp-ヘッダーファイルの変換マクロを修正する必要があります

str.cpp -Python strクラス（C ++の通常のpython文字列）上のC ++でラッパーを編集します。

errors.cpp -C ++からPythonへの例外のテキストの受け渡しを修正



いくつかの変更があり、それらは対象であり、それらはすべて以下にリストされています、記事に添付されたアーカイブには、原則として、変更に関するパッチとレポートが含まれています、すべての変更は、1行のコードを超えず、1つの呼び出し命令よりも多くの場合、合計で正確に13 x 4ファイルです。 あなたは迷信者ではありませんか？..



すべての編集後、上記のコマンドを使用してBoost.Pythonのみを収集します。

b2 --with-python --build-type=complete





（アセンブリがx64用である場合、つまり、プロジェクトとマシンにインストールされているPython 3.xの両方が64ビットアドレス指定アーキテクチャ用にアセンブルされる場合、 address-model=64



を追加してください。）



Boost.Pythonがアセンブルされたら、更新されたライブラリを使用してプロジェクトを再アセンブルします。.libと.dllだけでなく、1つのヘッダーファイルも更新されます。

古くて退屈な.dllを、新しく収集したものに置き換えることを忘れないでください。 それらをコピーすることを忘れないでしょう。

真実の瞬間！

 import my res = my.Search.That( ' !' ) print( res )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべての同じコードが、予想されたもの、つまり文字列「I」を返すようになりました。

Python 3がこのオブジェクトを文字列とみなす場合、非常にUnicodeのキリル文字アルファベットです！

では、例外がどのように発生するかを確認しましょう。

 import my res = my.Search.That( ' !' ) print( res ) try: my.Search.That( ' - !' ) except RuntimeError as e: print( e )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

私たちの例外は、標準のPython例外であるRuntimeErrorの形式で、適切なテキストとともに素晴らしいものになります。

ボーナスとして、C ++側でboost :: python :: strオブジェクトを作成し、すぐにUnicodeに変換します。これは、C ++側でキリル文字アルファベットと呼ばれるPythonオブジェクトの属性が必要な場合に役立ちます。

 object my = import( "my" ); object func = my.attr( str("") ) int res = extract<int>( func( x * x ) );
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

MS Visual C ++では、このようなコードに問題はありません。 すべてが完全に取り出され、呼び出され、必要なものがすべて返されます。

さて、C ++からPythonコードを呼び出すことについて話しているので、そこから例外をキャッチする方法に言及する価値があります。

C ++レベルでのPythonからのすべての例外は、error_already_set型およびすべての同じboost :: pythonによってキャッチされます。 テキストを取得するために、タイプと例外スタックは複雑ではないようです。詳細については、 wiki.python.org / moin / boost.python / EmbeddingPython-セクションPython例外の抽出を参照してください。 大部分の場合、例外のテキストをピックアップするだけであり、もちろん、独自の例外のロジックを考え出さない限り、必要ありません。 しかし、この場合は、例外トランスレーターを作成した方がよいでしょう。これはまったく別の話です...

合計

ネイティブのMS Visual C ++コードと小さなBoost.Pythonパッチを使用した通常のPythonコードと友達になりました。実際にコードを変更することなく、Python APIの一部の関数の呼び出しをいくつかの場所でいくつかに変更し、追加のトランスコーディングを実行しました。 すべてはPython API自体を介して行われるため、オブジェクトに割り当てられたメモリ、std ::文字列、およびMicrosoftが標準ライブラリの新しいメカニズムに慎重に入れた素晴らしいミューテックスを通じてヒープにアクセスする他の恐怖に対処します。 いや！ 種類はありません！ Pythonは私たちのためにすべてを行います。私たちは彼を少し助ける必要がありました。

通常の人間は、エンコードを考慮することなくVisual Studioでコードを作成できます。 おそらくそれらについても知らずに。 原則として、同じトランスポートパーツ（プロトコル、データパケットなど）の分野の狭い専門家は、これを認識すべきではありません。

特に好奇心盛な人は、コンバージョンの損失を測定できます。 私の測定によると、これらは非常に重要ではないため、非常に遅いWebページ生成のコードをC ++からPythonの1つのjoin +形式に書き換えると、ほぼ10％加速されました。 これは、上記の変更に伴うトランスコーディングを考慮しています。 したがって、C ++のコードが十分に大きな文字列を収集した場合（仮予約を使用した場合でも）、このような損失の重要性は想像できます。

安定性の観点から、少なくとも6か月間、少なくともこれらの変更に基づいて構築されたシェルが作業サイトで安全に回転しているようになっています（ただし、Boostバージョンは現在のものよりはるかに古いです）。 現在まで、すべてが安定して再コーディングされ、苦情は発生せず、発生しませんでした。

変更を含む約束されたアーカイブ

Boost.Pythonライブラリファイルの変更に関するレポートとパッチを以下に示します。

www.2shared.com/file/NFvkxMzL/habr_py3_cxx.html



また、テストプロジェクト（x64でビルド）を含む小さなアーカイブも含まれています。

www.2shared.com/file/FRboyHQv/pywrap.html

便利なリンク

Pythonドキュメントへのリンク3.ファイルシステムのコードページからのセクションC-API変換、およびその逆：

docs.python.org/3/c-api/unicode.html?highlight=pyunicode#file-system-encoding



Boost.Pythonドキュメントへのリンク：

www.boost.org/doc/libs/1_52_0/libs/python/doc