危険なピクルス-Pythonでの悪意のあるシリアル化

みなさんこんにちは！



Panta rhei、そして更新されたコース「Python Web Developer」の立ち上げが近づいていますが、私たちは非常に興味深く、あなたと共有したい資料をまだ持っています。



なぜ漬物が危険なのですか？

これらの漬物は非常に危険です。 どのように説明するのかさえ分かりません。 ただ信じて。 これは重要ですよね？

「爆発性障害」パンテラレ



オペコードに飛び込む前に、基本について話しましょう。 Python標準ライブラリには、オブジェクトをシリアル化および非シリアル化するために使用されるpickle （「 pickle 」または単に「保存」と翻訳される）と呼ばれるモジュールがあります。 これのみが、シリアライゼーション/デシリアライゼーションではなく、ピクルス化/アンピクルス化と呼ばれます（文字通り-「保存/保存解除」）。







C ++でBoost Serializationを使用した後も悪夢に苦しんでいる人として、私は保存が優れていると言うことができます。 あなたが彼女に何を投げても、彼女はただ仕事を続けます。 また、組み込み型だけでなく、ほとんどの場合、シリアル化キャニングメソッドを記述する必要なく、クラスをシリアル化できます。 再帰的なデータ構造などのオブジェクト（同様のマーシャリングモジュールを使用するとクラッシュを引き起こす）でも、問題はありません。



以下は、pickleモジュールに慣れていない人のための簡単な例です。

import pickle #      Python original = { 'a': 0, 'b': [1, 2, 3] } #     pickled = pickle.dumps(original) #      identical = pickle.loads(pickled)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ほとんどの場合、これで十分です。 保存は本当にクールです...しかし、深みのどこかに暗闇が隠されています。



pickleモジュールの最初の行の1つはこう言います：

注意：pickleモジュールは、誤ったデータや悪意のあるデータから保護されていません。 信頼できない、許可されていないソースからのデータを再保存しないでください。



私はこの警告を何度も読みましたが、悪意のあるデータが何であるかとよく疑問に思いました。 そして最近、私はそれを見つける時だと決めました。 無駄ではありません。

悪意のあるデータを作成するための探求は、pickleプロトコルについて多くを学び、保存をデバッグするためのクールな方法を発見し、Pythonソースコードで大胆なコメントをいくつか見つけました。 読み続けると、同じ利点が得られます（そしてすぐに、悪意のある保護ファイルも送信し始めるでしょう）。 警告：技術的な詳細がありますが、唯一の前提条件はPythonの基本的な知識です。 しかし、アセンブラの表面的な知識は害になりません。



偽のピクルス爆弾



私はpickleモジュールのドキュメントを読むことから始め、エリートハッカーになるためのヒントを見つけたいと思って、次のような行に出会いました。

pickletoolsモジュールには、保存によって生成されたデータフローを分析するためのツールが含まれています。 pickletoolsのソースコードには、pickleプロトコルで使用されるオペコードに関する広範なコメントが含まれています。



オペコード？ pickleの実装が次のようになるとは思っていませんでした。

 def dumps(obj): return obj.__repr__() def loads(pickled): # :  pickle  ... return eval(pickled)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

しかし、私は彼女が彼女自身の低レベル言語を定義することも期待していませんでした。 幸いなことに、行の2番目の部分は真実を示しています-pickletoolsモジュールは、プロトコルがどのように機能するかを理解するのに非常に役立ちます。 さらに、コード内のコメントは非常に面白いことがわかりました。



たとえば、焦点を当てる必要があるプロトコルのバージョンの問題を提起します。 Python 3.6には合計5つあります。 これらは0から4までの番号が付けられています。プロトコル0は、ドキュメントで「 読み取り可能 」と呼ばれ、 pickletoolsソースコードが追加情報を提供するため、明らかな選択です。



ピクルオペコードは、物事の新しい方法が登場してもフェードすることはありません。 PMのレパートリーは時間とともに成長しています...「Opscode bloating」は微妙なヒントではなく、衰弱させる困難の原因です。



新しいプロトコルはそれぞれ、前のプロトコルのスーパーセットであることがわかりました。 プロトコル0が「読み取り可能」であることを考慮しなくても（命令を逆コンパイルするため問題ではありません）、可能な限り少ないオペコードが含まれています。 悪意のあるpickleファイルがどのように作成されるかを理解することが目標である場合、これは理想的です。



オペコードと混同しても心配する必要はありません。 ここでPythonに戻り、オペコードがPythonコードにどのように関連するかを詳しく説明します。 オペコードのない単純なPythonクラスを作成します。

 class Bomb: def __init__(self, name): self.name = name def __getstate__(self): return self.name def __setstate__(self, state): self.name = state print(f'Bang! From, {self.name}.') bomb = Bomb('Evan')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

__setstate __（）および__getstate __（）メソッドは、クラスをシリアライズおよびデシリアライズするためにpickleモジュールで使用されます。 デフォルトの実装は__dict__インスタンスを単純にシリアル化するだけなので、多くの場合、自分で定義する必要はありません。 ご覧のとおり、Bombオブジェクトのデシリアライズの瞬間にちょっとした驚きを隠すために、ここで直接定義しました。



逆シリアル化コードが動作するかどうかを確認してください。 以下を使用して、オブジェクトを保存および再保存できます。

 import pickle pickled_bomb = pickle.dumps(bomb, protocol=0) unpickled_bomb = pickle.loads(pickled_bomb)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

取得するもの：

 # -!  . Bang! From, Evan.
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

まさに計画通り！ 唯一の問題があります。Bombが定義されていないコンテキストでpickled_bomp行を逆シリアル化しようとしても、何も機能しません。 代わりに、エラーが表示されます。

 AttributeError: Can't get attribute 'Bomb' on <module '__main__'>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

__setstate__()



的なコンテキストが悪意のある印刷式を使用してコードに既にアクセスしている場合にのみ、カスタムメソッド__setstate__()



実行できることが__setstate__()



ます。 そして、被害者が立ち上げたコードにすでにアクセスできるのに、なぜピクルスで悩むのですか？ 被害者が使用する他の方法で悪意のあるコードを簡単に書くことができます。 これは本当です-私はそれを実証したかっただけです。



結局、Pytonがオブジェクトの逆シリアル化メソッドの保存バイトコードをサポートしているのではないかと疑うことは無駄ではありません。 たとえば、マーシャルモジュールはメソッドをシリアル化でき、多くのpickleの代替手段： marshmallow 、 dill 、およびpyroも関数のシリアル化をサポートしています。



ただし、pickleのドキュメントにある不吉な警告は、それを意味するものではありません。 逆シリアル化の危険性を調べるには、もう少し深く掘り下げる必要があります。



Pickleの逆コンパイル



保全が実際にどのように機能するかを理解しようとする時です。 前のセクションのオブジェクトpickled_bombを見てみましょう。

 b'ccopy_reg\n_reconstructor\np0\n(c__main__\nBomb\np1\nc__builtin__\nobject\np2\nNtp3\nRp4\nVEvan\np5\nb.'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

待ってください...プロトコル0を使用しましたか？ 「読み取り可能」ですか？



しかし、それは問題ありません。pickletoolsのソースコードには、 「pickleプロトコルで使用されるオペコードに関する広範なコメント」があります。 問題を解決するのに役立つはずです！

私はこれを詳細に文書化することを切望しています-すべての特別なケースを見つけるためにピクルスコードを完全に読んでください。

-pickletoolsソースコードのコメント



なんてこった 何に適合しますか？



冗談ですが、pickleツールのソースコードは本当に素晴らしいコメントです。 また、ツール自体も同様に有用です。 たとえば、pickletools.dis（）というpickleを分解するメソッドがあります。 ピクルスをより理解しやすい言語に翻訳するのに役立ちます。



pickled_bomb行を逆アセンブルするには、次を実行します。

 import pickletools pickletools.dis(pickled_bomb)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

   : 0: c GLOBAL 'copy_reg _reconstructor' 25: p PUT 0 28: ( MARK 29: c GLOBAL '__main__ Bomb' 44: p PUT 1 47: c GLOBAL '__builtin__ object' 67: p PUT 2 70: N NONE 71: t TUPLE (MARK at 28) 72: p PUT 3 75: R REDUCE 76: p PUT 4 79: V UNICODE 'Evan' 85: p PUT 5 88: b BUILD 89: . STOP highest protocol among opcodes = 0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

x86 、 Dalvik 、 CLRなどの言語を扱っていた場合、上記のすべてがおなじみのように思えるかもしれません。 しかし、彼らがそれを持っていなかったとしても-それは問題ではありませんが、私たちは段階的にそれを取ります。 現時点では、GLOBAL、PUT、およびMARKなどの見出し語は、高水準言語の関数のようにほとんど解釈されるオペコードおよび命令であることを知るだけで十分です。 右側はすべてこれらの関数の引数であり、左側は元の「読み取り可能な」行での暗号化方法を示しています。



ただし、ウォークスルーを開始する前に、pickletoolsから別の便利なものを紹介しましょう：pickletools.optimize（）。 このメソッドは、未使用のオペコードをピクルスから削除します。 出力は単純化されていますが、同様のピクルスです。 次を実行することにより、pickled_bombの最適化されたバージョンを解析できます。

 pickled_bomb = pickletools.optimize(pickled_bomb) pickletools.dis(pickled_bomb)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、一連の指示の簡略版を取得します。

  0: c GLOBAL 'copy_reg _reconstructor' 25: ( MARK 26: c GLOBAL '__main__ Bomb' 41: c GLOBAL '__builtin__ object' 61: N NONE 62: t TUPLE (MARK at 25) 63: R REDUCE 64: V UNICODE 'Evan' 70: b BUILD 71: . STOP highest protocol among opcodes = 0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これは、すべてのPUTオペコードが存在しない場合にのみオリジナルと異なることに気付くかもしれません。 これにより、理解するための10の手順が残ります。 すぐにそれらを個別に検討し、Pythonコードを手動で「解析」します。



保存中、オペコードは通常Pickle Machine（PM）と呼ばれるエンティティによって解釈されます。 各ピクルは、コンパイルされたJavaコードがJava仮想マシン（JVM）で実行されるのと同様に、PMで実行されるプログラムです。 pickleコードを解析するには、PMの動作を理解する必要があります。



PMには、データを保存し、それらとやり取りするための2つの領域があります。メモとスタックです。 メモは、長期保存用に設計されており、整数とオブジェクトを比較するPython辞書に似ています。 スタックは、多くの操作が相互作用し、物を追加したり引き出したりするPythonリストのようなものです。 これらのPythonデータ領域を次のようにエミュレートできます。

 #  / PM memo = {} # Stack PM,       stack = []
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

保存中、PMはpickleプログラムを読み取り、各命令を順次実行します。 STOPオペコードに到達するたびに終了します。 スタックの一番上にあるオブジェクトは、再保存の最終結果です。 エミュレートされたメモとスタックリポジトリを使用して、ピクルスをPythonに命令ごとに変換してみましょう。

• GLOBALは、クラスと関数をスタックにプッシュし、モジュールと名前を引数として渡します。 Python 3ではcopy_regの名前がcopyregに変更されたため、メッセージは少し誤解を招くことに注意してください。

• MARKは特別なmarkobjectをスタックにプッシュするため、後でそれを使用してスタックの一部を指定できます。 文字列「MARK」を使用して、マークオブジェクトを表します。
  
  
  
  

   #  markobject  . # 25: ( MARK stack.append('MARK')
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

• 再びグローバル 。 ただし、今回は__main__モジュールを使用するため、インポートする必要はありません。
  
  
  
  

   #    (module.attr)  . # 26: c GLOBAL '__main__ Bomb' stack.append(Bomb)
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

• 再びグローバル 。 また、オブジェクトを明示的にインポートする必要はありません。
  
  
  
  

   #    (module.attr)  . # 41: c GLOBAL '__builtin__ object' stack.append(object)
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

• NONEは、Noneをスタックにプッシュするだけです。
  
  
  
  

   #  None  . # 61: N NONE stack.append(None)
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

• TUPLEは少し複雑です。 スタックに「MARK」を追加した方法を覚えていますか？ この操作は、「MARK」の後のスタックからタプルにすべてを移動します。 その後、彼女は「MARK」を削除し、タプルに置き換えます。
  
  
  
  

   #      ,  markobject. # 62: t TUPLE (MARK at 28) last_mark_index = len(stack) - 1 - stack[::-1].index('MARK') mark_tuple = tuple(stack[last_mark_index + 1:]) stack = stack[:last_mark_index] + [mark_tuple]   ,     . #    TUPLE: [<function copyreg._reconstructor>, 'MARK', __main__.Bomb, object, None] #    TUPLE: [<function copyreg._reconstructor>, (__main__.Bomb, object, None)]
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

• REDUCEは、スタックから最後の2つのものを削除します。 その後、最後のオブジェクトの位置拡張を使用して最後から2番目のオブジェクトを呼び出し、結果をスタックに配置します。 言葉で説明するのは難しいですが、コードではすべてが明確です
  
  
  
  

   #  ,   callable  tuple . # 63: R REDUCE args = stack.pop() callable = stack.pop() stack.append(callable(*args))
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

• UNICODEはUnicode文字列をスタックにプッシュするだけです（ちなみに、非常に優れたUnicode文字列です！）
  
  
  
  

   #    Python Unicode. # 64: V UNICODE 'Evan' stack.append(u'Evan')
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

• BUILDは、スタックから最後のオブジェクトを削除し、それを引数として__setstate __（）にスタックの新しい最後のものとともに渡します
  
  
  
  

   #      __setstate__  dict. # 70: b BUILD arg = stack.pop() stack[-1].__setstate__(arg)
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

• STOPとは、単にスタックの一番上のアイテムが最終結果であることを意味します。
  
  
  
  

   #  PM. # 71: . STOP unpickled_bomb = stack[-1]
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

  
  
  

ふう、完了です！ コードが特にPythonであるかどうかはわかりませんが、PMをエミュレートします。 メモを使用したことがないことに気付くかもしれません。 pickletools.optimize（）で削除されたすべてのPUTオペコードを覚えていますか？ 彼らはモモとやり取りしていたかもしれませんが、簡単な例ではこれは必要ありませんでした。



コードを単純化して、その作業を明確に示しましょう。 実際、データのシャッフルに加えて、命令1で_reconstructorをインポートし、命令7で_reconstructorを呼び出し、命令9で__setstate __（）を呼び出すという3つの操作のみが発生します。データのシャッフルを想像すると、Pythonの3行すべてを表現できます。

 #  1,    `_reconstructor` from copyreg import _reconstructor #  7,  `_reconstructor`   unpickled_bomb = _reconstructor(cls=Bomb, base=object, state=None) #  9,  `__setstate__`   unpickled_bomb.__setstate__('Evan')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

copyreg._reconstructor（）ソースコードの内部を見ると、単にオブジェクト.__ new __（Bomb）を呼び出していることがわかります。 この知識を使用して、すべてを2行に簡略化できます。

 unpickled_bomb = object.__new__(Bomb) unpickled_bomb.__setstate__('Evan')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

おめでとうございます、あなたはピクルスを逆コンパイルしました！



リアルピクルボム



私はピクルスの専門家ではありませんが、悪意のあるピクルスの作成方法についてはすでに説明できます。 GLOBALオペコードを使用して任意の関数（os.systemおよび__builtin __）をインポートできます。Evalは適切な候補のようです。 そして、REDUCEを使用して、任意の引数で実行します。 しかし、ただ...待って、それは何ですか？



isinstance（callable、type）でない場合、callregableがcopyregモジュールのsafe_constructorsディクショナリに登録されている場合、またはcallableにtrue値を持つマジックアトリビュート__safe_for_unpickling__がある場合にのみ、REDUCEは宣誓しません。 なぜこれが起こるのかはわかりませんが、<winks>という不満は十分にあります。



応答してウィンク。 pickletoolsのドキュメントは、許可されたcallableのみがREDUCEで実行できることを示唆しているようです。 しばらくの間、私は心配しましたが、「safe_constuctors」を検索すると、2003年からPEP 307がすぐに見つかりました。



Pythonの以前のバージョンでは、保存解除には個々の操作に対する「セキュリティチェック」があり、__ safe_for_unpickling__属性が1に等しいか、またはグローバルレジスタcopy_reg.safe_constructorsに登録するために「保存解除」とマークされていない関数またはコンストラクターの呼び出しを拒否しました。



この関数は、誤った安心感を生み出します。信頼できないソースからのピクルスの選択が不要なコードを引き起こさないことを証明するために必要な広範なコード検証を実行した人はいません。 実際、Python 2.2のpickle.pyモジュールのバグにより、これらの予防措置を簡単に回避できます。



インターネットを使用する場合、実装が完全に検証されていないプロトコルのセキュリティを信頼するよりも、プロトコルが安全でないことを知った方がよいと固く信じています。 一般的なプロトコルの高品質の実装でさえ、多くの場合エラーを含んでいます。 多くの時間がないと、Pythonのpickle実装は保証できません。 したがって、Python 2.3以降、すべての保存解除セキュリティチェックは公式に除外され、警告に置き換えられます。

警告 ：信頼性の低い未検証のソースからのデータを再度開かないでください。



こんにちは、暗闇、旧友 。 これがすべての始まりです。



それがすべてであり、重要な要素を見つけました。そして、私たちがやろうとしていることから誤った安心感はありませんでした。 爆弾を書くことから始めましょう：

 #       arbitrary python GLOBAL '__builtin__ eval' #      MARK #   Python,       UNICODE 'print("Bang! From, Evan.")' #    ,       REDUCE TUPLE #  `eval()`    Python    REDUCE #  STOP,   PM   STOP
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これを実際のピクルスにするには、各オペコードを対応するASCIIコードに置き換える必要があります：GLOBALのc、（MARKのV、UNICODEのV、TUPLEのt、REDUCEのR、およびSTOPの場合。これらは同じ値であることに注意してください。 pickletools.dis（）の出力のオペコードの左側に書き込まれた引数は、位置と改行制約の組み合わせを考慮して各オペコードの後に​​分析されます。各引数は、対応するオペコードの直後または前の引数の後に配置され、改行文字が見つかるまで。 次のように目の漬物コードが用意されています。

 c__builtin__ eval (Vprint("Bang! From, Evan.") tR.
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最後に、これを確認できます。

 #   ! #  , ! pickled_bomb = b'c__builtin__\neval\n(Vprint("Bang! From, Evan.")\ntR.' pickle.loads(pickled_bomb)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

III ...

 # -!  . Bang! From, Evan.
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

あなたは私を信じる理由がないことを知っていますが、本当にうまくいきました。

誰もがeval（）に対してより悪意のある議論を簡単に思い付くことができることは簡単にわかります。 PMは、os.system（）システムコマンドを含む、Pythonコードが実行できるすべての処理を文字通り実行できます。



すべての良いことが終わります



危険な漬物の作り方を学ぶつもりでしたが、その過程で誤って漬物の仕組みを理解しました。 私は認める、私はこのピクルスマシンを掘り下げるのが好きだった。 pickletoolsのソースコードは大いに役立ちました。pickleプロトコルとPMの詳細に興味がある場合はお勧めします。



終わり



いつものように、私たちはここで、またはオープンデーでイリヤ・レベデフに個人的に尋ねることができる願いや質問を待っています。