Pythonプロファイリングとデバッグ、デバッグ

前の記事では、プロファイリングに関する会話をイベントプロファイラーの概要で終了しました。



今日、プログラムのデバッグ方法を検討することを提案します。

• 導入と理論 -なぜプロファイリング、異なるアプローチ、ツール、およびそれらの違いが必要なのですか？
• 手動および統計プロファイリング -実践に移りましょう
• イベントプロファイリング -ツールとそのア​​プリケーション
• デバッグ -何も機能しない場合の対処方法

デバッグに関する会話を始める前に、それが何であるかを決定する必要があります。 伝統的に、 ウィキペディアに目を向けます：「デバッグ-エラーの検出、ローカライズ、および除去」。 一般に、プログラムのデバッグを成功させるには、2つのことが必要です（ただし、常に十分ではありません）：エラーが発生したプログラムの場所の変数の値、およびスタックトレース：関数呼び出しの順序、エラーまで また、プログラムが実行されている環境について知ることも役立ちます：空きメモリの有無（システムの制限（ファイル記述子の数など）など）ですが、これは記事の範囲をわずかに超えています。

ジャンルの古典

初心者プログラマーがプログラム内で「取得」し、変数の内容（適切な場所）とプログラムのロジック（関数呼び出し、条件）を調べたい場合、何をしますか？ 最も広く、最も単純で、最も効率的なデバッグ方法を使用します。コード全体に「印刷」を配置します（Python 2.xのprintステートメントとPython 3.xのprint（）関数）。 しかし、初心者がこれを犯すだけでなく、高度な開発者はデバッグに特別なツールを使用して数分で素早くエラーの原因を見つけてすべてを修正し、エラーの検索が数時間または数日にも及ぶことに気付かないのが面倒です。 ところで、このアプローチは「ジャーナリング」と呼ばれます。



これには、プログラムのデバッグに必要なすべての情報をログファイルに記録することも含まれます。 スクリプトが実稼働で動作し、エラーが散発的に発生する場合や、プログラムの長時間の作業後にのみエラーが発生する場合（起動後2〜3週間など）、他のオプションがない場合があります。



しかし、私たちはPythonで書いているので、組み込みのデバッグツールやコミュニティが提供するツールを使用してみませんか？ たとえば、通常のファイルへのログの代わりに、 Sentryを使用するのが理にかなっています。そのため、エラーメッセージに加えて、追加情報を送信できます。

Pythonデバッガー

Pythonにはデバッガが組み込まれています： pdbモジュール。 原則として、これにより記事が終了する可能性があります。 pdbは非常に強力なデバッガであり、他のすべては実際には単なる「装飾」です。 しかし、我々は続けます=）



名前からわかるように、pdbはgdb（GNU Projectデバッガー）-C（だけでなく）プログラムデバッガーから多くを取りました。 ちなみに、Pythonプログラムはgdbでデバッグできますが、少し複雑で長くなりますが、言語のデバイスを詳しく調べたい人や、Pythonのシステムモジュールを作成する人にとって、gdbはそれなしではできません。 さらに、gdbを使用すると、既に実行中のプログラムに（pidを介して）接続し、「その場で」デバッグを実行できます。



ここではpdbの詳細については説明しません。DougHellmannによる素晴らしい記事があります 。

ipython pdb

すぐにIPythonとipdbモジュールを配置することをお勧めします。

➜ pip install ipython ipdb
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

IPython（およびその一部としてのipdb）は、「より良い」コンソールを提供し、その結果、プログラムのデバッグがより便利になります。コードの強調表示、自動補完、コマンド履歴、オブジェクトの動的イントロスペクション、マジック関数、エイリアスなどです。 改善点の完全なリストは、ドキュメントにあるか、「？」と入力してIPythonコンソールから直接見つけることができます。 チームとして。 これはすべてデバッグに役立ち、シンプルで楽しいものになります。



ipdbでスクリプトデバッグを実行するには、いくつかの方法があります。

 ➜ python -m ipdb script.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 ➜ ipdb script.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらのコマンドは、デバッガーでプログラムを開き、好きなことを行うことができます：ブレークポイントの設定、操作のステップごとの調査、またはプログラムの実行-キャッチされない例外が発生すると、デバッガーは自動的に停止します。



しかし、通常、このオプションは使いすぎです。これらすべての「次」、「ステップ」で正しい場所に着き、手で休憩ポイント（「休憩」）を入れるのは毎回疲れます。 プログラムの適切な場所に次の行を挿入する方がはるかに便利です。

 import ipdb; ipdb.set_trace()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、この行が実行されると、プログラムは一時停止し、デバッガーが起動します。その後、プログラムの詳細な調査を開始できます。 本質的に、set_trace関数はブレークポイントの設定です。



Python Debuggerには別の操作モードがあり、set_trace関数よりも便利な場合があります。 「事後分析」と呼ばれます。指定されたトレースバックを使用してデバッガーを起動します。

 try: some_code() except: import sys import ipdb tb = sys.exc_info()[2] ipdb.post_mortem(tb)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

または：

 import sys import ipdb def run_debugger(type, value, tb): ipdb.pm() sys.excepthook = run_debugger some_code()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

「some_code」関数でキャッチされなかった例外がある場合、デバッガーは例外が発生したプログラムの場所で呼び出されます。

デバッグ

set_trace関数の興味深い代替物は、 ipdbをインポートしてライブラリ（dir関数の便利な代替手段）を参照し、デバッグを開始するだけのデバッグモジュールです。 モジュールの唯一の利点は使いやすさで、プログラムのどこかに行を挿入するだけです。

 import debug
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この行が実行されると、ipdbデバッガーが呼び出され、seeモジュールがインポートされます。

ipdbplugin

別の興味深い、今回は便利なライブラリー： nose-ipdb 。 その助けを借りて、エラー（例外）を使用してデバッガーを自動的に開始したり、誤ってテストされたテスト（nosを使用することを望みますか？ エラーが発生した場合にipdbデバッガーを起動するには、テストの実行時にキー「--ipdb」を追加するだけで十分です。

 ➜ nosetests --ipdb
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、誤って完了したテストでデバッガーを起動するには、キー--ipdb-failuresを追加する必要があります。

 ➜ nosetests --ipdb-failures
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、すべてを一度にキャッチできます。

 ➜ nosetests --ipdb --ipdb-failures
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

毎日このモジュールを使用していますが、それなしの生活は想像できません。

ヴェルクゼウグ

Flaskフレームワークの作成者であり、一般的に最もクールな Pythonプログラマーの1人であるArmin Ronacherによる素晴らしいプロジェクトは、 werkzeugと呼ばれ、WSGIアプリケーション用のさまざまなユーティリティのコレクションです。 そのうちの1つは、便利なトレースバックエラーを表示し、ブラウザーページのトレースバックの適切な場所で直接Pythonコンソールを起動できるクールなデバッガーです。



使用方法は非常に簡単で、適切なミドルウェアを使用してアプリケーションをラップするだけです。

 from werkzeug.debug import DebuggedApplication from myapp import app app = DebuggedApplication(app, evalex=True)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

彼らは、werkzeugはAjaxリクエストをデバッグすることさえできると言っていますが、残念なことに、私は個人的にこれを行ったことはありません。 この件に関するコメントを歓迎します。

django-pdb

もう1つの優れたモジュール、今回はDjangoのdjango-pdbです。 リクエストに適切なGETパラメーターがある場合（例： http : //127.0.0.1 : 8000 / app / view?ipdb ）、またはすべてのリクエストに対してデバッガーを実行できます。

 ➜ python manage.py runserver --ipdb
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

または、例外が発生したときにデバッガーを呼び出します（事後分析モード）：

 ➜ python manage.py runserver --pm
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

または

 POST_MORTEM = True
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

settings.pyで。

ジャンゴ拡張

しかし、Djangoでは、非常に便利なrunserver_plusコマンドを追加するdjango-extensionsモジュールを使用する方がはるかに優れています。 このバッテリーを使用すると、DjangoおよびWerkzeug（上記を参照）と友達になり、500エラーでページを楽しむことができます=）



この奇跡をすべて使用するには、runserver_plusコマンドを使用して開発サーバーを起動するだけです。

 ➜ python manage.py runserver_plus
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

歩sent

開発環境でプログラムをデバッグすることは、もちろん便利で良いことですが、最も難しいことは、実際のユーザーからのバグ報告によって問題を特定することです。 時にはそれは難しいです。 Pythonのすべての利点にもかかわらず、「テレパシー」モジュールは存在せず、開発者はユーザーの「何も機能しない!!! 11」という言葉に直面しています。



Sentryプロジェクトでは、例外テキスト、完全な例外トレース、各スタックトレース関数のすべてのローカル変数の値、およびその他の情報（ユーザーの環境（ブラウザー、OS）、すべてのリクエストヘッダー、一般的に開発者が望むすべて）を含むすべてのユーザーエラーを保存できます。



同一のエラーはグループ化されているため、プロジェクトの「パルス」を観察し、最初に最も重要な場所を修復できます。 セントリーを使用する別の例は、ロギングです。 議論の余地のある場所で、開発者にとって関心のある変数を含むメッセージをログファイルに追加するだけで、これらすべてが歩ryに表示されます。



しかし、最大のプラスは、これらすべてが本番環境で使用できることです（実際に使用する必要があります！）。

PuDB

別の興味深いデバッガー： PuDBは、グラフィカルインターフェイスを備えたコンソールデバッガーです。



これについてはあまり説明しません（正直なところ、私は積極的に使用しませんでした）。ユーザーint22hのHaber： Convenient debugger for Python / Djangoプロジェクトに関する短いメモを読むか、より完全なレビュー： PuDBを使用したPython / Djangoのデバッグをお勧めします。

Winpdb

スタンドアロンPythonデバッガー、今回は完全なGUIを使用： Winpdb ：



開発者は、winpdbはpdbより20倍高速であり、スレッドの操作もサポートしていると主張しています。 非常に大規模で詳細なチュートリアルは、このページcode.google.com/p/winpdb/wiki/DebuggingTutorialにあります。

IDE

プログラミングの普遍的な「ハーベスター」には別の言葉が必要です。IDE。エディターを離れることなく、コードの実行、プロファイル、または組み込みデバッガーの起動を可能にします。 Pythonでの開発向けに設計されたいくつかの製品、 PyCharm 、 PyDev 、 Wing IDE 、およびPTVSを取り上げます。





正直に言って、これらの各IDEを検討することにはあまり意味がありません。それらが存在し、タスクにうまく対処できることを知っているだけで十分です。組み込みのデバッガーをエディターから直接使用できます。本当に便利で、かっこよくて、かっこいいです。



読んでコメントしてくれたみんなに感謝します。



ウラジミール・ルドニク、

Mail.Ruカレンダーのテクニカルディレクター