Pythonのプロファイリングとデバッグ、練習に移りましょう

前回の記事では、プロファイリングと最適化の概念を定義し、プロファイリングとツールの種類に対するさまざまなアプローチに精通しました。 プロファイラーの歴史に少し触れました。



本日は、実践に移ることを提案し、手動プロファイリング手法（および「注視手法」）の例を示します。

• 導入と理論 -なぜプロファイリング、異なるアプローチ、ツール、およびそれらの違いが必要なのですか？
• 手動および統計プロファイリング -実践に移りましょう
• イベントプロファイリング -ツールとそのア​​プリケーション
• デバッグ -何も機能しない場合の対処方法

トレーニング

例やトレーニングなしで実践できることは何ですか？ 私は長い間、どのようなプロジェクトを教育ツールとして採用する価値があるかを考えていました。 私の意見では、これはプロジェクトオイラー -数学およびコンピューターパズルのコレクションです。提案された問題を解決するには数値アルゴリズムを使用する必要があり、最適化せずに答えを探すのは何年も続くことがあるからです。



一般に、オイラープロジェクトのパズルを解くことを強くお勧めします。 気を散らし、瞑想し、リラックスし、同時に脳を良い状態に保つのに役立ちます。



記事の例として、 タスク3を取ります 。

13195の素数は5、7、13、および29です。

素数である600851475143の最大の除数は何ですか？

「額」という簡単なソリューションを作成します。

"""Project Euler problem 3 solve""" from __future__ import print_function import sys def is_prime(num): """Checks if num is prime number""" for i in range(2, num): if not num % i: return False return True def find_prime_factors(num): """Find prime factors of num""" result = [] for i in range(2, num): if is_prime(i) and not num % i: result.append(i) return result if __name__ == '__main__': try: num = int(sys.argv[1]) except (TypeError, ValueError, IndexError): sys.exit("Usage: euler_3.py number") if num < 1: sys.exit("Error: number must be greater than zero") prime_factors = find_prime_factors(num) if len(prime_factors) == 0: print("Can't find prime factors of %d" % num) else: print("Answer: %d" % prime_factors[-1])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

気配りのある、または経験豊富な読者は、すぐに私をnoobと呼び、このプログラムの問題に名前を付け、その最適化のためのいくつかのレシピを与えるかもしれませんが、特別な簡単な例を取り上げて、このコードが良いと考えているふりをして、途中で最適化します。



確認するには、除数がわかっている数字を使用してプログラムを実行します。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python euler_3.py 13195

回答：29

プログラムによって発行された回答29は正しいです（問題の説明に記載されています）。 やった！ 次に、興味のある番号600851475143でプログラムを実行します。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python euler_3.py 600851475143

そして...何も起こりません。 CPU使用率は100％で、プログラムは数時間操作した後でも完了していません。 私たちは理解し始めます。 正しく動作するコードのみを最適化できることを思い出しますが、プログラムを少数で確認し、答えは正しかったことを思い出します。 明らかに、問題はパフォーマンスにあり、最適化を開始する必要があります。

視線法

実際には、引数13195でプログラムのプロファイルを作成します（動作時間が適切な場合）。 しかし、私たちはここで、そして一般的に6月のためにトレーニングしているので、「注視法」を使用します。



コードを開き、注意深く調べます。 数Nの約数を検索するために、間隔sqrt（N）+ 1 ... N-1から数を整理することは意味がないことを理解します（幸運ならすぐに理解します） 。 間隔2 ... sqrt（N）の数値を反復処理するときに、この範囲のすべての除数が既に見つかりました。 コードを少し変更します（9行目と18​​行目を参照）。

 """Project Euler problem 3 solve""" from __future__ import print_function import math import sys def is_prime(num): """Checks if num is prime number""" for i in range(2, int(math.sqrt(num)) + 1): if not num % i: return False return True def find_prime_factors(num): """Find prime factors of num""" result = [] for i in range(1, int(math.sqrt(num)) + 1): if is_prime(i) and not num % i: result.append(i) if is_prime(num): result.append(i) return result if __name__ == '__main__': try: num = int(sys.argv[1]) except (TypeError, ValueError, IndexError): sys.exit("Usage: euler_3.py number") if num < 1: sys.exit("Error: number must be greater than zero") prime_factors = find_prime_factors(num) if len(prime_factors) == 0: print("Can't find prime factors of %d" % num) else: print("Answer: %d" % prime_factors[-1])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

確認するには、除数がわかっている数でプログラムを再度実行します。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python euler_3.py 13195

回答：29

主観的には、プログラムははるかに速く動作しました。つまり、興味のある番号600851475143でプログラムを再び起動することを意味します。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python euler_3.py 600851475143

回答：6857

私たちはサイトで答えを確認し、正しいことが判明し、問題が解決され、道徳的な満足を感じています。



プログラムは許容可能な時間（1分未満）で完了しました。答えは正しかったので、この特定のケースでさらに最適化する意味はありません。 タスクを解決しました。 覚えているように、最適化で最も重要なことは、時間内に停止できることです。



はい、Project Eulerのメンバーがパブリックドメインで回答とソリューションを共有しないように求めていることは承知しています。 しかし、タスク3の答えはグーグルです（たとえば、「プロジェクトオイラー問題3の答え」という条件で一度に答えるので、答えを書いても大丈夫だと思います）。

手動プロファイリング

何が何であるかをすばやく把握する最も一般的な方法の1つ。 最も基本的なケースでは、unixユーティリティ「time」を使用すると、次のようになります（最適化前）。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜時間python euler_3.py 13195

回答：29

python euler_3.py 13195 3.83sユーザー0.03sシステム99％CPU 3.877合計

（最適化後）：

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜時間python euler_3.py 13195

回答：29

python euler_3.py 13195 0.03sユーザー0.02sシステム90％cpu 0.061合計

ほぼ65倍の加速（〜3.87秒から〜61ミリ秒）！



手動プロファイリングも次のようになります。

 import time ... start = time.time() prime_factors = find_prime_factors(num) print("Time: %.03f s" % (time.time() - start))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

結果：

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python euler_3.py 600851475143

回答：6857

時間：19.811秒

または、小さなプログラムのパフォーマンスを測定するために設計された特別な「 timeit 」モジュールを使用します。 適用例：

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python -m timeit -n 10 -s'import euler_3 '' euler_3.find_prime_factors（600851475143） '

10ループ、最高：3ループあたり21.3秒

手動プロファイリングはいつ適用できますか？ まず、これは開発者間でさまざまな種類の競争を行うのに最適な方法です（「私のコードはあなたのものよりも速くなったので、私は優れたプログラマーです！」）、そしてそれは良いことです。 第二に、プログラムの速度を決定するために「目で」必要な場合（20秒？長い！）または改善の結果を取得する（コードを100倍高速化する！）。



しかし、最も重要なアプリケーションは、コードの実行時の統計情報を実稼働環境でほぼリアルタイムで収集することです。 これを行うには、メトリックを収集してグラフを描画するために、測定された時間を任意のシステムに送信します（ GraphiteとStatsDをグラファイトの アグリゲーターとして使用するのが大好きです）。



これを行うには、単純なコンテキストマネージャーを使用できます。

 """Collect profiling statistic into graphite""" import socket import time CARBON_SERVER = '127.0.0.1' CARBON_PORT = 2003 class Stats(object): """Context manager for send stats to graphite""" def __init__(self, name): self.name = name def __enter__(self): self.start = time.time() return self def __exit__(self, *args): duration = (time.time() - self.start) * 1000 # msec message = '%s %d %d\n' % (self.name, duration, time.time()) sock = socket.socket() sock.connect((CARBON_SERVER, CARBON_PORT)) sock.sendall(message) sock.close()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その使用例：

 from python_profiling.context_managers import Stats ... with Stats('project.application.some_action'): do_some_action()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

または、シンプルなデコレータ：

 """Collect profiling statistic into graphite""" import socket import time CARBON_SERVER = '127.0.0.1' CARBON_PORT = 2003 def stats(name): """Decorator for send stats to graphite""" def _timing(func): def _wrapper(*args, **kwargs): start = time.time() result = func(*args, **kwargs) duration = (time.time() - start) * 1000 # msec message = '%s %d %d\n' % (name, duration, time.time()) sock = socket.socket() sock.connect((CARBON_SERVER, CARBON_PORT)) sock.sendall(message) sock.close() return result return _wrapper return _timing
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デコレータの使用例：

 from python_profiling.decorators import stats ... @stats('project.application.some_action') def do_some_action(): """Doing some useful action"""
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

出力では、たとえば次のように、興味のあるコードセクションのランタイムグラフを取得します。



これは、コードがライブサーバーでどのように感じられるかを常に示し、最適化するときが来ました。 次のリリース後にコードがどのように感じられるかを見ることができます。 リファクタリングまたは最適化が実行された場合、スケジュールを使用すると、結果をタイムリーに評価し、状況全体が改善または悪化したかどうかを理解できます。



この方法には欠点があり、最も重要なのは入力データへの依存性の欠如です。 したがって、素数「is_prime」を決定するための関数では、実行時間はこの数の値に強く依存し、この関数がプロジェクトで頻繁に呼び出されると、スケジュールは完全に無意味になります。 どのアプローチを使用できるのか、そしてどのようなアプローチを採用しているのかを明確に理解することが重要です。



もちろん、プログラムの統計を収集するため、グラファイトのメトリックの収集を通じてプロファイリングメソッドを呼び出すことができます。 しかし、最初の部分で採用した用語を遵守することを提案します。「統計的」プロファイリングとは、特定の間隔での情報の収集（サンプリング）を意味します。

ジャンゴstatsd

グラファイトとそのための集約サーバー（ StatsD ）を使用する場合、1つのメトリックに対して、複数のグラフを一度に取得します：最小および最大コード実行時間、および単位時間あたりの記録された読み取り値（関数呼び出し）の中央値と数。これは非常に便利です。 StatsDをDjangoに接続するのがどれほど簡単か見てみましょう。



モジュールを配置します。

➜pip install django-statsd-mozilla

settings.pyに設定を追加します：アプリケーションとミドルウェア：

 INSTALLED_APPS += ('django_statsd',) MIDDLEWARE_CLASSES += ( 'django_statsd.middleware.GraphiteRequestTimingMiddleware', 'django_statsd.middleware.GraphiteMiddleware', ) # send DB timings STATSD_PATCHES = ['django_statsd.patches.db']
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

それだけです！ 出力では、次のグラフを取得します。





StatsDの長所と短所：

+インストールと使用が簡単

+生産に適しています（一般的に必須）

-少しの情報（量/時間）

-グラファイトとstatsdが必要（必須）

統計プロファイラー

イベントプロファイラーとは異なり、統計プロファイリング用のツールはほとんどありません。 次の3つについてお話します。

• StatProfおよびdjango-live-profiler
• プロップとジャンゴ プロップ
• 新しい遺物

スタットプロフ

おそらく、Pythonで最も有名な統計プロファイラーはstatprofです。 私たちは置きます：

➜pip install statprof

たとえば、使用します。 このように：

 import statprof ... statprof.start() try: do_some_action() finally: statprof.stop() statprof.display()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

またはコンテキストマネージャーとして（pypiのバージョン0.1.2ではなく、 リポジトリのバージョンでのみ）：

 import statprof ... with statprof.profile(): do_some_action()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コードのプロファイルを作成してみましょう。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python euler_3.py 600851475143

累積自己比率

時間秒秒名前

44.42 8.63 8.63 euler_3.py:12:is_prime

37.12 7.21 7.21 euler_3.py:11:is_prime

16.90 19.40 3.28 euler_3.py:21:find_prime_factors

0.95 0.18 0.18 euler_3.py:9:is_prime

0.48 0.09 0.09 euler_3.py:13:is_prime

0.06 0.01 0.01 euler_3.py:14:is_prime

0.06 0.01 0.01 euler_3.py:20:find_prime_factors

0.03 0.01 0.01 euler_3.py:23:find_prime_factors

0.00 19.42 0.00 euler_3.py:37：<モジュール>

-サンプル数：3575

合計時間：19.420000秒

回答：6857

プログラムには2つのホットスポットがあります。 最初：is_prime関数の12行目と11行（論理的）、それらの実行にはプログラムの時間の約82％がかかり、2番目：find_prime_factors関数の21行目（約17％の時間）：

 if is_prime(i) and not num % i:
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

is_primeプログラムの最もホットな関数が呼び出されるのは、この行からです。 条件のオペランドを変更するだけで、プログラムを大幅に高速化できます。 除算の余り（num％i）を取得する操作は、関数「is_prime」よりも高速です。同時に、ある数値を別の数値で除算したときの余りがゼロではなく、「not num％i」はFalseを返します。 したがって、is_prime関数の呼び出し回数を大幅に削減します。

 if not num % i and is_prime(i):
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プロファイリングを開始します。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python euler_3.py 600851475143

累積自己比率

時間秒秒名前

87.50 0.22 0.22 euler_3.py:21:find_prime_factors

5.00 0.01 0.01 euler_3.py:20:find_prime_factors

5.00 0.01 0.01 euler_3.py:11:is_prime

2.50 0.01 0.01 euler_3.py:23:find_prime_factors

0.00 0.25 0.00 euler_3.py:37：<モジュール>

-サンプル数：40

合計時間：0.250000秒

回答：6857

プログラムの最もホットな場所は、関数「find_prime_factors」の21行目です。つまり、除算の残りを取得する操作（「num％i」）です。 関数「is_prime」の呼び出し頻度ははるかに低くなり、プログラムの実行時間の5％になりました。 プログラムの実行時間は大幅に短縮され、番号600851475143の最大単純除数はわずか0.25秒で見つかりました（プログラムを約80倍加速しました）。



プロファイラー操作の精度がどれだけ低下したかに注目しましょう：3575サンプル（最適化前の例）ではなく、40の測定のみが行われ、5行のみで情報が受信されました。 もちろん、これでは十分ではありません。 実際、これは統計プロファイラーの機能です。データを収集する時間が長くなればなるほど、分析はより正確になります。 たとえば、プログラムを10〜100回実行した場合、より正確な結果が得られます。







statprofの長所と短所：

+最小限のオーバーヘッド

+使いやすい

-実装は非常に粗雑で実験的です

-適切な結果を得るには、長い分析が必要です

-データ出力が少ない

Django-live-profiler

注目に値する別のポイントは、 django-live-profiler -statprofを使用するDjangoアプリケーションプロファイラーです。 動作させるには、まずzeromqをインストールする必要があります。

brew brew install zmq

モジュール自体を配置します。

➜pip install django-live-profiler

そして、アグリゲーターを実行します：

➜集約--host 127.0.0.1 --port 5556

次に、settings.pyにプロファイラーを追加します。

 #  application INSTALLED_APPS += ('profiler',) #  middleware MIDDLEWARE_CLASSES += ( 'profiler.middleware.ProfilerMiddleware', 'profiler.middleware.StatProfMiddleware', )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そしてurls.pyで：

 url(r'^profiler/', include('profiler.urls'))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サーバーを起動します。

➜python manage.py runserver --noreload --nothreading

ブラウザでプロファイラーを開きます： 127.0.0.1 ：8000 / profiler /リアルタイムでライブプロジェクトのプロファイリングの結果を観察することで人生を楽しみます：





また、django-live-profilerはSQLクエリを表示できます。





django-live-profilerの長所と短所：

+小さなオーバーヘッド

+本番環境に配置できます（非常に慎重に）

+ SQLクエリプロファイリング

-複雑なインストール、依存関係

-データ出力が少ない

プロップ

もう1つの統計プロファイラーはplop （Python Low-Overhead Profiler）と呼ばれます。 著者は、実装が粗雑であり、プロジェクトが活発に開発中であることを直ちに警告します。 インストールは簡単です：

➜pip install plop tornado

プロファイリングを開始します。

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）

➜python -m plop.collector euler_3.py 600851475143

回答：6857

/tmp/plop.outに保存されたプロファイル出力

オーバーヘッドはサンプルあたり5.89810884916e-05（0.00589810884916％）でした

サーバーを起動して結果を表示します。

➜python -m plop.viewer --datadir = / tmp /

ブラウザでhttp：// localhost：8888 /ページを開き、結果を楽しんでください：



PlopはDjangoアプリケーションのプロファイルに使用できます。 これを行うには、django-plopパッケージをインストールします。

➜pip install django-plop

プロファイラーに結果を配置する場所を指示するパラメーターをsettings.pyミドルウェアに追加します。

 MIDDLEWARE_CLASSES += ( 'django-plop.middleware.PlopMiddleware', ) PLOP_DIR = os.path.join(PROJECT_ROOT, 'plop')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

大規模なプロジェクトでは、グラフはより印象的に見えます。



写真は非常にサイケデリックであり、本格的なプロファイリングツールと呼ぶことは困難ですが、コールグラフがあるにもかかわらず、コードの最もホットなセクションが表示され、オーバーヘッドは最小限（著者によると2％のみ）、場合によってはこのツールでセクションを検出するのに十分ですプロファイリングが必要なコード。 Dropboxサービスは本番環境で直接plopを使用します。



plopの長所と短所：

+最小限のオーバーヘッド

+生産に投入可能

-複雑なインストール、依存関係

-非常に少ない出力

新しい遺物

統計プロファイラーについて言えば、プロファイリングだけでなく、サーバーとWebアプリケーション（およびモバイルバージョン）の監視を目的としたNew Relicサービスについても言うことができます。 希望する人は会社のウェブサイトですべての情報を見ることができ、無料でサービスを試すことができます。 私は個人的にNew Relicでの作業を試みたことがないため、これについては説明しません。また、自分で試したものについてのみ話すことに慣れています。 プロファイラページでスクリーンショットを表示します 。



長所と短所：

+本番用

+多くの異なる機能（プロファイリングだけでなく）

-有料（無料版があります）

-データは他の人のサーバーに送信されます



次の記事では、 Pythonをプロファイルするための主要なツールであるイベントプロファイラーの研究に進みます。 連絡を取り合いましょう！