Mitmproxyを使用したHTTPトラフィックの分析

Web開発者の実践では、HTTPを介してサーバーと通信するアプリケーションのトラフィックを追跡および分析する必要がある状況がしばしば発生します（たとえば、モバイルデバイスまたはHTTP APIのアプリケーションのテスト）。



従来、トラフィックをリッスンするために使用されていたツール（ 既に説明した tshark、ngrepおよびtcpdump）は、この目的には適していません。HTTPプロトコルを操作するための機能が制限されています。



HTTPトラフィックの分析には、より専門的でシンプルで効果的なソリューションがあります。 会う： mitmproxy ロシア語では、彼に関する詳細な出版物はほとんどありません。 この記事では、mitmproxyとの経験を共有し、皆さんが役立つことを願っています。

一般的な情報

Mitmproxyは、次のものを含むソフトウェアツールのセットです。

• mitmproxy自体は、オンザフライでトラフィックをインターセプトする対話型コンソールプログラムです。
• mitmdumpは、HTTPプロトコルのtcpdumpの類似物として説明できるユーティリティです。トラフィックを傍受し、それに関するすべての情報をテキストファイルに保存します。
• libmproxyは、すべてのmitmproxy機能を実装するPythonのライブラリです。

mitmproxyという名前は、略語MITMに由来します。これは、中間者または「中間者」を意味します。 これは、攻撃者が2つの取引相手の間の伝送チャネルに接続して伝送プロトコルに介入し、情報を表示、削除、および歪める通信チャネルを侵害する方法です。 mitmproxyは同様の方法で機能します。プロキシサーバーとして使用され、すべてのHTTPトラフィックを登録します。 プロキシサーバーと同様に、場合によっては、mitmproxyはユーザーリクエストとそれらへの応答の両方を変更できます。

mitmproxyの原理と機能をより詳細に検討してください。

仕組み

暗号化されていないHTTP接続の場合、すべてが簡単です：mitmproxyはクライアント（モバイルデバイスのブラウザーなど）からの接続を受け入れ、その情報をコンソールに表示（またはテキストファイルに保存）してから、リクエスト受信者からクライアントに応答を返します。



Mitmproxyは、安全なHTTPSトラフィックを傍受するためにも使用できます。 mitmproxyまたはmitmdumpが起動すると、一連のCAファイルが〜/ .mitmproxyディレクトリに作成され、それに基づいて置換証明書が生成されます。 当然、ブラウザはこれらの証明書を疑わしいものとして識別し、mitmproxyを使用してSSL接続を確立しようとするたびに適切な警告を表示します。



この警告を防ぐには、ブラウザーが使用する証明書のリストにmitmproxyからの証明書を追加できます（詳細な手順については、 こちらを参照してください ）。

これらの2つの条件が満たされると、クライアントは確立されている接続が安全であると結論付けます。



Mitmproxyは、安全なHTTPSトラフィックも傍受できます。 傍受手順は、次の手順で構成されます。

1. クライアントは、mitmproxyとの接続を確立します。
2. Mitmproxyは200応答をクライアントに送信します（接続が確立されました）。
3. クライアントは、リモートサーバーと同じ方法でmitmproxyと対話し、SSL接続を確立します。 ホスト名を指定するには、SNIを使用します。
4. Mitmproxyはサーバーに接続し、クライアントが指定したホスト名を使用してSSL接続を確立します。
5. それに応じて、サーバーはCNおよびSANパラメーターの値を含むSSL証明書を送信し、それに基づいて置換証明書が作成されます。
6. Mitmproxyは偽の証明書を生成し、クライアントとのSSLダイアログを継続します。ステップ3で中断します。
7. クライアントは、確立されたSSL接続を介して要求を送信します。
8. Mitmproxyは、手順4で確立されたSSL接続を介してサーバーに要求を送信します。

より明確に、保護されたトラフィックを傍受するプロセスは、次の図の形式で表すことができます。

なぜそれが必要ですか

mitmproxyという名前は、最も一般的なタイプの攻撃の1つに由来します。 公式の製品ドキュメントでさえ、「攻撃」、「傍受」などの言葉でいっぱいです。 これはすべて、このツールがハッキングツールとして機能できることを示唆しています。 もちろん、mitmproxy（同様の機能セットを備えたすべての製品-いわゆるスニファー）は違法な目的に使用できますが、明らかな理由により、これについては説明せず、合法的な使用事例に焦点を当てます。



Mitmproxyは、まずWebアプリケーションのテストとデバッグに使用できます。 これを使用すると、アプリケーションが行う要求と受信する応答に関する詳細情報を取得できます。 また、mitproxyはいくつかのREST APIの機能の研究に役立ちます。特に文書化が不十分で、クローズド（および非常に疑わしい）テクノロジーを使用しています。



第二に、Mitmproxyは、トラフィックインターセプトを使用して透過プロキシモードで動作できるため、疑わしいアプリケーションのネットワークアクティビティの分析に使用できることを意味します。

Mitmproxyのテスト

設置

現在、mitmproxyはLinuxリポジトリに含まれており、標準パッケージマネージャーを使用してインストールできます。

 $ sudo aptitude install mitmproxy

他の方法でもインストールできます。

 $ pip install mitmproxy

または

 $ easy_install mitmproxy

最初の打ち上げ

mitmproxyの仕組みの具体例を見てみましょう。 ブラウザ（この場合はFirefox）を開き、設定（メニュー「設定」→「ネットワーク」→「接続」）のセクションと「プロキシサービスの手動設定」セクションで、mitmproxyがプロキシサーバーとしてインストールされているマシンを示します。



sshを介してmitmproxyがインストールされているサーバーに接続し、次のコマンドを実行します。

 $ mitmproxy

その後のコンソールは次のようになります。







このモードを終了するには、qを押します。 ヘルプは、疑問符（？）を示すキーの組み合わせを押すことで取得できます。



ブラウザで任意のサイトを開きます-例えば、ya.ru。 このサイトへのすべてのリクエストはコンソールに表示されます：







矢印キーを押して、クエリのリストをナビゲートできます。 qキーを押すと、メインウィンドウに戻ることができます。 リクエストに関する詳細情報を表示するには、リクエストにカーソルを移動してEnterキーを押す必要があります。







[リクエスト]フィールドには、リクエストに関する詳細情報（リクエストされたホスト、リクエストが行われたソフトウェア、送信されたヘッダー）が表示され、[レスポンス]フィールドには受信したレスポンスに関する情報が表示されます。



Tabキーを使用して、これらのフィールドを切り替えることができます。 qキーを押すと、クエリのリストに戻ることができます。



それらに対する要求と応答は変更できます。 これを行うには、いわゆるインターセプトフィルターを使用します。 フィルターを入力するには、iキーを押します。 たとえば、ya.ruなどのフィルターとして導入します。このアドレスを含むすべてのリクエストはインターセプトされます。 リスト内のインターセプトされたリクエストはオレンジ色で強調表示されます。







このようなリクエストは、承認されない場合は処理されません。 要求を受け入れるには、カーソルをその要求に移動してキーaを押し、傍受したすべての要求（キーA）を受け入れる必要があります。



カーソルを要求に移動してEキーを押すと、要求に関する詳細情報を表示できます（Eは英語のイベントの最初の文字-「イベント」です）。 この要求の処理中に発生したイベントログが開きます。







要求と回答の両方を編集できます。 編集機能は、テスト中に役立つ場合があります。たとえば、特定の状況をシミュレートし、サーバーから特定の応答を受信したアプリケーションの動作を確認できます。



目的のクエリにカーソルを移動し、カーソルを移動してEnterキーを押します。 次に、カーソルを「要求」フィールドに移動し、Eキーを押します（単語編集の最初の文字はeditです）。 コンソールの下部に編集メニューが表示されます。







リクエスト全体（Qキー）と個々のパラメーター（パス（Pキー）、URL（U）、ヘッダー（H）、フォーム（F）、ボディ®およびメソッド（M））の両方を変更できます。



同様に、応答の編集。 コード（キーC）、メッセージ（M）、ヘッダー（H）、およびbody®を編集できます。

追加機能

プロキシ認証

mitmproxyでは、プロキシを使用する前にユーザー認証モードをアクティブにできます。 認証ヘッダーはリクエストから削除され、上位サーバーに転送されます。 現在まで、基本的なHTTP認証のみがサポートされています。 認証は、次のオプションを使用して構成されます。

 ＃匿名ユーザーによるプロキシの使用を禁止
 $ mitmproxy --nonanonymous 

 ＃指定したユーザーのみがプロキシを使用できるようにする
 $ mitmrpoxy --singleuser <ユーザー名> 

 ＃ファイルで指定されたパスワードのいずれかを入力する場合のみ、プロキシの使用を許可します。
 $ mitmproxy —htpasswd <パスワードファイルへのパス>

Cookieバインディング

Cookieバインディング機能（スティッキーCookie）は、認証が必要なサービスを使用する場合に便利です。 このようなサービスに一度ログインすれば十分であり、mitmproxyは各リクエストに適切なCookieを自動的に追加します。 その後、すべてのリクエストは再認証なしでサーバーに送信されます。



Cookieバインディングモードは、次のようにアクティブになります。

 $ mitmproxy -t <フィルター>

プロキシされたすべてのリクエストに認証ヘッダーを追加することもできます。 これには-uオプションが使用されます。

リバースプロキシモード

このモードでは、すべての要求がアップストリームサーバーに送信されます。 この場合のMitmproxyは、要求を監視およびインターセプトすることにより、一時的なレイヤーとして使用できます。

次のコマンドを使用して、リバースプロキシモードをアクティブにします。

 $ mitmproxy -P http [s]：//ホスト名[：ポート]

アンチキャッシュ機能

Mitmproxyは、リクエストからif-modified-sinceおよびif-none-matchヘッダーを削除できます。 これにより、要求されたドキュメントがキャッシュにあるとブラウザが報告した場合でも、サーバーからの完全な応答をいつでも表示できます。



この機能は、次のコマンドを使用してアクティブにします。

 $ mitmproxy --anticache 

クライアントリクエストを再生する

クライアント側の再生機能を使用すると、以前に保存したHTTPダイアログからの要求を再生できます。 要求は次々に実行されます。1つの要求を送信することにより、mitmproxyはサーバーからの応答を待機し、その後だけ次へ進みます。 したがって、クライアントの動作は、保存されたダイアログに記録された動作とは異なる場合があります。保存されたダイアログでは、いくつかのリクエストを同時に実行できます。



次のコマンドを使用して、クライアントリクエストを再生できます。

 $ mitmproxy -c <保存されたダイアログへのパス>

Mitmdump

前述のように、Mitmdumpはtcpdumpとまったく同じように機能するユーティリティであり、HTTPプロトコルに対してのみ機能します。 すべてのHTTPトラフィックをインターセプトし、それに関する情報を別のテキストファイルに書き込みます。



mitmdumpを開始するには、mitmproxyをプロキシモードで実行してから、次のコマンドを実行する必要があります。

 $ mitmdump -w <ファイル名>

保存された情報は、正規表現を使用してフィルタリングし、新しいファイルに保存できます。

 $ mitmdump -nr <file1> -w <file2> "〜m post"

上記の例では、mitmdumpはファイル1から特定の基準に一致する要求（この場合はPOST要求）を選択し、ファイル2に書き込みます。



Mitmdumpは、ファイルからクライアントリクエストに関する既に保存された情報を読み取り、これらのリクエストを再度再生し、結果を新しいファイルに保存できます。

 $ mitmdump -nc <ファイル1> -w <ファイル2>

この機能は、一部のWebアプリケーションをテストするときに役立ちます。

おわりに

この記事では、mitmproxy機能の概要を簡単に説明しました。 詳細を知りたい人のために、ここにいくつかのリンクがあります：

• 公式のmitmproxyドキュメント 。
• モバイルアプリケーションのトラフィックの追跡に関する記事 。
• 開発者のAltm CortesiによるMitmproxyの原則の説明 。

何らかの理由でここにコメントを残すことができない読者は、私たちのブログを歓迎します 。