証明書スプーフィングなしのHTTPSリソースをフィルタリングする透過イカ（x86）

大規模なオフィスでは、インターネットフィルタリングのトピックが非常に重要であることは周知の事実です。 多くのソフトウェアおよびハードウェアソリューションがこのタスクに対処しています。 しかし、現在、以前にカットしたすべてのサイトはHTTPSプロトコルで動作します。 ポート443。ご存知のように、このプロトコルはトレース、リッスンなどができません。 また、プロキシサーバー、リダイレクタなどをフィルタリングするキャッシュは、HTTPのみをフィルタリングします。 ポート80。Vkontakte、Classmates、iphide.infoおよび他の多くの同様のサイトをカットする方法は？ 組織内の注文で個人メールの使用が禁止されている場合、個人メールへのアクセスをブロックする方法は？ はい、IPアドレスでフィルタリングできますが、それらは頻繁に変更され、多くのリソースには複数のIPアドレスがあります。 ファイアウォールレベルでそれらをブロックすることは、どういうわけか正統派の決定ではなく、完全に便利ではありません。



そして最近、友人が彼のオフィスでHTTPSフィルタリングを使用してキャッシュプロキシを作成していると私に言った、私はこれに興味がありました。



そして彼はSquid 3.5.8をレイズしました。 判明したように、暗号化されたHTTPSセッション（ssl_bump）をインターセプトする組織を再設計しました。インターセプトモード（「モード」）の代わりに、アクション（「アクション」）が導入されました。 最初にターゲットサーバーへの接続が行われ、次にクライアントとプロキシ間に安全な接続が作成されるサーバーファーストモードが、バンプアクションとして使用できるようになりました。 トラフィックを復号化せずにTCPトンネルを作成する「なし」モードは、「スプライス」アクションとして使用できるようになりました。



下位互換性を確保するために、「peek-and-splice」アクションが追加されました。このアクションでは、最初に作成された接続の種類（クライアントプロキシまたはプロキシサーバー）に関する決定がSSL helloメッセージに基づいて行われます。 接続に「スプライス」モードと「バンプ」モードをさらに使用する可能性を維持しながら、クライアントまたはサーバーの証明書を取得するためのアクション「ピーク」と「凝視」を追加しました。 クライアントまたはサーバーへの接続を閉じるための「終了」アクションが追加されました。 それは、必要なSSL BUMP、PEEK-and-SPLICE、およびTerminateです。 一般に、作業スキームは実際には非常に単純です。 SquidはHTTPSリソースに接続し、その証明書を受信し、リソースに関するデータ、特にブロックする必要のあるサーバー名を「見る」ことができます！ インターネット上のすべてのマニュアルは、証明書の代替を伴う中間者（MITM）攻撃について継続的に説明しています。一部のサイトおよび銀行のクライアントは機能せず、ユーザーは監視されていることがはっきりとわかります。 友人と一緒に、証明書を変更することなく、MITMなどを使用せずに、HTTPSをフィルタリングおよび追跡する方法を実現しました。これはすべて、ブラウザーをセットアップせずに透過モードで行います。



その後、私はいくつかの困難に直面しました。特に、Squidは重い負荷の下でsegoltitsyaを始めました。 しかし、問題は解決されました。 実際のところ、OpensslにはLibresslライブラリで修正されたいくつかのバグがあります。 したがって、まずLibresslシステムに統合し、次にSquidソースのbio.ccファイルにパッチを作成した後、後者のコンパイルを開始する必要があります。 行こう！ Debian Jessie x86ディストリビューションを使用することを予約し、最終的にSquidバージョン3.5.9（現時点では最新バージョン）を構築しました。私がすべてを噛むのが面倒だからです。

開始するには、パッケージのビルドの準備をします。

apt-get install git fakeroot build-essential devscripts apt-cache policy squid3 apt-get build-dep squid3 apt-get build-dep libecap2 apt-get install libssl-dev libgnutls28-dev
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

あなたのホームを散らかさないように、ソースを収集するフォルダに行くことを忘れないでください。 次に、Libresslをダウンロード、コンパイル、インストールします。

 wget http://ftp.openbsd.org/pub/OpenBSD/LibreSSL/libressl-2.1.6.tar.gz tar -xzvf libressl-2.1.6.tar.gz cd libressl-2.1.6
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

アセンブルしてインストールした後、ライブラリのハッシュを再読み取りします。

 ./configure make checkinstall --pkgname libressl --pkgversion 2.1.6 dpkg -i libressl_2.1.6-1_i386.deb ldconfig
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さて、デフォルトでLibreSSLの使用を設定する必要があります：

 mv /usr/bin/openssl /usr/bin/openssl-1 update-alternatives --install /usr/bin/openssl openssl /usr/bin/openssl-1 10 update-alternatives --install /usr/bin/openssl openssl /usr/local/bin/openssl 50 update-alternatives --config openssl
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Libresslをインストールできたかどうかを確認しましょう。

 openssl version LibreSSL 2.1.6
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

わかった！



これらの手順を完了したら、sources.listを編集して、テストブランチからのソースを含める必要があります（これは、新しいlibecapをコンパイルする必要があるためです。これは、Squidをビルドするために必要です）。

 deb-src http://ftp.de.debian.org/debian/ testing main contrib non-free
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

パッケージキャッシュの更新：

 apt-get update
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、テストから必要なソースをダウンロードします。

 apt-get source squid3/testing apt-get source libecap3/testing
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、libecapをビルドします。

 cd libecap-1.0.1/ dpkg-buildpackage -us -uc -nc -d
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ジャンクを削除して初心者をインストールしましょう：

 apt-get purge libecap2 dpkg -i libecap3_1.0.1-2_i386.deb dpkg -i libecap3-dev_1.0.1-2_i386.deb
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最新の Squidの最新かつ最も機能するスナップショットをダウンロードします。

 wget http://www.squid-cache.org/Versions/v3/3.5/squid-3.5.8.tar.gz
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

以前に受け取ったSquidソースを新しいものに更新し、新しいソースを使用してディレクトリ内で既に作業します。

 cd squid3-3.5.7/ uupdate -v 3.5.8 ../squid-3.5.8.tar.gz cd ../squid3-3.5.8/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてのパンを機能させるには、必要なオプションを使用してSquidをコンパイルする必要があるため、次のコンパイルオプションをdebian /ルールに追加します。

 --enable-ssl --enable-ssl-crtd --with-openssl
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここからbugs.squid-cache.org/attachment.cgi?id=3216からLibresslで正しく動作するために必要なbio.ccのパッチをダウンロードして適用します

 patch -p0 -i bug-4330-put_cipher_by_char-t1.patch
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、Squidのコンパイルとビルドを開始できます。 しかし、それほど速くはありません！ 少なくともx86アーキテクチャでは、すべてが問題なくコンパイルされますが、最後には、debパッケージをビルドする段階で、コンソールで親切に言われます。「ああ、ああ、ああ、libssl.so.32に必要な依存関係がわかりません」（これLibresslのライブラリのバージョン）。 Debianがそれについてどのように知っているかは理解できます。 次のように、「依存関係をチェックしない」オプションを指定してシステムをだまします。

 export DEB_DH_SHLIBDEPS_ARGS_ALL=--dpkg-shlibdeps-params=--ignore-missing-info
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、コンパイルとアセンブリを開始しましょう。

 dpkg-buildpackage -us -uc -nc
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

アセンブリ後、Squidの言語パックをインストールします。

 apt-get install squid-langpack
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、新しく作成したパッケージをインストールします。

 dpkg -i squid-common_3.5.8-1_all.deb dpkg -i squid_3.5.8-1_i386.deb dpkg -i squid3_3.5.8-1_all.deb dpkg -i squidclient_3.5.8-1_i386.deb
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

システムが満たされていない依存関係について一致した場合、次を実行します。

 apt-get -f install
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ほぼ完了。 / etc / squidディレクトリに移動して、そこに何かを変更しましょう。 SSLバンピングに必要なpemファイルを作成します。

 openssl req -new -newkey rsa:1024 -days 365 -nodes -x509 -keyout squidCA.pem -out squidCA.pem
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、squid.confを次の形式で配置します。

 acl localnet src 192.168.1.0/24 # RFC1918 possible internal network acl SSL_ports port 443 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl CONNECT method CONNECT dns_nameservers 8.8.8.8 http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localhost manager http_access deny manager http_access allow localnet http_access allow localhost http_access deny all #    intercept http_port 192.168.1.254:3128 intercept options=NO_SSLv3:NO_SSLv2 #    ,       #  ,   ,    ,   #    ,     ,      #   ,     =) http_port 192.168.1.254:3130 options=NO_SSLv3:NO_SSLv2 # ,  HTTPS     https_port 192.168.1.254:3129 intercept ssl-bump options=ALL:NO_SSLv3:NO_SSLv2 connection-auth=off cert=/etc/squid/squidCA.pem always_direct allow all sslproxy_cert_error allow all sslproxy_flags DONT_VERIFY_PEER #      (    .domain.com) acl blocked ssl::server_name "/etc/squid/blocked_https.txt" acl step1 at_step SslBump1 ssl_bump peek step1 # ,       ssl_bump terminate blocked ssl_bump splice all sslcrtd_program /usr/lib/squid/ssl_crtd -s /var/lib/ssl_db -M 4MB coredump_dir /var/spool/squid refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/|\?) 0 0% 0 refresh_pattern . 0 20% 4320 cache_dir aufs /var/spool/squid 20000 49 256 maximum_object_size 61440 KB minimum_object_size 3 KB cache_swap_low 90 cache_swap_high 95 maximum_object_size_in_memory 512 KB memory_replacement_policy lru logfile_rotate 4
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

構成について少しお話します。 ssl_bump、peek-n-spliceのドキュメントは非常に広範囲に渡っていますが、このタスクを行うには次のことを知る必要があります。 「ハンドシェイク」にはいくつかの段階があります（つまり、握手、サーバーとの対話）。 それらは公式ドキュメントに記載されています 。 SNIとBumpのピークの例に興味があります。 つまり、名前が示すように、SNI情報を見て接続をバンプします。 これの前に、 DONT_VERIFY_PEERオプションで、証明書が検証に合格していなくても証明書を受け入れる必要があることを示し、 sslproxy_cert_errorオプションでサーバーで証明書検証を無効にする必要があることを指定します。 指定されたルール「acl step1 at_step SslBump1」は、3つの可能なssl_bumpステップの最初のものです。 この手順を実行すると、SNIのみが取得され、それ以上は取得されません。 これで十分です。 次に、このACLを文字列ssl_bump peek step1で使用します。 つまり 、SNIを直接調べ、その後、SNIでブロックリストからserver_nameが見つかった場合、接続をブロックします。

次に、ファイアウォールを使用してSquidで必要なポートを起動します。

 iptables -t nat -A PREROUTING -p tcp -m tcp -s 192.168.1.0/24 --dport 443 -j REDIRECT --to-ports 3129 iptables -t nat -A PREROUTING -p tcp -m tcp -s 192.168.1.0/24 --dport 80 -j REDIRECT --to-ports 3128
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべて準備完了です！ Squidを厳soleに実行できます：

 systemctl start squid
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Squidですべてが正常かどうかを見てみましょう：

 systemctl status squid ● squid.service - LSB: Squid HTTP Proxy version 3.x Loaded: loaded (/etc/init.d/squid) Active: active (running) since  2015-09-26 21:09:44 YEKT; 2h 6min ago Process: 1798 ExecStop=/etc/init.d/squid stop (code=exited, status=0/SUCCESS) Process: 1818 ExecStart=/etc/init.d/squid start (code=exited, status=0/SUCCESS) CGroup: /system.slice/squid.service ├─1850 /usr/sbin/squid -YC -f /etc/squid/squid.conf ├─1852 (squid-1) -YC -f /etc/squid/squid.conf ├─1853 (logfile-daemon) /var/log/squid/access.log └─1854 (pinger)  26 21:09:44 squid squid[1850]: Squid Parent: will start 1 kids  26 21:09:44 squid squid[1850]: Squid Parent: (squid-1) process 1852 started  26 21:09:44 squid squid[1818]: Starting Squid HTTP Proxy: squid.
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

エラーがなければ、作業できます。 残念ながら、HTTPSリソースをブロックすると、「アクセスが拒否されました」というSquid'aメッセージは表示されませんが、代わりに、ブラウザは接続を作成できないというエラーを表示します。 誰かがこれを行う方法を教えてくれれば、私はとても幸せになります。



UPD：私が最初にコンパイルしたSquidのバージョン、つまり 3.5.9、迷惑なバグ（または機能）が見つかりました。これは、しばらくすると一部のHTTPSサイトが開かなくなるためです。 解決策：バージョン3.5.8をコンパイルします。



UPD2：3.5.9の問題に関する別のバグレポートを作成しました。何か明らかになった場合はトピックを更新します。

UPD3：バグが修正されたバージョン3.5.10がリリースされました。少なくともbio.ccファイルのパッチは既に適用されています。 まだテストされていません

UPD4：記事を少し編集しました。

UPD5：必要なすべてのパッケージ（SQUID 3.5.8）を含むアーカイブをダウンロードするための直接リンク 。これまでのところ、これが唯一の作業バージョンです！ HTTPSを透過的にプロキシすると、Squidが動作しなくなるため、残りのバージョンにはバグがあります。 X86のバージョン!!!





注意!!! 混乱を避けるために、バージョン3.5.8をインストールしてください！ 問題はありません。すべてが記事どおりに行われていれば、すべてが機能します。 上記のバージョンを配置した場合、透過フィルタリングの正しい動作を保証できません！



別のアップデート!!! Debian Testing srcリポジトリは3.5.10になりました!!! squeeze srcリポジトリをsources.listに追加します。 バージョン3.1がありますが、大丈夫です。すべてが必要に応じてバージョン3.5.8に更新され、ダウンロードしたソースのバージョンに応じてディレクトリパスのみを変更します。



UPD 12/02/15：誰かに松葉杖を強制した場合、私は謝罪します。 squid 3.5.8アーカイブをリロードしましたが、debパッケージが1つありませんでした！ squid 3.5.8_all。



UPD 12/02/15：注意！ libresslのインストールに問題がある場合は、これを行う必要があります：まずopensslをインストールしてから、libresslをインストールします（パッケージアーカイブからバージョンをインストールする場合は、記事のようにopensslをlibresslに置き換えることを忘れないでください！）。 これにより、libssl.so.32ライブラリの「見えない」問題が解決されます。



UPD 10.12.15：記事の次のバージョンが登場しました。Squidのコンパイルとパッケージのビルドに対するアプローチが少し異なります。 こっち



UPD 12/14/15：同僚と素晴らしいニュースを急いで共有します！ タンバリンを使って踊ることなく、Squidの新しいバージョンを動作させる方法を見つけました！ クライアントとSquidの設定で同じDNSが必要です！ 私の場合、バインドはSquidを使用してゲートウェイ上で回転しています。 彼はクライアントを彼に割り当て、カルマル指令：

 dns_nameservers 127.0.0.1
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

。 その後、すべてが正常に機能しました。 LibresslなしでコンパイルされたSquid 4.0.3でテスト済み！



UPD 12/14/15：理由はわかりませんが、現時点ではDebian 8.2では、Squidをビルドするときに、上記の方法でmime.confファイルが見つからなかったことを示すメッセージが表示されます。 本当に、Kalmarのソースにはmime.conf.defaultがあるためです。 私は解決策を見つけました。 2つのファイルを編集する必要があります。

1）debian / squid-common.installを実行し、次の行を追加します

 etc/squid/mime.conf
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この形式で：

 etc/squid/mime.conf.default
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2）また、パッケージをインストールした後、ファイルの名前が自動的に「読み取り可能なビュー」に変更されることを確認する必要があります。 mime.confで。 これを行うには、debian / squid-common.postinstファイルを編集して、次の形式にします。

 #! /bin/sh set -e case "$1" in configure) mv /etc/squid/mime.conf.default /etc/squid/mime.conf ...........
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

つまり、ファイル名変更行を追加し、残りはそのままにして、触れないでください。

すべて、パッケージを形成した後、それらが形成されて配信されます。



UPD 06/19/17：linux-admin.tkドメインが私から盗まれたので、新しい「通常の」ドメインを作成する必要があったため、リンクを変更してアーカイブをダウンロードしました。



UPD 05/04/18： 新しい記事を書きました。これは、Squidの新しいバージョンの不具合の問題を解決します。IPアドレスの代わりに美しいドメイン名+ ILVロックをバイパスします。

私は同志のドミトリー・ラフマトゥリンに感謝したいと思います。彼がいなければ、上記のことはできませんでした。 また、libsslのエラーに関する私のバグレポートに迅速に対応してくれたSquid開発者に感謝します。 そして、ToasterのNadz Goldmanとgmax007の2人のおかげで、メインゲートウェイとは物理的に別のサーバーにSquidを移植するという私の考えを正しい道で送ってくれました。