トラフィックインスペクター：完全再起動

こんにちは、Habr！ ほぼ12年前、私たちSmart Softは、主力製品であるTraffic Inspectorの最初のバージョンをリリースしました。 この間、従来のプロキシサーバーから、プロキシ、メール、アンチスパム、Webサーバーの機能とフィッシングブロッカー、RBL、RASダイヤラーサービスモジュール、NetPoliceコンテンツフィルタリングプラグイン、高度なCCC認定請求システムを組み合わせたユニバーサルセキュリティゲートウェイに進化しましたFSTEC、およびさまざまな種類のトラフィック（IMAP、SMTP、POP、NAT、およびプロキシ）を考慮する機能。



深刻な製品と同様に、進化の過程でトラフィックインスペクターに欠陥がありました。 今日、私たちは過去数年にわたって当社の専門家によって実行されたエラーに関する作業をまとめています。

低いトラフィックインスペクターの安定性

トラフィックインスペクターの中心的なコンポーネントはネットワークドライバーです。ネットワークドライバーは、トラフィックデータを直接収集し、プログラムサービスに送信します。 ドライバーコードはカーネルモードで実行され、ここでエラーが発生すると、「ブルースクリーンに陥る」、強制的に再起動し、保存されていないデータがすべて失われます。 このクラスのプログラム（インターネットゲートウェイ）は、「設定-構成-忘れた」という原則に基づいて運用できることがお客様にとって重要です。 コードとエラーメッセージが分析され、ドライバーの安定性が低いという問題は2014年の初めに正常に解決されました。「ブルースクリーン」はめったに発生しません。





他のアプリケーションのスクリーンショット



ドライバーについて、開発部長のAlexander Yamashkin氏：



保護が実装される参照モデル（OSI）のレベルが低いほど、アプリケーションに対する透過性が高くなることが知られています。 ただし、このレベルを下げると、使用可能なメカニズムのセットが減少し、「エラーの価格」が高くなります。 ネットワークインターフェイスを通過するすべてのパケットの保証された分析のために、データリンク層を参照するNDISが選択されましたが、エラーのコストはBSODでした。 現時点では、サードパーティのドライバーと競合する場合にのみドライバーの問題が発生する可能性があることを確実に伝えるために、エラーの分析に多くの時間を費やしました。

低速パフォーマンスのトラフィックインスペクター

64ビットプロセッサは2003年に登場しました。 同時に、Smart-Softでは、Traffic Inspectorサービスは10年間長い間32ビットのままであり、これは多くの場合、システム管理者の間でのプログラムに対する不満の原因でした。 32ビットプラットフォームとソフトウェアには、多くの重要な制限があります。4TBを超えるハードディスク領域のサポート、3 GBを超えるRAMのサポート、およびユーザースペースアプリケーションの2 GBを超えるサポートはありません。 Traffic Inspectorプロキシサーバー（サービスの一部として実装）は、利用可能なメモリを積極的に使用するように設計されています。 32ビットバージョンのサービスは、しばしばメモリの上限に制限されたメモリリソースをすぐに「消費」し、プログラムはシステムで4096を超えるスレッドを開くことができず、システムは負荷がかかってハングし、プロキシは大幅にスローダウンし始めました。 プログラムの最も重要な改善点は、2013年末にリリースされた64ビットバージョンのサービスのリリースです。 新しいバージョンでは、x86とx64の両方のバージョンがあり、ユーザー自身がインストールするバージョンを決定します。 古いメモリの問題を忘れることができ、プロキシは最大1000の同時HTTP要求を簡単に処理できるようになりました。



64ビットプラットフォームでの作業の実装に関するAlexander Yamashkin氏：



現在、プログラムには32ビットと64ビットの両方のバージョンがあり、ユーザー自身がインストールするものを決定します（現時点では、設定の70〜80％が64ビットです）。 後者を使用すると、オペレーティングシステムによってプロセスに割り当てられる2 GBのメモリ容量に課せられた制限が解除されるため、次のメモリブロックをプロセスに割り当てることができない場合にエラーが発生することはありません。

Traffic Inspectorでの遅いWebポータルとレポート

WebポータルのTraffic Inspectorは、ネットワークの機能およびネットワーク統計の他の側面に関するレポートの生成を提供します。 多くのお客様は、統計データの収集とレポートの編集のために、トラフィックインスペクターを購入しました。 単純なレポートを作成するプロセスでさえ長い間引きずられる可能性があるため、彼らの失望を理解することができました。 WebポータルをPHPおよび関連技術に変換することで、この問題を克服することができました。



ポータルをPHPに翻訳するAlexander Yamashkin：



バージョン3.0.1より前は、ポータルは.Net Frameworkを使用してC＃で作成されていました。 インタープリターの変更に加えて、レポート作成サービスが実装され、レポートを生成するためのすべてのロジックがレンダリングされました。 ポータルには、GUIという1つの機能しかありません。



ポータルの作業を加速することに加えて、データベースの配布と長期間のデータストレージが導入されました。



データを長期間保存する必要がある場合は、サードパーティのDBMSを使用することをお勧めします。 しかし、定期的にでも問題がありました。 MS SQLで1.5 TBのデータベースを維持する複雑さを想像してください。このデータの90％は使用されていません。 したがって、データベースを分割するメカニズムは3.0.2で実装され、期間の終わり（管理者によって設定された月/四半期/ 6か月/年）に、SQLiteを含むデータベースは運用作業から切断され、指定された期間のレポートを要求する場合にのみ使用されます。

使いやすさのトラフィックインスペクター

Traffic Inspectorプログラムに最初に出会った多くのお客様は、その開発と理解できないインターフェースの大きな難しさについてしばしば話しました。 最近、プログラムの使いやすさを改善するために多くの努力がなされました。



Traffic Inspectorのインターフェースは著しく変更されています。 さまざまなプログラム要素の使用がより簡単で便利になりました。 コンソールツリーの新しい構造では、要素はより論理的かつ便利に配置されます。 コンソールツリーのメインノード（オブジェクト、トラフィックアカウンティング、ユーザーとグループ、ルール、サービス、設定）のページのコンテンツが完全に改訂されました。 その結果、Traffic Inspectorプログラムの管理者は、プログラムのすべての機能、その設定に関する包括的な情報、および基本的な管理タスクを解決するためのリンクを簡単かつ便利に制御できます。 システムと多くのウィザードを追加する新しいユーザーは、プログラムの初期セットアップを可能な限り簡素化します。



新しいユーザー追加システムについてのAlexander Yamashkin：



プログラムに登録されていないユーザーからのインターネット接続を修正したシステムは、指定されたパラメーターに基づいて自動的にアカウントを作成するか、新しいアカウントの作成のみを確認して必要なアクセスルールを割り当てることができる管理者用のアプリケーションを作成できます。

Traffic Inspector 3.0.2の新機能

プログラムの最新の変更については、開発部長のAlexander Alexanderがコメントします。



主な改善点はレポートと新しい登録システムに関連しており、その他の改善点は非常に具体的です。 例：

• アクセスルールによってブロックされた要求を表示する機能が実装されました。 これにより、ブロックの理由を把握し、どのユーザーが禁止されたリソースにアクセスしようとしたかを確認できます。
• ロシア連邦での配布が禁止されている情報を含むドメイン名の統合登録に分類されたリソースをブロックするときに、拡張情報を表示します。
• ウイルス対策データベースのシグネチャとウイルス対策モジュールのライブラリを削除することにより、インストーラーを最小化する作業が行われました。 このデータは、モジュールを初めて使用するときにロードされます。
• 報告の速度を最適化するための作業が行われました。 すべてのリクエストが処理されただけでなく、データハッシュシステムがレポート生成サービスに実装されました。

Traffic Inspectorを変更する将来の計画

これについては、アレクサンダー・ヤマシュキンとヴァイダス・ダモシェヴィチウス、CTOでSmart-Softのパートナーが説明します。



アレクサンダー・ヤマシュキン：



情報リソースにアクセスするためのルールを作成するプロセスを、非常にシンプルで、洗練された管理者と初心者の管理者の両方が理解できるようにしたいと思います。



ヴァイダス・ダモシェヴィチウス：



現在、パッケージの分類のための技術的ソリューションを第7レベル（レイヤー7）で積極的に調査しています。トラフィックインスペクターに統合できるものを探しています。 統合が成功したら、ユーザーに新しい機能を導入します。 いつになるの？ それから、私たち自身のために高品質の指標を設定することで、統合の結果に満足するようになります。 また、レポートについても忘れていませんでした。レポートを改善し、レポートだけでなく、システム管理者がネットワークの異常を監視および監視するのに役立つ一連の分析ツールにしたいと考えています。

おわりに

Smart-Soft社は、ソフトウェアの欠点を考慮し、それを排除するための作業を実施しました。 プログラムは64ビットプラットフォームに移行し、個々のコンポーネントのパフォーマンスが大幅に向上しました。 数多くの修正と追加がプログラムのほとんどの側面に影響を及ぼしています。 新しいトラフィックインスペクターは、最新の機能を備えた新世代の多機能インターネットゲートウェイですが、同時に各ユーザーインターフェイスで理解できます。



PS：私たちが言っていないこと、訂正を望むことがあれば、私たちはあなたのコメントを聞いてうれしいです。