Aeroexpressネットワークをどのように再編集したか：飛躍の興味深い例

Aeroexpressは若い会社です。 数年前、データネットワークを近代化するプロジェクトの実装を開始したとき、会社は非常に急速に発展しました。 社内のIT部門がある時点で気づいたほどです。チケットや他の端末の販売場所が多すぎるため、ネットワークを作り直すときです。また、手動のネットワークセットアップ手順を長い間交換するときが来たので これは、あらゆる企業の進化における論理的な段階です。 この段階で、顧客は正しいアーキテクチャを考え出し、さらに容量を拡張して安全マージンを考慮してインフラストラクチャを最適化し始めました。 目標は、将来起こりうる問題を回避するために、すべてを初めて行うことです。



主なタスクは、企業ネットワークを分割することで、1つにはユーザーとキャッシュデスク端末があり、もう1つには金銭取引が直接行われます。 決して交差しないようにしてください。 この状況での理想的な解決策は、ネットワークを物理的に区別すること、つまり2つの独立したネットワークを構築することです。 しかし、それは非常に高価です。 したがって、ネットワーク機器の正しい選択と構成は、ほぼ理想的なソリューションでした。 私たちの場合、これらはハードウェアファイアウォールでした。



次のタスクは、met石が2つのランダムなインフラストラクチャオブジェクト（AeroexpressデータセンターとM9コアスイッチを含む）に分類された場合でも、チケットを販売する機会を提供することでした。



しかも-社内でIPテレフォニーを作成し、インターネットから物理的に切断されていても機能できるようにします。



並行して、Ethernet over IP（MAC over IP）を解除し、さらに楽しく便利な機能をいくつか作成しました。

それがどうだったか、銀行がそれをどうやって、そしてそれをもっと安くする方法

新しいネットワークアーキテクチャの設計を開始した時点で、顧客はかなり単純なトポロジを使用していました。共有サーバーと「マネー」マシンを備えたメインデータセンター、バックアップデータセンター、オフィススタッフの車、電車内などのチケットターミナルです。 ネットワークの各エンドポイントで1つまたは別のアップリンクが発生し、企業ネットワークが行うべきトンネリング、保護、トラフィックフィルタリング、およびその他のサービスとの契約を提供したのはプロバイダーです。 顧客はプロバイダーの能力に大きく依存しており、契約の条件はしっかりと固定されていました。 たとえば、プロバイダーの所有物であるため、顧客は自分にとって重要な機器を見ることができませんでした。 したがって、Aeroexpressは、すべてのシステム管理者が手動で、またはプロバイダーのSLAで、通信障害に迅速に対応できますが、これは通常24時間以上です。 おそらくご想像のとおり、数分のアイドルチケットの販売でも災害です。 危機は待ち始めませんでした。 顧客チームは、アーキテクチャの制限をよく理解し、リスクを正しく予測し、問題が現れる前に防止することを決定しました。



このような状況では、銀行はすべての主要支店（モスクワの駅、空港、他の都市の駅、サンクトペテルブルクの開発センター、およびデータセンター）をすべて自社の光学チャネルに接続します。 高価なだけでなく、非常に高価なので、銀行、国営企業、携帯電話会社以外に、これを買う余裕のある人はほとんどいません。 したがって、最適なソリューションは、エンドユーザーへのすべてのトラフィックがトンネルでラップされ、安全に暗号化される統合仮想ネットワークを作成することです。



単一アドレスの仮想ネットワークにより、データセンターサーバーは、サンクトペテルブルクの開発者とシェレメーチエボの端末の両方をローカルネットワークのマシンとして見ることができるため、鉄のレベルから完全に抽象化し、プロバイダーをポイントに直接切り替えて、チャネルを変更できます。 これはおそらくプロジェクトで最も高価なアイテムでした。すべてのノードに機器を購入して配送する必要がありました。

建築

2つのデータセンターがあります。シェレメーチエボにある最初のデータセンター（メイン）と、M9にある2番目のデータセンターです。



当初、中央通信センターのLANアーキテクチャは、1つのコアスイッチを備えたフラットネットワークであり、他のすべてのスイッチは、バックアップ接続のないアクセススイッチのみでした。 設計ソリューションは、フェイルセーフ接続への移行を意味し、2つ目の接続は既存のカーネルスイッチに接続されました。 統合作業は、ビジネスシステムの運用を中断させないために、非常に短い夜間にのみ行うことができました。 したがって、移行計画は慎重に作成され、それに応じていくつかの段階で作業が実行されました。



IPアドレッシングスキーム全体が変更されました。 すべての接続が予約されています。 しばらくの間、2つのネットワークが並行して存在し、経験のある2週間のテストに合格して初めて、ネットワークのコアが新しい機器に移行されました。 会社のすべての施設でのネットワークインフラストラクチャの近代化と並行して、データセンターに新しいインフラストラクチャが作成されました。 情報システムの運用には、いわゆるIPネットワークを介したイーサネットデータ転送技術が使用されました。 「IPのMAC」。



顧客はサービスのアクセシビリティレベルの問題に正しくアプローチし、すぐに優先順位を付けました（通常、生産施設や銀行でも1つまたは2つの重要なサービスを簡単に特定できますが、その後は困難が始まります）。 主なものは、キャッシュゾーンにあるものでした。つまり、チケットのトランザクションが常に回転している支払いシステムです。 予備サイトへの救助に関しては、サービスシステム（デポ、エンジニアリングサブシステム）およびドキュメント管理のトレーニングが優先されませんでした。 転倒した場合、モーターの修理を停止することはありませんが、ネットワークが立ち上がったときにITシステムに情報を入力するために、紙にたくさん書く必要があります。



Aeroexpress ITサービスは、独自の管理サービスを割り当てています。 これ以前は、機器が自分のものではなかったため、顧客はインフラストラクチャを完全に管理できませんでした。 現在、Aeroexpressは各鉄片をリモートで認識し、インシデントに対応し、定期的なメンテナンスを実行できます。



ラストマイルのプロバイダー間の切り替えは、ウォッチドッグモードのルーターで直接行われます。ルーターはチャネルの品質を確認し、境界条件に達すると、それを単に変更します。 バックアップケースの2つのアクティブ/アクティブ回線に加えて、3番目の別個のプロバイダーを委託することができます（これは特にオフィスに当てはまります）。



これは、セキュリティに関してどのように見えるかです：







左側には、ITUで作成された2つの内部ゾーン-Inside（内部サービスの共通ゾーン）とCash（キャッシュセグメントの特別に保護されたゾーン）です。 レジのエリアには、駅や空港のレジのワークステーションとチケット販売機がありました。 Cashと他のサイトとの相互作用には、マルウェアのトラフィックをスキャンするための最も厳しい制限と最も厳しいルールが適用されました。 内部ゾーンには、会社のその他のサービス（電話、ビデオ監視、デバイス管理、ユーザーの一般的な内部セグメント、その他の場所ではゲストWi-Fi）が含まれます。 これらのサイトはVLANで分割され、パロアルト機器で終端されます。 内部ゾーンの機器には、スイッチ、電話、ビデオカメラ、アクセスポイント、およびユーザーの通常のコンピューターが含まれていました。



その前に、ユーザーとシステムには同じ権利があったことを思い出してください。 役割とアクセスゾーンがなかったため、チケット販売ターミナルのクルスク駅のどこかに適切に展開されたマルウェアが、理論的にはシステム全体を停止させる可能性がありました。 これですべてが適切に分離されました。



内部から外部へのアクセスは、作成された外部、インターネット、およびVPNゾーン（右側に表示）を介して行われました。 外部は外部WANセグメントであり、ルーターはそこに接続されていました。 インターネットはインターネットであり、プロバイダーからの最後のマイルはそこに接続されていました。 VPNは、データセンターへのVPN接続のゾーンです。 WANチャネルを予約するためにVPNが使用されました。 WANチャネルが低下した場合、トラフィックはVPNを通過しました。 一部のサイトでは、これが企業リソースにアクセスする唯一の方法でした（ウラジオストクのポイントの1つで、WANはありませんでした）。



トラフィック処理ルールのレベルで、アプリケーションとフローのフィルタリングが行われます。 ユーザーの場合、Palo AltoハードウェアはADグループから権利を奪い、サブシステムの場合、ルールのセットがあります-可能なこととそうでないこと。



ユーザーがメールでダウンロードまたは受信するものを制御するために、同じハードウェア上に「サンドボックス」が作成されました。 最初に署名分析、次に「サンドボックス」、数分後に手紙がエンドユーザーに届きます。 オフィスおよびデータセンターでは、これはチケットオフィスで複製を使用して行われます。フォールトトレランスクラスターはありませんが、バイパスがあります。



また、DDoSに対する（まだ単純な）保護-攻撃シグネチャと通常のアナライザーがあります。 必要に応じて、このモジュールはすぐにオンになり、「産業」攻撃を反映し始めます。

テレフォニー

プロジェクトの開始前に、顧客はすでにアスタリスクステーションを持っていました。 これは若い会社にとって素晴らしいソリューションであり、まるで時計のようにセットアップされました。 しかし、アスタリスクは、会社が急速に成長しているときに維持することが非常に難しく、Aeroexpressが急速に成長しているという特徴があります。 一般に、これはシステム管理者の能力によって解決されますが、ここでは2番目のタスク-配布が発生します。 プロジェクトの開始時点では、ネットワークの問題が原因で電話にアクセスできませんでした。



インフラストラクチャを実装しましたが、その主なビジネス要件はフォールトトレランスと配布でした。 データセンターにはサーバーのクラスターがあり、個々のブランチには顧客がサバイバルサーバーを持っています。



ブランチが企業ネットワークから切断されると、トラフィックはサバイバルサーバーを介してブランチ内で追跡され始めます。 15秒でアクセス不能-すべての電話はその場で再登録されます。 SIPリンクが確立され、警察や救急車などの都市に電話をかけることができます。 電話は通常どおり機能しますが、中央サーバーによって提供される高度な機能は使用できません（ただし、緊急モードでは十分です）。 そのため、インフラストラクチャの基盤はAvayaであり、SIP-SLおよび2線アナログSL（ロシア鉄道ネットワークへのローカル接続）を介して公衆電話網に接続します。





AVAYA IP-DECTベースステーション



モバイルオフィスチューブがオフィスに導入されました。 DECTベースステーション-これは、従来のWi-Fi電話を介してトラフィックを駆動することではありません。 時々Wi-Fiの方が優れています。 ただし、Wi-Fiを使用すると、チューブを購入するのに非常に費用がかかります。 安い中国語がありますが、彼らは6ヶ月間住んでいます。 通常の労働者は約千ドルかかりますが、デクトフスキーはわずか約300ドルです。



繰り返しますが、理論的には、DECTを作成するのではなく、オペレーターフェムトセルをインストールすることは可能ですが、チャネルを保護する必要があり（そしてフェムトは企業セグメントでの作業方法を知りません）、独自のルールとフィルターを設定します。 さらに、顧客はモバイルオペレーターとの追加契約を絶対に必要としませんでした。 電力のためにLANに接続するためのPoEがあります-これは、直接ケーブル回線に依存しないようにするためです。



同じ場所に、追加のFAXサーバー（実際に必要）、UC、特に職場のプレゼンスステータスサービスが展開されました。すべての従業員は、通信サークルの相手との回線の混雑を確認します。 これは非常に便利です。隣の部署に電話をかけたい場合、すぐに適切な人が話していることがわかります。 従業員は電話を置き、すぐに彼にダイヤルしました。

まとめ

仕事は自然に計画されたものであり、「私たちは問題を抱えている、私たちは緊急にならなければならない」のではないので、再び、交流することはとても楽しかった。 ビジネスプロセスは停止せず、乗客は内部で何かが変更されたことに気付かず、ITサービスとレジ係は定期的に新しいネットワークに切り替えました。 拡張のための場所が用意されています。 すべての先端。 一般に、私たちの側では単なる技術的な作業であり、Aeroexpressの側では、IT部門の非常に有能な作業であり、今後数年間の開発を計画しています。



念のため、質問用の私のメールavrublevsky@croc.ruです。