データセンター間のDWDM回線：銀行や重要な施設に関してアプローチがどのように変化しているか

これは8 Tbit / sです（100 G帯域幅で80波長を使用）。



2006年以来、私は数十の銀行に交換機を委託しました。 そして、私が言及できない多くのオブジェクト。 これらはまさに、光ファイバ内の光伝搬速度が同期複製の速度を妨害し、意味的に干渉しているチャネルです。



顧客は最初にデータセンターを構築し、次にWDMを使用してそれらを接続する方法を考えます。 モスクワの交通機関のインターチェンジを例にとると、最初に高層ビルを建設し、次に2車線の道路では交通に対応できないことを認識し、土地のかかとに高価な3レベルのインターチェンジを建設します。交流、そして家を建てた後。



以下に、スケーリングエラーや誤った予約をキャッチするのが非常に簡単な、アーキテクチャの典型的な例をいくつか示します。 そして魔法については「機能する-触らないで」。



光ネットワークの設計の経験を持つスペシャリストが良いDWDMプロジェクトを作成できるとすぐに言わなければなりません。 もちろん、悪魔は詳細にあります。つまり、価格と機能の妥協点を探しています。 確かに、データセンターのチャネルの要件がどれほど速く成長しているかを大まかに想像できます。 光学系の場合、ストーリーはサーバーの場合と同じです。現在のニーズに合わせて購入し、6か月後にERPの新しいバージョンがリリースされたときにすべてを変更できます。

それは何ですか

各側のマルチプレクサーデマルチプレクサーにより、中央に光学系があります。 DWDMテクノロジーを使用して1本の光ファイバーのみを使用する場合、40個の10Gチャネルを伝送するには、ダークオプティクスと比較して40個の光ペアが必要です。



WDMシステムは、トラフィック伝送の問題を解決することに加えて、バックアップタスクを解決できます。 場合によっては、追加のボードを数枚追加するだけで十分です。また、冗長性を備えたシステムを「オンライン」で入手できます。 受信側と送信側には、メイン方向の1組の光ファイバーに沿ってすべてのトラフィックを送信するデバイスがインストールされます。 中断が50ミリ秒以内に発生すると（実際の平均時間は23ミリ秒です）、バックアップ方向に切り替わります。



非常に重要な点：「ダークオプティクス」で既存の機器を積み重ねるのではなく、ROADMを使用して光リンクを切り替える機能を備えたトランスポートネットワークとして最初にシステムを構築した場合、お客様が現在直面している多くの問題を将来回避することができます。 これは、適切なスケーリング計画の問題に対する私です。



通常の状況では、大企業がデータセンター（またはデータセンターとパートナーデータセンター、または高速道路への重要なエントリノード）間のインフラストラクチャの構築のための入札を発表します。 そして、それを行う方法の誤解で激しい話を始めます。 5〜6社が入札する予定であり、そのうち2〜3社は安定して価格を大幅に引き下げています。 彼らにとってそれは非常に簡単です-ほとんどの場合、彼らのプロジェクトは仕様に従って動作しないか、単に受け入れられた後に顧客の要件を満たしません。 経験豊富なITマネージャーはこのレーキを回避しますが、別のジレンマに直面した直後に：残りの3つの提案から選択する方法は？



ここでは、プロジェクトのパラメーターを深く掘り下げることができます。 たとえば、銀行の場合、それぞれのケースは、予算、信頼性、システムパフォーマンスのバランスです。 問題は、すべてが適切に設計されていることと、機器がどの程度正しく選択されているかです。 指で説明するのは非常に難しいですが、例を挙げてみます。

典型的な状況

2つのポイントを接続する場合、2つの独立したチャネルが単純に配置されます。 掘削機が到着し、バケットの1つのチャネルをラップするとどうなりますか？ 機器は新しい経路を構築するために数ミリ秒で反応しますか？ 既に送信されたデータはどうなりますか（「バケツの中に」詰まっています）？ マルチプレクサーに障害が発生するとどうなりますか？ サイト全体が完全に浸水したか、サイトで火災が発生したとしましょう。 システムは、最小限の時間で、接続が失われないように、持っているチャンネルを自動的に切り替える必要があります。 そして、そこにある時間は人間の反応の時間とは完全に異なります-同じ銀行取引の口座はミリ秒です。



掘削機は彼が何をしたかをまだ理解しておらず、データはすでに200キロメートルの迂回を行い、ヒーローを迂回しました。

プロジェクト

過去1年間で、分散データセンターを使用するプロジェクトの数は急増しています。 インフラストラクチャ、データ量、データセンターの規模は拡大しています。 すべてのビジネスクリティカルなデータと情報処理プロセスが集中している1つのデータセンターであり、どういうわけかあまり合理的ではありません。 実際、単一の障害点、例の利点は、銀行部門でもすでに十分でした。



そして現時点では、分散データセンターを構築する決定が下されると、コミュニケーションの問題が生じます。 データセンター内での接続方法は誰にとっても明らかです。イーサネットであれば、それはまったく問題ではありません。FCが全体として使用されている場合、Infinibandはまだほとんど使用されていません（これは現在最も若いテクノロジーですが、将来的に大きな需要があります）。 そして、ここにデータセンターを結合するためのインフラストラクチャを適切に構築する方法があります-ここで熊手が始まります。

簡単な例：ダークオプティクスとWDM

CROCの私のチームは、洗練された壊滅的な耐性を持つDWDMシステムを作成しています。 3つのデータセンターと顧客のテストサイトをリンクする予定です。 耐障害性のために、2つの独立したリングを作成することが決定されました。





2つの独立したリングを使用したDWDMトポロジ



ソリューションはアーキテクチャが非常に単純で、安価であるように思われたため、顧客は当初、暗い光学系について考えました。 それでも、必要な量のトラフィックを転送するには、リングごとに約30個の光ペアを使用する必要があります。 リングのほぼすべてのセクションが1本のケーブルを通過し、これには約60ペアの光学部品が必要になります。 また、「ダークオプティクス」でカバーする必要がある距離は約80キロメートルであり、信号増幅なしでは克服できませんでした。 次に、リレーのみの役割を実行する2つのサイトを追加する必要があります。





DWDMを使用しないトポロジ



したがって、問題の有能な声明（より正確には、アーキテクチャの理解）により、技術の選択の問題が顧客に明らかになりました。

もう少し複雑：機器ノードの選択

機器の選択とDWDMネットワークのアーキテクチャ設計の問題に取り組んでいます。 最初は、具体的にどのようなボリュームでトラフィックが送信されるかは明確ではありません。 また、ネットワークのトポロジは完全には理解されていませんでした（開発中でした）。 新しい分析データと新しい開発計画が利用可能になると、顧客の要件は2週間にわたって変化することがありました。 当然、最初に顧客のすべての可能な要件をカバーするシステムをプロジェクトに投入するのは非常に高価です。



顧客は積極的にスケーリングしましたが、2年を超えると予測できませんでした。 計画期間内に予備があるノードでネットワークを構築することに同意しました。 さらに、トラフィックの増加により、シャーシを変更することなく、新しいテクノロジを使用することなく、基本的にアーキテクチャを変更することなく、ネットワークを1.5倍に拡張できました。 合計で、200 Gbpsを超えるトラフィックがサイト間の回線に転送されました。



アーキテクチャ-3つのフラットリング、5つのマルチプレクサ、線形冗長性。 奇数のマルチプレクサーは、1つのマルチプレクサーが2つのラインを受信し、2つのデバイスの機能を実行したという事実によって説明されます。 このアーキテクチャにより、冗長性を整理するためにクロススイッチングマトリックスを使用せず、安価な光回線保護モジュールを省くことができました。 同時に、バックプレーンを介してトラフィックが送信されなかったため、システムはこのようなソリューションからのみ恩恵を受けました。



簡単に言うと、マルチプレクサの機能の柔軟性を意図的に低くしましたが、同時に信頼性を高め、ノードのコストを削減しました。 もちろん、正確な計算を行うには、数百のパラメーターをチェックし、エンジニアリングチームとプロジェクトを数十回以上再集計する必要がありました。

3番目の例：あまり信頼性がない

当初、DWDMシステムを構築する際の主な基準は耐障害性でした。 冗長性は冗長に見えるかもしれませんが、冗長ではありません。 1 + 1の完全冗長システムが選択され、追加の回線バックアップが確立されました。 なぜこれが行われたのですか？ 実際には、完全な1 + 1の冗長性と光ケーブルの破損により、いずれかのシステムのトラフィックは、光ケーブルが復元されるまで消えます。 ケーブル断線時の複合冗長性により、システムの1つでのトラフィックは50ミリ秒以下（この場合）でのみ消失し、その後スイッチオーバーが発生し、両方のシステムが全電力で動作するため、顧客はシステムの1つを介して余分なトラフィックを転送できます また、このようなシステムにより、1回のケーブル断線と、同じ火災の場合のノードの同時障害の両方に耐えることができます。

1つの特に大きな銀行の例

銀行の3つのデータセンターと2つの自社のデータセンターに多数の重要なサービスを提供しています。 実際、私たちは2つのインフラストラクチャをリンクしました-私たち自身のインフラストラクチャとお客様のインフラストラクチャ。 通信-DWDMを使用した光学系。 特定のトポロジおよび特定のタスクに正確に適合する最適な機器セットが見つかりました。 次に、このネットワーク構造を操作するためのアルゴリズムが設計および調整されました（実際には、2つのカットのあるリング）。 各ポイントには、個々のノード、チャネル、物理回線、およびこれらの要因の組み合わせごとに、サイトの障害に関するシナリオの完全なカタログがあります。これは、典型的な反応の大きな表です。 シナリオも開発されました。「たとえば、マルチプレクサの操作が同時に失敗し、同時に完全に異なる領域で行が切れた場合」 理論的には、これは起こりそうにありませんが、私はこれが時間差で起こったとき、オペレーターと銀行から少なくとも2つのケースを知っています。 バックボーンにおけるマーフィーの法則は、他のどこにもありません。 まあ、スクリプト内の悪意も除外されませんでした。







これは別の銀行のプロジェクトカードで、まだ大きいですが、それほど大きくありません。

•Cisco Systems MSTP 15454E機器

•3つのサイト（メインデータセンター、バックアップデータセンター、オペレーター）、距離5〜20 km

•ネットワークトポロジ-フルリング

•データセンター間のクライアントインターフェイス-10GE-8個、FC-800-8個、FC-400-4個、GE-16個。

•各データセンターからオペレーターサイトへのクライアントインターフェイス-FE / GE-8個。

•クライアント信号保護が使用されます-単一のリングブレークの場合、信号は50ミリ秒以内に別の方向に切り替わります

•40チャネル（波長）のマルチプレクサーが使用されます

•トランスポンダーボードが使用されます-クライアントはマルチモードオプティクスまたは銅線で接続されます

•2つの電源から220 Vの電力を使用します

•データセンタープラットフォームは、M6コンストラクトの5つのシャーシ（ラインカード用に6つのスロット）、オペレータープラットフォーム-2つのシャーシを使用しました。

•データセンター機器の一般的なセットは、34 RUのラックスペースを占有します

•システムの展開と起動に関する作業は、1か月以内に2人で実行されました。

•既存のネットワークの機能が新しいトランスポートネットワークのすでに開始されたセクションに移されたため、DWDMのニーズに対する光学は段階的に際立っていました。



同様の例をもう1つ示します。







ハードウェア自体は次のとおりです。







管理インターフェイス（オプションの1つ）：

結果

原則として、入り口に新しいデータ伝送システム（より正確には、古いシステムの深い近代化）を必要とする独自の光回線を持つ銀行または他の同様の顧客がいます。 ロシアのこのようなチャンネルの詳細は、機能している間は触れないほうがよいというものです。 近代化は、新しいテクノロジーのリリース時ではなく、スピードの面でお客様が拡張を必要とする場合にのみ発生します。



プロジェクト中に、信頼できるDWDMネットワークを構築しています。 DWDM編集は、光学部品を交換せずに成長の機会を提供します。



一般的な教育のヒント：

• ほとんどの場合、電源、ファン、およびクライアントオプティクスが故障します。 部品をホットリザーブに保持し、余裕を持って購入する必要があります。 これを行い、その年の故障率を把握します。
• 220 VACからの電力のサポートは、実際には非常に便利です（モバイルオペレータでない限り）。
• DWDMはスペクトル圧縮であり、トラフィック圧縮ではありません。 物理レベルで信号を処理します。 プロトコルレベル以上での最適化はまだあり、他の問題を解決します-これらはそれに関与している同僚の詳細です 。
• 保護（スイッチング/トランクスイッチ）は、多重化信号のレベル（安いが安全ではない）と、各波長に対して個別に（高価ではあるが信頼できる）の両方で実装できます。
• カスタムXFPを使用して、SFP +を使用すると、機器を統合してスペアパーツのコストを削減できますが、固定XFP（10ギガビットスモールフォームファクタープラグイン可能）、SFP +（プラグイン可能な拡張スモールフォームファクター）と比較して、仕様のコストが1.5倍から2倍になります。
• 近代化の一般的な問題の1つは、マイナーな最適化の試みです。 顧客自身が絶え間ない調整、6か月に1回の機器の再設置などを必要とするシステムを確立すると、「太陽が昇って沈む」というジョークのような現象が発生します。 ほとんどすべての信号機は、あなたが機器に触れるだけであるという事実に直面しました-そして今、問題はすべての亀裂から登り始めます。 あなたはそれを好きなだけ笑うことができますが、本当にシャーマニズムの独立した決定により、チームが何が起こったのかを決める間、銀行の請求書は1日立ち上がることができます。 誰もがこのようなリスクを必要とする可能性は低いため、適切なアーキテクチャは、ノードが近代化される方法と場所を明確に理解することも意味します。

まとめ

9年間、私たちのチームは、以前のNortel（Siena、Tsiska、Huawei、MRV、X-terraおよびその他のベンダー）との共同作業で非常に興味深い経験を積んできました。 国内メーカーの紹介もありました。 その結果、機器の仕様の正確な理解が現れました（オペレーターのラインの仕事では、エキスパート自身がオペレーター自身に豊富です）-しかし、ほぼすべての可能なレーキを知っていると思うのは、信頼できるネットワークを構築するという点です。 突然、ニュアンスを整理したり、正しく設計および計算する方法を理解することに興味がある場合は、コメントまたはAFrolov@croc.ruにメールで問い合わせてください。



そして、この機会を利用して、建築許可なしで街の制限を掘るすべての人々に燃えるような挨拶を伝えます。