👩‍👦 🍵 👨🏼‍⚖️ データセンター内のトラフィック交換ポイント。パート1.仕組み 🦕 👂🏽 🐰

ロシアのインターネットが登場したばかりの90年代に、ある都市のプロバイダーは、ヨーロッパを経由してトラフィックを交換し、トランジットおよび上位レベルのオペレーター（アップリンク）に料金を支払う必要がありました。最終的に、エンドユーザーは、インターネットアクセスの高価格、利用可能なトラフィックの量の制限、およびWebリソースの長い応答時間を受け取りました。外国の都市や村への国内交通を促進しないために、地元のプロバイダーは大都市で交通交換ポイントを統合し、作成し始めました。

今日はそれらについてお話します：独自のDataLine-IXトラフィック交換ポイントが必要な理由、配置方法、最初の結果を共有します。

ISP-AおよびISP-Bプロバイダーは、トラフィック交換ポイントを介してネットワークトラフィックを交換します。 それがなければ、交換は「大きな」インターネット経由で行われます。

インターネットトラフィックエクスチェンジポイント（Internet Exchange Point、IX）は、自律システムが高レベルの通信事業者（アップリンク）をバイパスして、トラフィックを直接交換（ピアリング）できるようにするインフラストラクチャです。ピアリングは、IX参加者がネットワーク間のパケット伝送ルートを削減し、トラフィックコストを削減するのに役立ちます。一度に複数の参加者と接続する必要がある場合は、トラフィック交換ポイントを介してこれを行う方が簡単です。各参加者への個別の接続ではなく、これらの参加者がいるIXへの接続。これが組織側です。財政的に、参加者IXは、チャネルを節約し、アップリンクからトラフィックを購入することによっても利益を得ます。

エンドユーザーにとっても利点があります。ネットワークの遅延が削減され、インターネット上のリソースの応答時間が短縮されます。

交通交換ポイントはポジティブなものです。存在すればするほど、インターネットの接続性が向上し、エンドユーザーにとってアクセスしやすくなります。

最初のトラフィック交換ポイントは、1994年にヨーロッパの主要都市で登場し始めました：ロンドン（LINX）、フランクフルト（DE-CIX）、アムステルダム（AMS-IX）、モスクワ（MSK-IX）。現在、世界中で約580 IXが動作しています。

ロシア最大のトラフィック交換ポイント。 ソース： internetexchangemap.com

2015年に独自のトラフィックエクスチェンジポイントについて考えたとき、40を超えるオペレーターがデータセンターに既に存在していました（現在53のオペレーターがいます）。 Meet-Me-Roomが機能し、当社サイトのどのオペレーターにも簡単に接続できるようになりました。トラフィックエクスチェンジポイントは、特にインターネットプロバイダーやコンテンツジェネレーター（ゲームサービス、CDN、ビデオホスティング、メディア、ソーシャルネットワーク）のお客様に、さらに多くの機会を提供します。

DataLineネットワークインフラストラクチャの接続性を改善します。ネットワークに接続すると、クライアントトラフィックは、最短のトランジットセクション数で短いルートになります。
アップリンクからIPトランジットを購入するための参加者IXの費用の減少：トラフィックの一部はDataLine-IXを通過します。
より信頼性の高いネットワークインフラストラクチャの構築：DataLine-IXを使用して、参加者はバックアップルートを整理し、他のトラフィック交換ポイントへのチャネルをアンロードできます。
トラフィック交換の他のポイントに存在しない参加者のトラフィックへのアクセス。
専用VLANを介した複数のキャリアへの高速接続。

仕組み

DataLine-IXトラフィック交換ポイントのインフラストラクチャは、OSTとNORDの2つのサイトに分散されています。

2つのサイトには、6台のExtreme BlackDiamond X8スイッチがあります。それらの2つはデータセンターを単一のネットワークに接続し、DataLine-IX（コア）ネットワークインフラストラクチャのコアを形成します。各サイトからの2つのアクセスノード（アクセス）がカーネルに接続されています。新しいメンバーは、これらのアクセスノードを介してトラフィック交換ポイントに参加します。

カーネルのノード間では、8つの10Gリンクが編成され、合計80 Gbpsの帯域幅を持つ論理チャネルに結合されます。コアノードとアクセスノードを接続するチャネルの容量は40 Gです。

Data Exchange-IXトラフィック交換ポイントトポロジ。

OSTサイトにあるExtreme BlackDiamond X8の1つ。

BlackDiamond X8スイッチの1つのシャーシで、768個の10 GbEポート（7.68 Tbps）または192個の40 GbEポート（7.68 Tbps）が動作できます。デフォルトでは、10 GbEポートを使用して新しい参加者を接続しますが、リクエストに応じて40および100 GbEポートを提供できます。利用可能なすべての接続標準は次のとおりです。

1 / 10GbE SFP / SFP +（SR / LR / ER / ZR）;
100/1000/10000 MbE（10GBaseT）RJ45;
40GbE QSFP + SR4 / LR4;
SR10 / LR4を備えた100GbE CFP2。

DataLine-IX参加者は、BGPv4プロトコルを使用してRoute Server（RS）を介して互いにルートを交換します。 RSは、インターネットルーティングレジストリ（IRR）ポリシーおよびBGPv4プロトコルの他の属性（AS_PATH、ネクストホップなど）に従って、メンバールートのフィルタリングも提供します。

ルーティングサーバーは、UNIXベースの環境を持つ2つのHuawei RH1288 V2-8Sサーバーに展開されます。

ルーティングサーバー。

トラフィック交換ポイントのインフラストラクチャにより、参加者は単一のブロードキャストドメイン（L2ドメイン）に統合されるため、ガベージBUMトラフィック（ブロードキャスト、不明な宛先アドレス、マルチキャスト）によるブロードキャストストームのリスクが高くなります。少なくとも、ストームにより、参加者のチャネルの帯域幅が減少する可能性があります。最悪のシナリオでは、ルーティングサーバーとの接続が失われ、BGPセッションが終了し、IXインフラストラクチャ全体が閉じられます。 DataLine-IXがスタックするのを防ぐために、BUMトラフィックに対するマルチレベル保護を使用して、次のようにトラフィックを制限します。

ネットワークサービス（LACP、ICMPv6 NS、ICMPv6 NA）の正しい動作を保証するプロトコルと特定の種類のメッセージを除く、すべてのマルチキャストフレームの参加者のポートでの受信の禁止。
ブロードキャストフレームの送信の制限（ブロードキャストストーム制御/ブロードキャストレート制限）。 DataLine-IXでは、既知のIPアドレスからMACアドレスを決定するためにARPプロトコルで使用されます。
エーテルタイプフィールドのフィルタリング。通常、IPv4、IPv6、およびARPを伝送するフレームが許可されます。
ARPメッセージの情報の正確性を保証します（ARP検査）。参加者は、特定のインターフェイス上のIPアドレスに関するARP要求にのみ応答します。 ARPパケットの場合、レート制限ツールは、1秒あたりのARPパケットの数を制限するためにも使用されます。

3番目と4番目の OSI レイヤーでは、ダイナミックルーティングプロトコルがフィルタリングされますが、BGP、および参加者とIXインフラストラクチャ自体を脅かすその他のプロトコルは除きます。ルーティング情報がBGPを介して送信される場合、プレフィックス自体とこのプレフィックスの属性セット（AS_PATH、ネクストホップ要素など）の両方が分析されます。

新しいIX参加者には、セットアップの標準ルールが適用されます。

STP、IPリダイレクト、LLDP、CDP、ARPプロキシ、およびARPとIPv6 NDを除く他のリンクローカルプロトコルは、DataLine-IXへの参加者のポートで無効にする必要があります。
イーサネットフレームのアナウンスが許可されます：0x0800-IPv4、0x0806-ARP、0x86dd-IPv6。
1つのポート-1つのメンバーMACアドレス。
IXに参加していない他のASへのIXネットワークのアナウンスは禁止されています。
デフォルトルートと完全なビューをアナウンスすることは禁止されています。

接続手順自体が構築されているため、これらの設定の正確性を再確認できます。最初に、新しいメンバーが検疫されたVLANポートに接続します。トラフィックを分析し、すべてが正しく構成されていれば、ポートは生産的なVLANに変換されます。そこでは、新しい参加者はまだ残りから隔離されています。そのプレフィックスはIXの他の参加者にアナウンスされず、参加者自身も何も受け取りません。すべてが正常な場合、セッションは生産的な運用モードに移行されます。

DataLine-IXに接続する方法

新しいメンバーは、DataLine-IXに接続するために次のオプションを選択できます。

共有ピアリング -ルーティングサーバーを介したすべてのIX参加者とのトラフィック交換。

一般的なピアリングスキーム。
直接ピアリング（プライベートピアリング） -個々の参加者とのトラフィック交換IX。この場合、トラフィック交換はルーティングサーバー（RS）を通じてではなく、参加者間の直接BGPセッションの確立を通じて編成されます。トラフィック交換ポイントに接続するこの方法は、1人以上の特定のIX参加者との接続を改善する必要がある場合に役立ちます。

ダイレクトピアリングスキーム。
専用VLAN（プライベートVLAN）へのアクセス -1人以上の参加者がいる専用VLANを介した通信チャネルの編成。この方法は、1つのブロードキャストドメイン（VLAN）に1人の参加者の複数のポートを結合するか、1つのVLANに複数の参加者を結合するために必要になる場合があります。

専用VLANを介した接続スキーム 。
ポイントツーポイント（p2p）チャネルは 、EoMPLSテクノロジーを使用してIXスイッチングファブリックを通じて編成されます。専用VLANを介した接続のおかげで、p2pチャネルを編成するために追加のクロスオーバーを配置する必要はなく、DataLine-IXに接続するだけです。

接続図p2p。