Selectel IPv4プレフィックスルートリーク

2017年7月15日から16日の夜、最も記憶に残るイベントの1つがSelectelネットワークで発生し、Selectelのインターネットの外部セグメントとのネットワーク接続性の低下（完全にアクセスできなくなるまで）に至りました。 そして、その機会が、ネットワークオペレータENOG-14の会議でのSelectel CTOのプレゼンテーションであったことは非常に印象的でした。



しかし、まず最初に。

ネットワークの説明

当時、Selectelネットワークは次のように見えました。 Selectelは、ロシア連邦の2つの都市-サンクトペテルブルクとモスクワに存在し、各都市には2つの境界ルーターがあります。







各ルーターは、自律システムAS 49505からSelectelネットワークを「世界に」アナウンスします。アップリンクとピアリングは各ルーターに接続されます。







Selectelの最大のアップリンクは、TransTelecom、RETN、およびRaskomです。

Selectelネットワークが接続されている最大のピアポイントは、MSK-IX、DATA-IX、DE-CIXです。



一部のピアポイント（特にMSK-IX、DATA-IXなど）では、より具体的なプレフィックスを使用して、これらの交換ポイントを通過する着信トラフィックの量を増やしました。 DE-CIXでは、より具体的なプレフィックスは使用されませんでした。







スタンドアロン49505システムは、DNSサーバーの分散ネットワークを提供するためにも使用されます。 サーバーは複数の国で異なるアップリンクでホストされ、BGPエニーキャストを使用する2/24サブネットがサーバーからアナウンスされます。

インターネット交換

Internet Exchange（IX）、トラフィック交換ポイントは、さまざまなネットワークオペレーター（すべてのオペレーターが接続されている単一の論理スイッチ）のピアツーピアネットワーク、およびトラフィック交換ポイントの参加者（ルートサーバー、RS ）







責任IXは、原則として2つの方法で現れます-パケットスイッチングを介して参加者から別の参加者にトラフィックを渡すこと、およびトラフィック交換ポイントでルートサーバーの正しい機能を確保すること-受信者のルートをフィルタリングしますある参加者から別の参加者への情報、および大規模なトラフィック交換ポイントにとって特に重要な情報、特別なコミュニティでマークされたルートのブラックホールの組織。

ブラックホール

「ブラックホール」と訳されるブラックホールは、通信事業者がネットワーク上のDDoSから身を守るためのメカニズムです。 このメカニズムでは、攻撃されたリソースの可用性を維持することはできませんが、少なくとも、このリソースを所有する、またはこのリソースを使用できるオペレーターのネットワークの運用性を維持することを目的としています。



トラフィックを送信しないリソースを決定するために、オペレーターはいわゆるブラックホールコミュニティを使用します。 2016年末に、このコミュニティはRFC 7999の既知のコミュニティのリスト（ https://tools.ietf.org/html/rfc7999 ）に含まれました。



通常、オペレーターはブラックホールコミュニティを非常に慎重に使用し、原則として、このコミュニティは/ 32プレフィックスにのみ適用されます。 ただし、一部のトラフィック交換ポイントおよび一部のオペレーターの設定では、/ 32以外のサブネットマスクを持つブラックホールルートの受信が許可されます。

MSK-IXテクニカルディレクターAlexander Ilyin

MSK-IXは、世界初のトラフィック交換ポイントの1つとしてBGPブラックホールサービスを導入しました。 ルートサーバーでブラックホールを提供するためのルールに従って、/ 25から/ 32までのルートのみが許可されているため、Selectelの同僚が説明した問題は、インフラストラクチャに影響しませんでした。 地域のインターネットレジストリRIR（RIPE、RADBなど）のポリシーに従って、Blackholeコミュニティは、メンバーが既に発表したネットワークにのみインストールできます。 RSは、ネットワークデータも属性なしで参加者によってアナウンスされ、そのようなエラーが入力でフィルタリングされる場合にのみ、参加者からのネットワークアナウンスを受け入れます。 また、参加者の連絡先の最新のデータベースを維持し、そのような場合は違反者を迅速にブロックします。

インシデント：ファーストブラッド

そのため、すべては2017年7月15〜16日の夜に起こりました。 つまり、土曜日から日曜日までです。 大部分のネットワークエンジニアは、夏の土曜日から日曜日の夜に休むと思います。 0:30（以降モスクワ時間）に、テクニカルディレクターはSelectelテクニカルサポートエンジニアから携帯電話で電話を受けました。「奇妙なことが起こっています。まだわかりませんが、顧客はSelectelサーバーからの外国サーバーへのアクセス不能について不平を言っています。 、または外部サーバーのSelectelのサーバー。 さらに、Slackメッセンジャーはオフィスネットワークでの作業を停止しました。」



これに対応して、技術サポート担当者は、苦情を申し立てている顧客から問題のあるルートを収集するように指示されました。 監視システムのログとメッセージの分析では、明らかな問題は明らかになりませんでした。 モバイル事業者のネットワークからのSelectelネットワークは通常アクセス可能で、リモートアクセスは問題なく機能しました。 より詳細な分析では、アップリンクの1つであるTransTelecomでのトラフィックの低下が示されましたが、他のアップリンクのトラフィック量は増加しませんでした。







0:30-インターネットチャネルのダウンロードのグラフで異常を検索する非常に残念な時間。 現時点では、原則として、インターネットネットワークのCNN（最高負荷の時間）が終了し、トラフィックの低下は緊急の理由だけでなく、日中の通常の動作によっても引き起こされる可能性があり、一般的にはそれほど目立ちません。



収集された資料が不十分であり、問​​題の診断にかかった時間が短いことを考えると、「TTKで何かが壊れているに違いない」という結論が下されました。 その後、TTKとのBGPセッションは非アクティブ化されました。 ルートの再構築によって問題が修正され、Slackが機能し、接続が復元され、顧客はサービスの完全な機能を確認し始めました。 TransTelecomテクニカルサポートに連絡するために送信されたテクニカルサポート。



中断された夜の睡眠は継続されました。

インシデント：主な部分

02:00頃、オフィスネットワークからのSlackメッセンジャーが再び動作を停止し、外国のリソースの大部分にアクセスできないという状況が再び繰り返されました。 これは、チャネルがTransTelecomから切断されたとき、つまり、最初の仮定が間違っていたとき（しかし、BGPセッションをTTKから切断した後、動作したのはなぜか）、または問題がさらに広まったときです。 コールのテクニカルサポートエンジニアは、リソースが利用できないことを訴える大規模なカスタマーコールを報告しました。 大量の呼び出しとクライアントに発行されたサブネットの分析により、問題はSelectelネットワークで使用されるIPプレフィックスのほとんどに関係することがわかりました。つまり、問題は本質的にグローバルであり、1つのプレフィックスでグループ化されません。



テクニカルサポートは、Selectel内部のサーバーと外部のサーバーの両方から、tracerouteコマンドの結果の収集を再開しました。

トレースを調べると、問題はDE-CIX領域に局在していることがわかりました。 さらに、問題のあるトラフィックフローには大きな非対称性があります。 SelectelからエンドリソースへのルートがDE-CIXを通過する場合、問題はない可能性があります。 しかし、復路がDE-CIXを通過する場合、アクセス不能の問題は明らかに現れます。 このような問題の診断は、トラフィックの非対称性とオペレーターでのECMPの使用により非常に複雑になることが非常に多くあります。 たとえば、オペレーターAネットワークからSelectelネットワークへの1つのパケットは、DE-CIXを介して送信でき、2番目はDATA-IXを介して、3番目はCloud-IXを介して送信できます。







問題のローカライズと診断の試行中に、TransTelecomとのセッションがオンになりました。



さらに、エンジニアはさまざまなオペレーターの見ているガラスの情報を慎重に分析し始めました。 TransTelecomルーターからの情報の出力に目が行きました。







Selectelは、188.93.16.0 / 21プレフィックスをアップリンクに、より具体的な188.93.16.0/22プレフィックスを一部のトラフィック交換ポイントに通知します。 アップリンクがより具体的なプレフィックスを「外部」に取得するのを防ぐために、すべてのアップリンクに対して非エクスポートコミュニティからのより具体的なプレフィックスがアナウンスされます。 アップリンクネットワーク内では、これらのプレフィックスはRIBに存在し、クライアントセッションへの最適なルートを持つ必要があります。 しかし、TransTelecomとのセッションが発生したとき、モスクワTTKルーター（Selectelはその時点で直接のセッションを持っていなかった）で、いくつかの自律システム2854を経由するSelectelより具体的なプレフィックスがあることが発見されました。



自律システム2854は、Selectelアップリンクまたはピアリングにリストされていません。 Selectelプレフィックスの中継自律システムであってはなりません。 TTFはどこから来たのですか？ 明確ではありません。



グラスDE-CIXを見る。 これがルートサーバーです。すべての情報が期待に応えます。







予想どおり、ルートサーバーでは、プレフィックスはSelectelルーターを直接指します。 より具体的なプレフィックスはありません。SelectelはDE-CIXでより具体的なプレフィックスを発表しません。 しかし、何かが原因で次のガラスに移動することができず、ルート2からルーティング情報が要求されました。

ああ！

まず、ルートサーバーNo. 2では、より具体的なプレフィックス188.93.16.0/22がどこかから来ました。 彼はどこから来たの？ ASパス285449505。つまり、再びAS 2854は、それ自体でSelectelプレフィックスを突然アナウンスします。 第二に、コミュニティは警告を受けました（65535、666）。 これはブラックホールコミュニティです！ どこかからのAS 2854は、より具体的なSelectelプレフィックスを取得し、ブラックホールコミュニティがインストールされたDE-CIXルートサーバーNo. 2に送信します。



PC1とPC2の出力をDE-CIXと比較します。







はい PC1にはそれ以上の固有性はなく、必要に応じてルートはすぐにSelectelに移動します。 PC2には、ブラックホールコミュニティがインストールされた、より具体的な2854があります。



DE-CIXルーターサーバーからルートを取得するオペレーターのルーターは、より具体的なプレフィックス、DE-CIX自体によってフィルタリングされるトラフィックによってSelectelのルートを最適に「見る」のが論理的です。



DE-CIXを介したルーティングの問題がほぼ明らかになったとき、サンクトペテルブルクの信号係のチャットグループは「なぜ外国のリソースとも関係がないのか」という質問を持ちました。 「beat地にある」診断は、AS 2854に問題があることを示しました。AS2854は、ブラックホールコミュニティを使用して、サンクトペテルブルクのオペレーターを含む多くのルートをアナウンスします。 ブロードバンド事業者では、加入者からの苦情が午前中にのみ広まり始めました。これは、個人のブロードバンドアクセスと問題の時間の詳細です（土曜日から日曜日の夜、夏-多くのホームユーザーは、その時点で休暇中にダーチャで寝ています）。

誰が責任があるのか

診断中に、自律システムの数が決定され、PC2 DE-CIX、AS 2854への誤ったルートがアナウンスされます。それは誰ですか？ この情報は、彼らに迅速に連絡し、彼らがやっていることを「そうではない」と言うために必要です。 AS 2854は、以前ロシア連邦でこの会社がRosprintと呼ばれていたグローバルオペレーターEquant（別名Orange Business Services）のロシア子会社です。







当然、問題を説明する手紙がnoc@rosprint.netに送信され、テクニカルサポートエンジニアがこれらの電話に電話をかけ始めました。 技術的な連絡先の中で、エンジニアの一人の携帯電話さえ発見されました。 エンジニアへの携帯電話への呼び出しは、望ましい結果を与えませんでした。 Rosprintのエンジニアは休暇中で、通常はコンピューターではなくバイカル湖周辺のどこかにいました。 Rosprintのテクニカルサポートへの電話は、最初は問題を説明する手紙を書くという提案で終わりました。月曜日に、「ネットワーク担当者が来て整理することができます。」 営業時間外のメールボックスnoc@rosprint.netは明らかに無視されます。 「私はSelectelから来ました」と聞いたRosprintの技術サポートが電話を切るようになりました。

どうする

Rosprintのエンジニアと連絡を取るために最善を尽くしたという事実に加えて、状況を何らかの形で修正するか、問題を軽減する試みがなされました。

Selectel自体から状況を修正する最初の試み。 より具体的な設定を無効にする必要があります。そうしないと、100％がDE-CIXの参加者にとって最適なルートになるPC2 DE-CIXに到達しません。 切断されました。 はい、これらのルートはPC2への到達を停止しましたが、PC2のSelectelネットワークへの集約ルートがありました。 PC1にはAS 49505を通るルート188.93.16.0/21（Selectelからの正しいルート）がありましたが、PC2にはASパス2854 49505およびブラックホールコミュニティを含むルート188.93.16.0/21がありました。



部分的な接続が回復しました;現在DE-CIXでは、Selectelネットワークへの特定のルートはありません。 ASパスにもかかわらず、これらのオペレーターおよびPC2を使用したルートを最適に使用したリソースからの接続は回復しませんでした。



わかった Rosprintのエンジニアに連絡することはできません。 他のエンジニアをノックします。



問題を説明する手紙を書き、それからDE-CIXテクニカルサポートへの連絡の優先度を上げるように要請する試みは失敗しました。







DE-CIXテクニカルサポートエンジニアは、ルートサーバー上のルーティング情報の管理への関与を拒否し始めました。 RosprintはDE-CIXルートサーバーから切断するように依頼しました。ルートサーバーは間違った情報をルートサーバーに送信し、Rosprintのエンジニアに連絡できないためです。



次に、Rosprintを無効にするリクエストを使用して、MSK-IXおよびDATA-IXに手紙を書き始めました（IXからのプレフィックスで誤ったアクションを実行するため）。 そして、2つの大きなチャネルがトラフィック交換ポイントに落ちたときに、Rosprintの技術サポートがネットワークエンジニアにインシデントを報告する義務があり、彼らはそれを整理し始めるという計算がありました。

夜が過ぎた

そのため、Rosprintに連絡して診断と試行を行うと、夜が過ぎました。 突然11:26（MSK-IXとDATA-IXもRosprintのアクションの不正確さを確信し、ルートサーバーからそれらを切断する準備ができたとき）、メッセージがRosprintから来ました：







以上です。 申し訳ありませんが、連絡先も何もありません...

レッスン

私たちは何が起こったかからいくつかの教訓を学びました。 残念ながら、これらの教訓は私たちの問題に対処した経験から学んだものですが、このテキストが将来他のオペレーターにも役立つことを願っています。

• IXでは、常に2つのルートサーバーを監視する必要があります。
• ネットワークへの接続は外部で監視する必要があります。 ping / HTTP GETだけでなく、stat.ripe.netを含むさまざまなAPIサービスを監視するために使用します。
• 私たちに対するより具体的な接頭辞の存在は、オペレーターの有害性についての幅広い意見に反して、問題の診断に役立ちました。
• インターネットトラフィック帯域の契約をアップリンクで締結する場合、境界ルーターの1つに障害が発生した場合に必要なバックアップを提供するだけでなく、1人のオペレーターのみを使用して作業する可能性を提供することが望ましい。
• エニーキャストでは、このようなセグメントがある場合、自律システムをメインネットワークから分離することをお勧めします。

DE-CIX上のPCがAS 2854からSelectelネットワーク上のルートを受け入れるのはなぜですか？







AS 49505はエニーキャストプレフィックスのAS-SET AS-URALのメンバーであるためです。 AS 2854は、AS-URALからプレフィックスをアナウンスできます。

アレクセイ・クズネツォフ、副部長

最新のITシステムと通信ネットワークは、ユーザーとさまざまなITサービスとの絶え間ない相互作用であり、ユーザーから直接（ソーシャルネットワークなどによる認証）およびユーザー間で直接、他のITサービスに依存/相互作用します。 ITサービスの作業、ユーザーまたは相互の接続の違反は、すぐにユーザーに影響を及ぼしますが、多くの場合は自明ではありません。 「まったく機能しない」オプションが最も簡単な誤動作の方法ですが、他のケースでは、ユーザー/サービス所有者およびエンジニアと直接やり取りするテクニカルサポートスタッフの両方の「トラブルシューティング」が必要です。 詳細を理解するか、「エラーは私たちの責任範囲ではない」、「これはインターネットです。ここでは誰も責任を負いません」と答える方が簡単です。 はい、一部の通信事業者のエラー/問題は、ネットワークを介してトラフィックが通過しない「問題の原因」と直接関係のない他の通信事業者のユーザー/サービスの作業に影響を与える可能性があります。 別の問題として、通信事業者には、夜間や週末に働く従業員はもちろんのこと、さまざまなエスカレーションポリシーはもちろんのこと、さまざまなスキルレベルの従業員がいるということです。 通信事業者にとっては、それに接続するユーザー/サービスが主要であり、システム管理者、または多分最初に管理者が「誰かの」問題をエスカレーションする決定は、すでに勤務中の特定の人、以前のエスカレーションに対する同僚の反応などに依存します 多くの場合、問題を迅速にエスカレーションする唯一の方法は、通信事業者のマネージャーと管理者の直接の連絡先、連絡先のチェーンを通過して適切な従業員に連絡する能力です。 独自の憲章を持って外国の修道院に行くことは認められていないため、国家組織または欧州・ロシア地域のRIPEなどのすでに認められている国際組織は、すべてのメンバーに共通の「ゲームのルール」を設定することで自ら主導権を握ることができます。