世界中の10のデータセンターをサポートする機能：私の経験とレーキ

これは2ペタバイトのバックアップです



世界中に14のデータセンターがあり、そのうち10をサービスしています。 約5年前、私は、海外ではすべてが輝き、サポートは丁寧で丁寧で、些細なことだけと間違えられていると思いました。 私の幻想はすぐに払拭されました。



以下に例を示します。 実際、私たちはラックサーバーに立ちます。「遅い」データバックアップ用に設計されたディスクシェルフです。 それらの場所がなくなった。 各サーバーには24個のディスクと36個のスロットがあり、さらに12個のHDDを完成させることにしました。 チケットを送信し、私たちが何をしていたのか、なぜ説明したのか、ディスクを点灯していないスロットに入れる必要があると付け加えました。



10分後、監視により、最初のサーバーにディスクがあることが示されました。 「うわー、同僚は燃えています」と私たちは考えました。 おそらく怪我か何か...しかし、その後すぐに2番目と3番目のディスクが落ちました。 ドイツのサポートに電話をかけ始めたところ、インドの同僚が答えてくれました。



ギリシャ語版を停止するまでに、この「ターミネーター」はそれぞれ5台のサーバーから12個のディスクを引き出し、6台目に進む準備をしていました。 システムは必死に再構築しました。 サポーターは、何が問題だったのかを正確に理解すると、サーバーにディスクを挿入し始めました。 そして、少し、ほんの少し、順序を混乱させました。 また、再構築の狂気に影響を与えました。 しかし、幸いなことに、詳細な説明のおかげで、バックアップがロールアップするのを防ぐことができました。これにより、サービスが30分中断されます。



だから、私は誰がどのように支援することができるかを見つけました。 私のミスもあります。2行目の通常のサポートに頼っていたので、簡単に理解できました。 そして、文化的および言語的な違いを考慮しませんでした。 それ以来、私たちは次のような精神で非常に詳細な段階的な手順を書いてきました。

1. そのようなサーバーに移動します。
2. などの数を確認して、これがサーバーであることを確認してください。
3. 上から4番目のディスクを数えます。
4. 下から8番目のディスクを見つけます。
5. 同じドライブの場合は、慎重に取り外してください。

一般に、何か間違ったことをしたり、何か間違ったことを理解できる場所は、コードの脆弱性として悪用されると想定しています。 同僚は、通常の行動に関する新しい型破りなビジョンを私たちにまだ与えていることがあり、標準形式を補完します。 通常の操作では、2ページの指示がすでにあります。 それは仕事で大いに役立ちます。

セントルイス、米国

最初のデータセンターは、米国のセントルイスにあります。 その中に、最初の段階でユーザーのクラウドバックアップを配置しました。 当時のサービスの人気と、バックアップを行うだけでなく、家の外に保存する必要があるという一般的な誤解を考慮して（Dropboxは1年生まれで、上級ユーザーはほぼディスクにバックアップを焼き付けました）、アーキテクチャとスケーリングについてはあまり考えませんでした。 結局のところ、無駄でした。 負荷は予想よりも速く増加し始め、PlusServer AGのホスティング事業者は必要な速度で鉄を届けることができませんでした。



一般的に、2種類のデータセンターがあります：エリアを借りる場所（ラック、冷却、食料、セキュリティを提供する場所）、または実際に非常に大規模なコロケーションを行う場所（ホールの一部、インターネット、サポートを提供する場所）です。 まず、現地のエンジニアが働き、次にハードウェアに直接アクセスすることができず、データセンターのサポートチームが仕事をします。 PlusServer AGの場合、一種の中間シナリオがあり、基本的には、エンジニアのサービスを使用します。 私は彼らとの困難や恥ずかしさを思い出しません。 パーパー...



現在、セントルイスのデータセンター（私たちのセクション）は半分非アクティブで、移行を待っています-テスターのみが使用する古い鉄がたくさんあります。

ストラスブール、フランス

これは私たちの年齢による2番目のデータセンターであり、多数の「アダルト」ハードウェアもあります。また、クラッシュテスト中に「いじめ」のためにテスターがメインインフラストラクチャから取ったi3のようです。



Pluserverと同じですが、サポートとのコミュニケーションは驚くほど困難です。 時々、彼らが何かを説明するのは非常に難しいです。 すでに上記を読んだように、何かを説明する必要がある場合、考えられるすべてのシナリオで30分かかります。 サーバーを再起動するための30ポイント未満の指示は、ほとんどの場合、誤って認識されます。



10Gスイッチのテストで、新しいサーバーにネットワークを構成するように要求すると、チケットの実行時に、データセンター全体が監視から外れました。 それを設定した人がゲートウェイとIPサーバーを混同し、他のすべてのサーバーの1つを介してネットワークに侵入しようとしたことが判明しました。

東京日本

3番目のデータセンターは東京にあり、サービスプロバイダーはquinix、インターネットプロバイダーはレベル3です。最初は、相互接続を調整できませんでした。 次に、バースト可能なチャネル、つまり、現在可能な処理の10％のラインを取得する必要があり、2年で10倍に拡張することを計画しました。 同じ連絡先（MMR、ミートミールーム、データセンターのプロバイダーチャネルのエントリポイント）には、まったく接続がありませんでした。



レベル3は、すべてを正しく行い、何もやり直すつもりはないと述べました。 その結果、1週間半で最初に正確に何が間違っていたのかを把握し、その後、電話会議でさまざまな部門の代表者を集めて、両社に正しいことをするように説得しました。 誰もが自分の信念に基づいて正しい正確なことをし、間違いを認めたくありませんでした。 したがって、私は「私たちに会い、もう少しするように」と尋ねました。 彼らはそれをやった。



日本のサポートと連携することの最大の利点は、彼らが非常にエグゼクティブであることです。 これには裏返しがあります。指示はストラスブールとほぼ同じです。 彼らは信じられないほど慢で、非常に多くの質問をするからです。 一度、コントローラーを1つのサーバーに12時間（！）置きます。 2つの可能な答えが存在する状況が少なくとも1つ発生し、サポート担当者が95％が最初の選択肢であることを知っている場合、彼は論理的にそれを行います。 ほとんどどこでも。 日本を除く。 日本では、彼は立ち止まり、ジレンマを詳細に説明し、あなたの返事を辛抱強く待ちます。 たとえば、プロセスを常に停止します。サーバー内に複数の空きスロットがある場合、どのスロットに入れるかを尋ねます。

フランクフルト・アム・マイン、ドイツ

エクイニクスもここにあり、完全にサポートしています。 データセンターはCDNの小さな補助施設として計画されていましたが、深刻なサイトに成長しました。 金曜日の夕方にサーバーから12個のディスクを引き出したのはこれらの人たちでした。



控訴のチェックリストは次のとおりです。

1. 指示を短いパラグラフに分割します。
2. 単音節文で通信します。
3. 「適切な」決定の機会を作らないようにしてください。つまり、すべてのオプションを詳細に書き留めてください。

その後、すべてが正常に動作します。 そのような規則の導入後、他の事件はなかったと言わざるを得ません。



いいえ、別の話がありました。 場所がなくなっていた、彼らはすぐにたくさんの箱を買った。 しかし、地元のサプライヤーではなく（彼はそれほど速くはありませんでした）、ロンドンでは、オランダの倉庫から連れて行かれました。 車は同じ日に到着しました。 サプライヤからの手紙が届きます。彼らは、ディスクを配送したが、受取人は拒否したと言い、私たちは取り戻しています。 勇敢なセキュリティ担当者は、これらのディスクが意図されていたボックスに直接見つけられなかったことが判明しました。 そして彼らは彼らを引き返した。 それ以来、フルサービスのデータセンターに輸送する場合は、常に箱に正しく署名するようお願いしています。



ちなみに、シーゲイトは非常に機能しています-顧客が都市に間違えられており、ディスクが惑星の別の場所で緊急に必要とされているため、ディスクはできるだけ迅速に送り主の倉庫に戻すことにしました。 飛行機の後に配達を受けました。別の便が必要でした。 2回目は正常に受け入れられました。

シンガポール、シンガポール

5番目のデータセンターもフルサービスであり、プロバイダーのみがソフトレイヤーでした。 ここでは常に、単一のストーリーも誤解の痕跡もありませんでした。 通常、価格を除いて、単一の問題ではありません。



彼らにとってはとても簡単です。あなたが必要なものを言うと、彼らはあなたに請求し、鉄にインフラストラクチャを提供します。 彼らはいくつかの最高価格を持っていますが、あなたは交渉することができますし、すべきです-たとえば、異なる仲介者は同じサービスに対して異なるオプションを持っているかもしれません。 チケットへの回答から判断すると、そこには多くのスタッフがいますが、絶対に誰もが有能です。

シドニーオーストラリア

エンジニアと一緒に6番目のデータセンターを作りたかったのです。 しかし、オーストラリアで必要な能力レベルの専門家を見つけることは非常に難しいことがわかりました。おおまかに言えば、月に数回来て現在の仕事をする四半期のフリーランス管理者が必要でした。 さらに、私は事故に行きます。 通常、私たちは、すでにそのような仕事の準備ができている3から4ダースの専門家を私たちに提供する特別な機関を通してそのような候補者を探しています。 その後、最大10個のプロファイルを選択し、Skypeでインタビューを実施します。 状態で作業している人が1人、フックに別の人が1〜2人いるので、もしあれば、例えば病気で彼を置き換えることができます。



シドニーのデータセンターの問題は、72台のドライブを備えたサーバーでした。 彼らは大量の電力を必要としました-ラックごとに6台のそのようなサーバーがあり、それぞれが0.9kW、ラックを食べました-6から8kWまで。 同僚は、シャワーを浴びてから10分後には衣服が完全に乾いたと言います。

ロンドンイギリス

ロンドンでは、Acronis Disaster Recoveryと組み合わせています。 これは最も退屈なデータセンターであり、そこでは何も起こりませんでした。 彼らが鉄を配達した年。 だから何も起こりません。 ノックノック。

米国ボストン

ボストンには最大のデータセンターがあります。 計画は彼の動きです。



ボストンでは、4台で72台のディスクサーバーを実験しました。 サーバーは魔法にかかっているため、十分な問題がありました。 ボストンのオフィスに私たちの第一人者がいますが、彼は実際には何か違うことをしており、私は彼を街中に呼びかけてドライブを交換するたびに-どう​​いうわけかそうではありません。 はい、それは高価です。



ローカルサポートのチケットを作成します。 しかし、それはデータセンターからではなく、この巨大なデータセンターのラックを提供するサードパーティ企業からは機能します。 そして、彼らはサイトの他の誰にも許可していません。 それら自体は、初期化のためにマシンにUSBドライブを挿入し、故障したドライブを変更し、サーバーを再起動することができます。 それだけです 72ディスクサーバーから特定のディスクを取り出す必要がありました。 ダブルスレッドと2つのディスクが次々にあります。 どこで何を把握するのは難しいので、時々間違ったドライブに触れたことがあります。 行かなければなりませんでした。



開始後のある時点で、電気技師が大きな手紙を持って私たちのところへ駆けつけました。 結論としては、ラックあたり0.9 kWの7台のサーバーは少し使い過ぎです。 彼は、額面の115％を消費していると言います。荷を下す必要があります。 そして、他のラックは典型的でした-ローカル、背面にソケットのある2つのブロックがあり、実際には電源を差し込みます。 私たちのサーバーは通常よりも20センチ長く、これらの20センチだけで電源スロットをカバーしました。 「短い」サーバーでラックを希釈しました。 テトリスをプレイしている間、彼らはそこで60ポンドの車を変え、一緒に引きずり、健康を改善したことを覚えています。

ロシア、モスクワ

私たちはロシア人のデータをロシア連邦に厳密に保存しています。 あなたが私たちのサポートについてのデッドストーリーを待っているなら、待ってはいけません。 もちろん、DataProからのいくつかの驚きは貯金箱にあります。 米国では、技術作業の通常の慣行として、「私たちはこれを計画しており、これはデータセンター全体にとって必要かつ有用であり、あなたにとって、作業はそのような間隔で行われる」という精神で手紙が届きます。 気にしません。」 ロシアでは、彼らは少し異なった情報を伝えますが、あなた自身はおそらく知っています。 しかし、サービスの中断は一度もなかったと言わなければなりません。



その前に、私たちはトヴェリに立っていました。 トヴェリからモスクワに鉄を輸送するとき、15週間で15台のサーバーが「ホット」サーバーに移動しました。 繰り返しを1つ実行したかったのですが、ダウンタイムのリスクを冒さないことにしました。 彼らは毎日2台のサーバーを輸送しました。私は朝6時に起きて、荷造りの準備をし、運転しました-夕方11時に、彼らが持ってきたと書いて、チェックしました。 彼らはモスクワとトヴェリの間の仮想ネットワークを良好なリンクで持ち上げ、サーバーは以前と同じアドレスの同じ物理ネットワーク上にあると考えました。 そこで、彼らは2台の車に沿って引きずりました：回復、リバランス、検証、さらに2台のサーバー。

アッシュバーン、米国

ボストン鉄はこのサイトに行くだけですが、伝えるべきことはあまりありません。



アッシュバーンでは、トヴェリの例に基づいて作成されたスキームに従って、ボストンからすべてのものを取得しています。 10Gリンクも発生し、アドレス指定を維持しながら車は同じネットワーク上にあります。 アイデアは、新しい場所でアイロンを上げてリバランスを待つ必要があるということです：たとえば、輸送中にディスクの半分が脱落した場合、次のバッチを持ち込まずにレストランでかなり長い時間待つ必要があります。

その他のケース

ヨーロッパでは、税関に関する機能がある場合があります。燃え尽きたサーバーを緊急に変更する必要がある場合、ボストンから車を送りました。これはヨーロッパのサプライヤーの倉庫から3週間ではなく2日間です。 しかし、税関職員は考慮しませんでした。 十分なVAT番号がなく、言語の障壁（フランス語）により、米国の会計部門と交渉できませんでした。 すべてを送り返しました。 それ以来、私たちはヨーロッパからヨーロッパに注文してきました。



ボストンでは、36ディスクのサーバーが1週間半でいっぱいになるという問題がありました。これは200テラバイトです。 注文も2週間です-製品の1つが正常に起動されてからサーバーを注文する時間がありませんでした。 その後、新しいパッケージングの原則と他のデータセンター間の部分的な配布を決定し、アーキテクチャを大きく変更しました。 これは、調達手順を再構成し、サプライヤと連携する必要があったため、私に影響を与えました。それ以来、事前合意に従って大量のバッチを迅速に処理し、後で支払うことができました。



「遅い」データの設定が不完全な状態でサーバーテストを実施しました。 プロセッサは2つではなく1つだけで、内部にはディスクシェルフと10GBネットワークカードがありました。 オンにします-カードは機能しません。 これらのカードはサーバーを認識しません。 私たちはマニュアルを読みます-ちょっとした印刷物があります：PCIスロットはプロセッサで分割されています。最初は偶数、2番目は奇数です。 プロセッサが2つしかない場合、すべてのスロットが排他的に機能しますが、これに関係なくすべてのスロットに電力が供給されます。 カードは点滅して書き込みますが、サーバーは認識しません。 彼らはそれを別のスロットに移動しましたが、メーカーはテストでこれを行わなければならなかったようです。



TverのDataProで、どういうわけか木は光学系に落ちました。公衆ネットワークが消え、電話で何が起こったかを説明しました。 1本のラインが正確に数個のポプラを通過したため、リザーブは機能しませんでした。 ネットワーク機器がバックアップチャネルに切り替えられませんでした。



ドイツでは、2015年のレベル3がルーティングを設定し、数レベル下の機器に少し触れました。 30分間、接続が切断されました。 その時点で、ヨーロッパのデータセンターが主要なものでした-これにより、ドイツの一部でサービスが終了しました。 それ以来、私たちはアーキテクチャを変更しましたが、同僚はそれをより良く伝えます。



米国では、ケースがありました。 これはおそらく私が今まで見た中で最も面白いものです。 メーカーのエンジニアと呼ばれるサーバーを変更して、マザーボードと電源を交換しました。 72個のディスク、総重量-80キログラム。 これらのバニーは、すべての内臓と一緒にラックから彼を引き出し始めました。 彼らは半分だけが判明しました-彼は転がり落ちました。 彼らはそれを保持して引き出しようとしましたが、スライドを曲げました。 彼らはそれを押し戻そうとしましたが、曲がったレールはそれらを手放しませんでした。 この状態で撮影され、スローされます。 彼らは、彼らが交換で1週間で来ると言いました。



一般に、ご覧のとおり、別のサイトからのローリングバックアップに関する質問があったとき、5年間は条件付きで危険な状況が1つしかありませんでした。 しかし、何も起こりませんでした。 他のすべてはローカルでかなりよく解決されました。 わずかな粗さは一般的な人的要因であり、ストーリーが少なければ奇妙なことでしょう。