継続パート1-コロケーション
続きパート2-エルモゾナ
こんにちは 私たちの記事の最後の2つの部分のレビュー、手紙、コメントから判断すると、あなたはそれを気に入っており、これが主なものです。 私たちは、独自のミニデータセンターを構築することで、Habrの「居住者」に義務付けられていることを思い出します。あなたの記事で、私たちのアイデアの実装を支援してくれたのはあなたです。 したがって、この一連の記事は、ユーザーやコメンテーターに感謝し、そのアイデアからインスピレーションを「引き出し」ました。
すぐに言いたいです。 TIERクラスで認定されたふりをすることはできません（単にできません）。新しいことや理想的なことをしたとは言いません。14日以内の短い期間に、自分のニーズと能力を使って何をしたかを伝えるだけです。 この記事を「脳のための視覚的な食べ物」として扱ってください。これは理想的ではありません。ビジネスの間違いを避けるのに役立つのは、おそらく1つのプロジェクトの経験だけです。 かなりの数を許可しました。
それでは始めましょう。 すべての機器の物理的な移転のわずか数日前、ミニデータセンターでは、インターネットチャネルという主要なものを除いて、ほとんどすべての準備が整いました。 2つの独立したプロバイダーを接続することに急いで同意しましたが、前に書いたように、最大6か月間、非現実的な期限を設定しました。 プロバイダーのグループの隣に配置場所を選択し、井戸/塔の所有者との調整を広げただけであることが判明しました。
最初のプロバイダーのテクニカルディレクターと話をした後、私たちは彼にそれを「迅速に」行い、できるだけ早くリンクを送信するように説得しました。 旅団は去り、契約書に署名した翌日に光学機器を渡されました（ところで、彼らは100メートル引っ張っていました）。 すべてのプロセスを実行できず、データセンター間を移動し、関連する問題を解決しました。
2番目のプロバイダーはキエフに中央オフィスを構えており、これが私たちの手と足を縛りました。 詳細については申し訳ありませんが、ケーブルを張らないように、中央オフィスなしでは「くしゃみ」さえできません。 11か月の最終締め切りが発表され、完全に麻痺しました。 プロバイダーと話した後、マネージャーは状況から抜け出す方法を提案しました。 すなわち、請負業者。 彼らは追加の書類なしで素早く効率的に伸ばすことができます（彼らはすでに許可を持っているからです）。 彼らに連絡しました。
最初のプロバイダー（下水）とは異なり、彼らは「空気」を広げることを申し出ました。 一般的には、これはバックアップチャンネルであり、実際には期待していませんでしたが、まだ存在しないため開始する機会がありませんでした。 すべてが「スマート」でなければなりません。 支払い済み、同意済み-作業は終了しています。 最初は家を引っ張り、次に柱を通り、次に両方を通り抜けることを提案しました。その結果、OSMDが作成されたため、彼らはポールだけを通過することを余儀なくされ（屋根に着くのではなく、調整するのではなく）、木の冠を飛び越え、枝から枝に飛びました。 実際、このブローチを見なければなりませんでした。男たちは文字通り毎秒命を危険にさらし、木にケーブルを投げ、保険なしで登り、次のものにジャンプしました。 私たちは信用を与えなければなりません、彼らはプロです。
そして、すべてのもの、光学系が敷かれ、最初のプロバイダーへのリンクがあり、2番目のプロバイダーはまだ承認し、人々が「基地局」に行ってそこで点灯するのを待っているように思われます、彼らはこれは1〜2日の問題だと言いました。 私たちは一般的に満足しており、移動することを考えています。
移転日
おそらく、私たちにとって最も困難なことは、最小限のダウンタイムで移動する方法を考えることでした。 私たちが金曜日に移動したのはたまたま起こりました。 最も難しいことの1つは、BGPトンネルを上げることです。 私はそれが指の上にあるものを説明しようとします。 BGP-ボーダーゲートウェイプロトコル。AS（自律ネットワーク）を持つ1つのプロバイダーが、別のプロバイダーおよびAS（自律ネットワーク）と情報を交換するためのプロトコル。 大まかに言うと、これは、あるプロバイダーから別のプロバイダーにトラフィックをチェーンで転送できるようにするジョイントです。
この状況での困難は、その時点でIPが関連付けられたASが1つあったために発生しました。 あるプロバイダーから別のプロバイダーにデータを変更するには、最初にメインルーター（シスコ）を再構成してから、RIPEおよびプロバイダーに変更を加える必要があります。 したがって、移動前にこれを行うことは不可能であり、すべてが落ちます。 そして、時間通りにそれを行うことは、大きなダウンタイムのリスクです。 予定どおりに移動したという事実に基づいて、Twitter、フォーラムで送信することにより、すべてのユーザーに事前に警告しました。 そのため、移動後に設定を変更することにしました。 しかし、それについては後で。
そこで、機器の電源をオフにし始めました。 腺を取り出します。
ほこりから拭き取ります。
3台のサーバーで運転し、少しずつ追加したことを考慮して（5〜6階で手に持ちます）-切断してすべてを運ぶのがどれほど簡単ではないかわかりませんでした。 移動時にはすでに14台のサーバーとIBM IP-KVMがありました。 しかし、幸いなことに、私たちは助けてくれる人と別の機械を持っていきました（すべてが私の車に収まらないからです）。
フロア間を数回実行した結果、すべてが下がらないことを認識し、貨物用エレベーターの電源を入れるように依頼しました（電源を入れるには、建物の所有者を探したり、鍵を取り、交渉する必要があります）。必要なときに。 どうもありがとう。
ジャンクは、14台のサーバー、1台のクライアント、PDUソケット、ディスク、およびSCSを敷設するためのその他のものを大量に蓄積しています。 私たちは荷物を積んでいて、外出中です。
旅行はそれほど遠くない、約5-8 kmなので、ゆっくり、慎重に行きます。 新しいミニデータセンターでは、同僚がすでにアンロードして接続するのを待っています。 到着して、テーブルの上の鉄を降ろしました。
ネットワーク機器の設置、接続、ケーブルの引っ張りと敷設を始めました。 このために、クランプも購入されました。 とても便利です
APC PDUをマウントします（すでに購入した管理対象の利点）。
キャビネットを満たし始めます。
腺、tsiskaを挿入し、テストケーブルはtsiskaにのみ投げました。
tsiskaの構成を開始しました。 床のモニター、椅子のシステムアシスタント、すべて「サスペンド」状態。 はい、それは起こります:)
Tsiskaのセットアップ中に、機器、Ciscoポート、およびAPC PDUポートの書き換えを開始しました。 これは非常に重要なポイントであり、後で何度も助けてくれました。
すでに夕方、約4時間、多分4時半です...主要な作業は完了したように見えますが..しかし、私たちがいかに間違っているかを知っていれば...私たちはBGPトンネルを上げ始めました（事前に設定を取得）-しかし、イチジク...リンクはありますが、動作しません 問題はすぐに明らかになり、私たちの経験不足が原因でした。 光ファイバーを介してギガビットリンクを取得しました。 シスコは2x10GBをサポートしています。 そこに光学素子を大胆に挿入しました（実際、これは私のわきであり、管理者に相談せず、長い間scられました）-そして何もしませんでした。 ポートがギガビットで、モジュールが10ギガビットである場合、動作しないことが判明しました。 私たちは緊急にプロバイダーに電話をかけ始め、助けを求め、どのように、何をすべきかを尋ねました...しかし、誰もが家に帰ったことが判明しました（金曜日、3日前と休日前）...
メディアコンバーターを介してすべてを接続するオプションがありました（将来のように）、光学系が入ります-ツイストペアが出てきますが、私たちはそれを持っていなかったので、店はすべて閉鎖され、3日後にのみ動作を開始します。 友達に電話しなければなりませんでした。 会社のディレクター、従業員を自宅から引き裂き、オフィスにいる従業員がノード用に10Gモジュールを使用してプラグインするようにします。 そして、その時だけ、私たちのtsiskaはリンクを適切に認識し始め、それは機能しました（共同）。
私たちはすべての作業を終了し、待機しました...記録、ルート、およびすべてが機能したとき、更新されました。 すでに午後8時で、誰もが疲れていて、救急車を呼ぶ1人の男、私たちの1人が手を傷つけ、もう1人が肉体の人として助けを求めました。 強さ-彼の鼻を閾値に置いて血の光景から落ち、彼の顎を切った。
午前3時から4時頃、トラフィックはゆっくりと増加し始めました。 すべてが機能し、外出先で問題を解決しました。 しかし、IPv6は機能しませんでした。 朝でも日でもない...プロバイダーと通信するとき、マネージャーが（IPv6を含む）合意を締結したことが判明しました。プロバイダーが物理的にIPv6ネットワークを持っていないことを知らず、さらにそれらをルーティングする能力があります。 それは崩壊でした。 しかし、それらとの接続に再び感謝します。 プロバイダーのディレクターである彼は、IPv6を使用して近隣のプロバイダーを経由してトラフィックを「転送」する方法を見つけ、すべてが機能しましたが、すでに少し遅れていましたが、一部のクライアントは私たちを去りました。
すべての作業が完了すると、データセンターは次のようになりました。
これで私たちの動きは終わりました。 ご覧のとおり、私たちがすぐに考えなかった多くの小さなことがあり、多くの間違いを犯しました。 この記事が私たちの間違いを避ける助けになることを心から願っています-そのようなことで自分の運を試す他の人々に。
さて、いつものように、素晴らしいボーナスが1つあります。 私たちは、プロジェクトの財務の部分について別の記事を書く予定です（おそらく特定の数字はありませんが、比較分析では明らかになります）。 それから、費用対効果の高いもの、そうでないもの、節約できるものなどを理解できます。
また、当社のミニデータセンターの作業、発生する問題、およびイノベーションに関するHabréの記事を公開し続けます。 今後の記事の1つで、特定の目的のために「自己組み立て」機器を選択した方法と、最終的に選択したものを見ることができます。 ご清聴ありがとうございました！