最初は、データセンターのサイトにきれいなフィールドがあり、次に100メートルの巨大なピットが掘られました。 その後、データセンターはコンクリートのプラットフォームのように見え、その後、六角形の建物が金属構造で構築されました。内部には6つのデータセンターモジュール（図では緑色で強調表示）、全国のバックボーンネットワークを監視するための「コマンドセンター」、およびオフィス（建設についての詳細）出版物「ヤロスラヴリの私たちの夢のデータセンター：建設と打ち上げの写真」で読むことができます）。
ヤロスラヴリデータセンターからの注意、交通 、およびHickporn：立ち上げたばかりの最初のモジュールの91枚の写真、最終的な作業はメインビルで進行中ですが、資本の建設はもうありません。
データセンターの基本パラメーター
テリトリー
•7ヘクタール。
•30,000平方メートルM.建物の面積。
モジュラーアプローチ
•6つの独立したデータセンターモジュール（最初のモジュールがインストールされました）。
耐障害性
•Uptime Instituteにより認定されたTier III。
無停電電源装置
•10 MWの2つの独立した都市入力。
•ディーゼル動的無停電電源装置：2500 kVA。
•2Nの冗長性。
•燃料貯蔵30,000リットル、全負荷で6つのモジュールを12時間操作できるように設計されています。
コールドサプライ
•N + 2。
•チラーユニットでの水冷。
•外気による冷却（自然冷却なし）;
•断熱冷却システム。
•冷却システム機器の無停電電源装置。
•平均年間PUEは1.3以下です。
消火活動
•Novecガスは人間に無害です。
•火災早期警報システム（VESDA）。
安全性
•24時間365日のセキュリティ。
•アクセス制御および管理システム、ビデオ監視。
環境への配慮
•化学電池を使用しない無停電電源システム。
•1年で最大90％の時間、外気で冷却します。
•オフィスインテリア用の環境に優しい仕上げ材。
現実には、多くの偏光ガラスがあるため、建物は図のようにほぼ透明です。
データセンターが配置されている本館
比較のために、ここに7ラックの小さなコンテナデータセンターがあり、3か月で設置しました。 モバイルデータセンターとDESを備えた隣接する青いコンテナは、試運転中にこの時点で機能し、最初の機械室を上げるまで、一般に多くの基本的なサービスを維持しました。
コンテナデータセンター
「スペースクルーザー」のスキームは次のとおりです。
オブジェクトの概要
中央の六角形がメインの建物で、エンタープライズのホール、オフィス、サービスエリアがあります。 コンテナデータセンターは下にありますが、小さく、すぐに撤去されます。 そして、巡洋艦の「エンジン」の2つのブロックは独立した動力ユニット（動力モジュール）です。 まずそこに行きましょう。
外に発電所がある建物は次のとおりです。
DDIBPが配置されているエネルギーモジュール
近くの青いコンテナにはディーゼルが保管されています。 冬には、夏-夏に冬のディーゼル燃料を注ぎます。 あなたはどこにでもそれを汲み出す必要はありません-私たちは毎月の定期検査でディーゼル燃料を生産しています。
30,000リットルの燃料貯蔵
しかし、エネルギーモジュールの内部に入りましょう。 そのような奇跡の装置に迎えられます。
ディーゼルダイナミックUPSシステムモータージェネレーター
これは、あらゆる種類のデバイスです。 これがどのように配置されるかについては、設計段階で既に説明しましたが 、ここには詳細（および製造元のアニメーション ）があります。 要するに、我々はディーゼル発電機のシステムによって予約されている都市から2つの独立した変電所によって供給されます。 ソースとペイロードの間のチェーンの中央には、動力学的駆動があります。
電源の構成のスキーム
データセンターは最大10 MWを消費します。 明らかな理由から、街から食べ物をとる方がはるかに経済的です。 しかし、何かが起こった場合は、ディーゼルウォームアップ中に大量のUPSバッテリーを用意するか、少量のバッテリーと冷却用の氷水のプール、または常に稼働しているエネルギーセンター（発電）が必要です。 最適なソリューションの1つはDDIBPです。キネティックドライブに加えて、スタンバイモードでのクイックスタートディーゼルエンジンです。 実際には、すべてがはるかに複雑ですが、仕事の一般的な原則はまさにそれです。
DDIBPコントロールパネル
街からの食べ物が私たちのところに来るのは最高ではないことに注意してください。 運動学的アキュムレータのエネルギーにより悪化または消失した場合（7トンのフライホイールがねじれずに大きな速度になります）。 フライホイールの残留回転のエネルギーは、2回目の試行からであっても、ディーゼルエンジンを始動するのに十分な余裕があります。 さらに、同じシステムでほとんどの電力サージに簡単に対処できます。大まかに言えば、DDIBPはモータージェネレーターをオンにすることなく、平均してピークとディップの約80％を平滑化します。 DDIBPを使用するもう1つの利点は、キネティックドライブが常に回路に接続されているため、バックアップ電源システムへの切り替えの遅延に問題がないことです。
燃料精製システムは、従来のろ過に加えて、燃料ポンプに供給される直前に燃料を精製する不純物分離システムも備えています。
燃料分離器フィルター分離器
シリンダーカバー
燃料ソレノイドバルブ
私たちの重要なタスクの1つは、低消費でエネルギー効率を保証することです。
パイプは2階に通じており、そこには排気消音および浄化システムがあります。 特に4.5メートルの2トンサイレンサーで
前回、サイレンサーのサイズを示すことを約束しました。 彼らは約束した-私たちは実行します：
ドイツの工場DDBPで
これは燃料タンクです
ディーゼル発電機セット用のソラリウムは、屋外の青い家に大量に保管されており、このタンクには1時間または2時間の作業に必要な予備があります（負荷に応じて）。 タンクは接続されており、燃料は無限に供給され、最初に主貯蔵庫に注がれ、次に-ここで-ディーゼル発電機自体に注がれます。 もちろん、2番目のエネルギーモジュールは同じであり、独自の独立した燃料貯蔵庫があります。
換気扇
ディーゼルエンジン冷却システムのパイプライン。 冷媒はパイプ内を循環し、2階に設置されたラジエーターを通過します。
損失を減らすために、フライホイールは気体ヘリウムで回転します。 彼がこの環境にいる間、ワイルドスピードでも回転を維持するコストは最小限です。つまり、昇進のためにエネルギーを投資するだけで十分であり、その後はほとんど消費しません。 効率> 99％。 その後、必要に応じて、フライホイールは蓄積されたエネルギーをシステムに転送します。
>
キネティックドライブへのヘリウム供給の還元剤分配器
信号が「火災」または赤いボタンによる緊急停止のときにディーゼルエンジンを停止するための緊急バルブ。 最後の手段としてのみ使用され、実際にモーターへの酸素を遮断します
火はガスNovec 1230によって消火されます-適用された濃度では、人間にとって危険ではありません。 当社の消火システムはスマートです。ディーゼルエンジンで火災が発生した場合、火災に自分で対処する機会を与えます。 これにより、データセンターの耐用性が向上します。
スターターバッテリー
発電機から負荷までの電源ケーブル（DPC）
火災警報サイレン。 電源が入ったらすぐに、部屋を使い果たす必要があります。
換気制御キャビネット
配電盤用サーキットブレーカー
これが愚か者からの保護です。 ロックは重要なパネルを閉じます。 何かを押すには、プラスチックカーテンを180度回転させて取り外す必要があります。 次に、ボタンを十分に強く押します。 そのような保護オプションは、何が起こっているのかを完全に認識せずに偶然何もしないように作られています。
排煙システムボタンは部屋の入り口の前にあります
ここで、このユニットでは、DDIBPの定期検査のためにテスト負荷が外部接続されています。
負荷は、直径が非常に柔軟な特別なケーブルで接続されます。
そして、これが負荷そのものです。 レオスタットトラクター。 トレーラーは、エネルギーモジュールから多くの電力を得るために空気を効果的に加熱する巨大なエアヒーターのようなものです。 ヤロスラブリの冬が暖かくなったわけではありませんが、彼らはできることをすることができました。
レオスタットトラクター
そして、これらは2つの興味深いオブジェクトです。 稲妻と稲妻。 より正確には、パワーモジュールでは、高マスト構造は受動的な避雷針です。これは、放電を地下深くに放電する金属ピンです。 そして、中央のデータセンターの屋根に、同様の目的のアクティブなインストールが既に表示されているため、はるかに小さいサイズでのみ同様の効果を実現できます。
パッシブおよびアクティブな雷管
2番目のモジュールは最初のモジュールと対称です。 周囲を区別する唯一のものは、この追加オブジェクトです。 これはオフィス用の独立したDESであり、無停電電源装置の要件ははるかに低いため、DDIBPの電力を消費する必要はありません。
オフィス用DES
今、私たちはクレムリンへの地下鉄線に行きます。
ケーブルコレクター
実際、これはケーブルコレクターですが、ライトを正しくオフにすれば、新参者をソ連の秘密にささげることができます。
このようにすることもできます：
健康なエンジニアの腕の太さのケーブルがあります。 まあ、または美少女の足で。 そのようなケーブルのスクラップは、建設現場の一部の設置者にとって本当の狩りでした。 彼らの考えによると、彼はおそらく黄金です。 彼らは少しを得たが、彼らは私たちをかなりひどく台無しにした。
ちなみに、ケーブルはほとんどが国産で、ウラジミール地域のコルチュギンスキー工場で生産されています。 私たちの施設では問題はありませんでしたが、もちろん、ケーブルは受け入れ時に常に確認する必要があります-破損したり、絶縁体が破損したりする可能性があります。
「グラマラス」火の泡。 この場合、ケーブルが通る穴からの火と煙の拡散を防ぐために、設置中に拡張し、可能な限りすべてをしっかりと覆います。
だから、食べ物があります。 データセンターには、より多くの冷却とインターネットがありません。 そしてビール、しかし醸造所は窓のすぐ外にあります。 輸送ネットワークでは、すべてが順調です。互いに予約する2つの主要なコミュニケーションルームがあります。 メインオプティクスの4つの入力がデータセンターに持ち込まれ、100ギガビット/秒のトランスポンダーを設置できるようになりました。
ある日、コミュニケーションセンターのデバイスについて詳しく説明します。
では、冷却について見ていきましょう。
冷却設計の詳細については、 こちらをご覧ください 。
繰り返しますが、主なものを簡単に説明します。
自然冷却システムの構成図
フリークーリングはこのように機能します。 「顔」（ミキシングチャンバー）では、データセンターが風にさらされています。 冷気はメインダクトに入り、内部回路に冷気を放出し、さらにデータセンターを通過してステップに進みます。 機械室の高温環境は、熱交換器を介して格納庫の外部スペースに熱を伝達します。格納庫には、データセンターモジュールが配置されています。 熱い上昇気流は、屋根の開口部を通過するか、混合チャンバーを強制的に通過します。 まだシンプルですよね？
メインダクトのレイアウト
私たちに会う最初の人はクモです。 これはチラーです。 その特徴的な形状から、私たちは彼をクモと呼んでいます。
チラー
なぜ無料の冷却を備えたデータセンターのチラーなのか？ これは、外部温度が摂氏24度を超えると、ホールが望ましい効率で冷却されないためです。 ヤロスラヴリにデータセンターを建設することを決めたことを思い出させてください。モスクワよりも夏（夜を思い出してください）に涼しいので、冷却を節約できます。
ただし、平均して1年で最大約1か月は、温度が指定の制限を超えて上昇します。 この場合、巨大なパイプラインネットワークで水を冷却するチラーに2番目の冷却システムを使用します。 繰り返しますが、わいせつに単純化-これらは水を冷却する大型冷蔵庫です。 彼らははるかに多くの食物を必要としますが、どこにも行きません。 チラーN + 2の予約。これは、3台のユニットが最初のマシンに一度にインストールされることを意味します。
これらのヒーローを認識していますか？
膨張タンク
サーキット内の合計180トンの水。
メインコレクター
ドレンコック
別のスパイダー、ただし反対側（サイドコントロールパネル）
バランスバルブ
緊急排水が必要な場合、特別なピットに流れ込みます
ポンプは回路内を循環します。 2番目のポンプは予備です。
フロンのパイプラインが屋根に通じています。 曲げとは、オイルをコンプレッサーに戻すためのオイルリフトループです。
すぐに私たちは腺で終了し、ジムに行きます。 彼はこの壁のすぐ後ろにいます。 しかし！ まず、重要なポイントがあります。 実際には、周囲温度はホールを冷却するのに十分であり、必要な供給量は年間わずか8か月です。 そして、2〜4週間チラーを立ち上げます。 少なくとも3か月半は他にどこに行ったのですか？ ここで、デバイスを見てください。
MNFC-熱交換器
これは熱交換室で、ここからホールの冷たい廊下が始まり、ここから熱い端が始まります。 つまり、このデバイスでは、熱い空気から冷たい空気を作ります。 これは冷却システムの重要な要素です。 熱交換器は、屋外冷却モードと水冷モードの両方で動作します。
メインモード-大量の街路空気が熱交換器を通過します。
空気が熱い場合、空気取り入れ口を閉じ、冷却装置からの出力で交換室を冷却し始め、冷却にエネルギーを費やします。
この火格子の背後で、熱が交換されます。
しかし、空気が3〜4度（最大24度）だけ暖かくなると（「倒れた」数か月の間に）、物理学の学部のライフハックを使用します。 空気を湿気で単純に飽和させ（このようなデバイスの場合は水霧の壁を通過させます）、断熱プロセスで望ましいデルタが得られます。 この技術は、冷却システムよりもはるかに経済的であり、自由冷却と組み合わせて広く使用されています。
ここでは、建物を通り抜けて、排気ダクトが通り抜けています。 これは非常に広いホットコリドーです。
屋根の対空用ライト。 必要に応じてフラップが開き、熱気流が放出されます。
それだけです、私たちはマッシュルームを見ています。 これで、2番目から6番目の部屋は次のようになります。モジュールはまだマウントされていません。
しかし、最初のモジュールが起動され、すでにいっぱいになっています。 サーバーの一部がすでに動作している瞬間に到着しましたが、ホールはまだ半分空です。
データセンターモジュール
ラックは一般的であり、ハードウェアは一般的に同種であるため（これがデータセンターであり、ここに何がインストールされるかは確実にわかります）、すべてのI / Oを一度にマウントすることができました。
ラックを接続するための電源ソケット
典型的なラックのもう1つのプラスは、冷気と熱気の通路の既知の寸法です。 これは、上げ床から下から吹く冷たい空気です。 現在、これらのパネルはポリエチレンで閉じられています-廊下は使用されておらず、エンジニアが無駄に吹き飛ばされたくないのです。 ところで、これらの冷たい廊下は、おそらく管理者が常にセーターを着ている理由の最後のリマインダーです。 とても寒くて吹いているからです。
冷気回廊
そして、これが当社のテレポーテーションデバイスのプロトタイプです。
真剣に、これらは冷房が可能な限り効率的に機能するように冷たい廊下を閉じる（制限する）ドアです。 これは、すでにラックが設置されているホールのその部分での外観です。
ラック
実際には、ラック。 次の機器がインストールされました。
-Hi-EndおよびMid-RangeクラスのOracleサーバー。
-機器HDS、HP、IBM、Brocadeに構築されたストレージ。
-ネットワークのコアはAvaya機器上に構築されています。
-HPサーバー。
ラック用配電システム：パワーテイクオフ付きバスバー
SCSトップオブラックPanduitシステムがあります
トップオブラックカセット
マイナスで4を切り替えてクロス、5ですぐになります
インストールの正確さは私たちの小さな流行です。 モスクワのテストゾーンでさえ、毎日すべてが変化し、悪魔が機器を壊している場合でも、設置は多かれ少なかれ正確です。 経験から、未署名で不正確に取り付けられたケーブルがサービスの中断を引き起こす可能性があることを知っています。
集約スイッチの切り替え
アクティブなネットワーク機器
部屋の10％は高密度ラック用に設計されています-ユニットあたり最大20 kW。 最も強力なラックはホールの中央にあり、高速気流の動きの特性のために寒さのマージンがあります。
しかし、ストレージシステムがあります。 それらはまだ接続されていません。 ここのどこかに、残高に関するデータが保存されます。
テープライブラリ
これらはファンヒーターです。 彼らの助けを借りて、私たちは部屋の熱を除去する能力をチェックしました。 はい、はい、彼らはただそれを暖めて、何が起こったかを見ました。
インラインバスバーへの分岐
再びNovec、2つの消火システムに十分な在庫
これが地下で見た電源ケーブルがホールに行く方法です
それでは、オフィスだけでなく、管理者も見てみましょう。
データセンターの建物の正面玄関
データセンターを回って、一時的なモジュラーブロック（ダイニングルームと「オフィス」）を確認します。これは、オフィスの敷地がまだ準備できていない施設の建設中にシフトが働いた場所です。 オフィスはそのような「コンテナ」よりもはるかに優れています。
一時的なオフィスとダイニングルーム
入り口には、模擬データセンターがあります。
ハイライトされた冷却回路：
屋根には、チラーの凝縮器ユニットがあります。
パワーとトランク入力を強調表示することもできます。
中に入る前に、ロッカールームでヘルメットを見せます。 ビルダーの1人がアーティストであることが判明し、ヘルメットを塗りました-そしてレースをしました。
オープンスペース
壁は黒板でできています
そして、管理者を変更するための休憩室です。
コーヒーポイント
キャビネット
バスルーム
また！ 彼らは歩き回りましたが、屋根の上にはいませんでした。 そして、屋根の上にチラーがありますので、注意深く覗きます：
こちらが屋根そのものです。 彼女はとても大きくて縞模様です。 衛星からは、データセンターがロゴサークルとして表示されます。
これは、チラーの外部ユニットに近づいています。家庭用エアコンのように、もう少しだけ。
これらの「窓」または対空照明-これらは、熱気が自然に建物を離れる場所です。
天窓
各天窓は、システムの自動化にデータを送信し、独自の気象観測所がある
そしてここで私たちは前に見てきたことを最終目的freonoprovodovある
パイプのような数、各ブロックのバイパスので、そのうちの一つチラー2を（彼チラーchetyrohkonturnyをIE）
の要素建物の一般的な換気システム
ここに雷防護マストがあります：
これがヤロスラブリのデータセンターです。236ラック用に設計されたフラッグシップデータセンターの最初のモジュールが発売されましたが、「戦闘」システムのいくつかを徐々に移行しています。ちなみに、連邦監視センターは私たちに移動し、すぐに団結したサービスセンターからの女の子が到着します。勇気を失わないでください。