長い間、私たちからのニュースはありませんでした-サーバーの図と図面を実際のハードウェアに変えました。 現在、最初の改訂版が機能しています。5月の休日の前夜に、開発者が過去6か月間何をしてきたかについてのストーリーをお楽しみください。 そしてもちろん、結果を示してください。この記事で初めて、図やモデルだけでなく写真を公開します。
サーバーの最初のリビジョンのメモリライザー。
私たちは多くのことをしました：
- トレースを完了し、マザーボード、コントロールボード、メモリライザーボードのサンプルを作成しました。
- PCIeスイッチボード、ファン用ボード、および表示ボードとインターフェイス（ボタン、コネクタ、LED付き）を開発し、実稼働環境に送りました。
- NVMeディスク用のCRPSソースおよびバックプレーンからの配電盤の開発を開始しました。
- 最初のサンプルの到着後、マザーボード、コントロールボード、およびメモリライザーのデバッグの段階を経ました。
- サーバーケースを完成させました。ボードの設計中、いくつかの場所で小さな変更が必要でした。
次に、各トピックについて順番に話し、それぞれについて、スタイリッシュなエンジニアリンググラフィックスと写真の新鮮な部分を投げます。 写真が好きな私の同僚に良い写真をありがとう-昨日、彼は鉄のテストに休憩があった間に彼は部品を外した（記事の見出しの写真は家を出た後に撮らなければならなかった）。
マザーボード
マザーボードに関する入門記事の発行以来、電源バスとコネクタの位置に関するすべての要件の最終決定に追われています。 また、メモリライザー回路も修正しました。マザーボード上のライザーのピン配列コネクタに影響します。 彼らは、CRPSブロックからの配電盤の回路とOCuLinkコネクタのピン配列（Nano-Pitch）を承認しました。
電力に関しては、マザーボードのプロセッサにVRMを配置して展開することが判明しました。追加のボードは必要ありませんでした。 ボードの密度、供給ポリゴンの必要面積、および大電流を流すために必要なビアの数を考えると、いじくり回す必要がありました。 その後、最高の信号品質が得られるように高速回路も微調整しました。
出力は強力であることが判明しました。
すべての容赦ない目でサーバーのマザーボード。
どこかトレースが簡単でした：
メモリライザースロットの横にあるDMIバストレース。
もう少し複雑な場所：
2つのプロセッサ間のA-Busトレース。 ちょっとしたダークマジックと手品。
この写真では、まったく同じVRMプロセッサーがどのようにパックされているかを見ることができます。
緊密なシリーズのVRMプロセッサ。
そして最後に、作業結果をマザーボードで表示できます。 そのため、製造とインストールの後に注意します。
マザーボードの最初のリビジョン。
メモリライザー
OpenPOWERリファレンスデザインに基づいてメモリライザーを作成しました。 主な違いは、ボードのほぼ同じ寸法でDIMMコネクタの数をチャネルごとに2つ（1つありました）に増やしたことです。
リファレンスデザインと弊社のライザーの図を以下に示します。
基準ライザー設計。
これがライザー設計です。
より多くのコネクタに対応するために、一度に複数の方向でリファレンスデザインを変更する必要がありました。
- SMD DIMMコネクターをプレスフィットに置き換えました。これらは互いに非常に近くに配置できるためです。
- DIMMスロットをメモリバッファチップに近づけました。
- 回路から多くのデバッグコネクタを削除しました。
- 電源サブシステムの回路図を最適化して、コンポーネントが占める面積を削減しました。
- 高密度コネクタを使用してマザーボードに接続しました。
このボードの開発中に、2つの主な困難に直面しました。
1.配線がより密になった
主な問題は、アドレスバスとコマンドの配線にありました。DIMMとメモリバッファが近づくと、このバスの位置合わせの余地がなくなったためです（DIMMソケットの中央にあります）。 この問題を解決するために、アドレスバスの一部とコマンドを外側の層に取り出しました（リファレンスデザインでは、すべての配線は内側の層で行われました）。
メモリライザーの配線。
外側の層と内側の層での信号の伝播速度は異なります。したがって、このバスは長さではなく時間単位で整列します。
2.コネクタの制限
2番目の問題は、使用したコネクタに85オームバージョンがなく、100オームバージョンしかないことです。 通過する高速DMIバスのインピーダンスは85オームです。
しかし、コネクタのパッドのインピーダンスが約60Ωに低下するため、この不均一性をある程度補償するため、100Ωコネクタの使用がさらに望ましいという結論に達しました。
結果は次のとおりです。
メモリライザー。 Centaurメモリバッファーは、ラジエーターの下に隠されています。 スペースを節約するために、タイトな240ピンSamtec Searay SEAF-RAコネクタを使用しました。
NVMeスイッチボード
サーバー内のPCIeスイッチを備えたボードはディスクの上にあります。 サーバーに関するレビュー記事で書いたように、それらをバックプレーンに配置することは物理的に不可能で、大きすぎるチップです。 サーバーのカバーの下に収まります。
ボードには2つのPCIeスイッチチップがあり、このケースではそれぞれが2つの独立したパーツ（パーティション）で構成できます。 合計で最大4つのスイッチがあり、それぞれがPCIe Gen3 x16バスを介してプロセッサに接続されています。 これらの接続は、OCuLinkケーブルで行いました。 システムにインストールされているプロセッサの数が少ない場合は、スイッチのパーティションを再構成して、ディスクとプロセッサ間の必要な接続を提供できます。
開発とトレース中、厳密な高さの要件のため、ボード上のコンポーネントの位置に関する多くの制限を考慮する必要がありました。 ボードの下にはディスクバスケットがあるため、ボードの下側にはサイズ0402の受動部品しか配置できませんでした。上側では、高さ9 mmに制限されていました。
サーバーを組み立てるときにケーブルをトレースして接続する方が便利になるように、OCuLinkのコネクタとスイッチの相対的な位置を考慮する必要がありました。 コンポーネントの結果のレイアウト：
NVMeディスク用のスイッチボードの回路基板、ディスクケージの突出部分が下に見えます。
チップとコネクタのこの配置には、チップごとに個別の構成ファイルが必要でした。 選択したスイッチチップには5つのx16ラインブロック（チップメーカーのMicrosemiがスタックと呼んでいます）があり、2つのパーティションに分割されています。 トレースとマウントの利便性のために、チップは相互に配置されるため、ホストとNVMeディスクに接続するチップごとに異なる行を登録するのが便利でした。 それ自体では問題は発生しませんが、実稼働環境では、そのための構成が2つのチップのそれぞれにフラッシュされることを保証する必要があります。
スイッチボードの最上層。
スイッチボードの最下層。 ダークサイドへようこそ。
内側のボードの端には、ボードがディスクバックプレーンに接続するエッジコネクタのラインがあります。 また、前面にディスクの信号LEDを配置しました。このようにして、ディスクモジュールとディスクバックプレーンの設計を簡素化しました。 ボード自体はまだ生産中です。次の記事でその写真を示します。
ディスクバックプレーン
最大24のNVMeドライブがバックプレーンに接続されています。 ディスクのLEDを配電盤に持ち出したので、光ファイバを使用してフロントパネルに表示を表示する必要はありませんでした。 LEDがバックプレーン上にある場合、24本の長い光ファイバーがなければ不可能です（通常はディスクトレイに配置されます）。
バックプレーンボードは、空気の流れに垂直にサーバー全体に配置されます。 プロセッサとメモリを適切に冷却するには、均等な間隔で多数の穴を開ける必要がありました。 また、穴のサイズを大きくして、トレースの密度を高め、ボード上のコンポーネントの最適な配置を考えました。 しかし、トレース中に、高速PCIe信号をディスクに高品質で送信するには、スロットのサイズをわずかに小さくする必要がありました。
ディスクバックプラン図。 道はギガーの思い出を呼び起こします。
電力は3組の強力なピン（RADSOK）を介してボードに供給されます-それらのプラットフォームは下の写真ではっきりと見えます。 電力はディスクに供給されるだけでなく、エッジコネクタを介して配電盤にも供給されます。
ディスクバックプレーン、ディスクバスケットの側面からの眺め。
ファンボード（ファンミッドプレーン）
サーバーのディスクバックプレーンのすぐ後ろに5人のファンがいます。 これらはレールに配置され、ファンケーシングにある小さなボードを使用してミッドプレーンに接続されます。
ファンボードは、ファンに制御信号とフィードバックを送信することに加えて、CRPSソースからファンとディスクバックプレーンに電力を分配します。 合計電流は非常に高く（ピークで最大75 A）、ボードの幅はそれほど大きくないため、層の銅の厚さを増やしたミッドプレーンを作成する必要がありました。 CRPSソースからの電力供給は銅バスバーを介して供給されました。
ファンの会。 簡単です。
配電盤
これはサーバー内のほぼ最小のボードですが、重要な役割を果たします。2つのブロックから電力を除去し、サーバーモジュールに分配します。 強力な接点（RADSOKシリーズ）を介して銅バスを介して、このボードからシステムの残りの部分に電力を転送することにしました。
スタンバイ電源はエッジコネクタを介して送信されます。 また、このコネクタには、電源をオンにする信号、「パワーグッド」CRPS信号、およびドライブとファンの消費を測定する電流センサーからのデータもあります。
配電盤は小さくても強力です。
次は？
5月の休日の後、さまざまなサブシステムのテストとデバッグについて詳しく説明します。 お楽しみに！