12個のNanoPi-Fire3ノードを備えた高性能クラスターを100ポンド（550ポンド、12個のFire3を含む）未満で作成します。



昨年のRaspberry Pi 3での過去のクラスターは多くの公共の関心を集めていたので、市場にある他の優れたシングルボードコンピューターで同様のプロジェクトをしようとしています。 中国からのFriendlyARMから、最新の64ビットARM NanoPi-Fire3ボードが 12個、非常に寛大に送られました。各ボードには 、ギガビットイーサネットで1.4 GHzで動作する8つの核ARM A53 SoCがあります。



















クラスターサイズは146.4（w）×151（h）×216 mm（d）で、重量は1.67 kgです。

クラスタで実行するソフトウェアですか？

または... なぜそれが必要なのですか??



クラスターは、多くの場合、リソース集約型タスク（医学研究、気象モデリング、AI /深層学習、暗号通貨マイニング）および/または高可用性サービス（ハードウェア障害の場合に冗長ノードが使用されます）に使用されます。 もちろん、このクラスターは最新のスーパーコンピューターの観点からは遅いですが、小さなポータブルシステムは分散ソフトウェアのトレーニングや開発に理想的であり、分散ソフトウェアをより強力なシステムに転送できます。



マイニングとディープラーニングのためにこのクラスターを評価するために、いくつかの記事を書く予定です。



Docker SwarmまたはKubernetesは、クラスターを管理するための優れたオプションのように見えますが、まだ試していません。

NanoPi-Fire3対Raspberry Pi 3

NanoPi-Fire3は、パフォーマンスと機能の両方の面で、Raspberry Pi 3と比較して、より小さなフォームファクターで、ほぼ同じ価格ではるかに高度です。

	NanoPi-Fire3	Raspberry Pi 3モデルB
SoC	オクタコアARM A53 S5P6818 @ 1.4 GHz	クアッドコアARM A53 BCM2837 @ 1.2 GHz
記憶	1 GB DDR3	1 GB DDR2
GPU	Mali-400 MP4 500 MHz	Broadcom VideoCore IV 400 MHz
ネットワーク	1000 Mbps	100 Mbps
Wifi	いや	802.11bgn
Bluetooth	いや	4.1 + BLE
保管	MicroSDカード	MicroSDカード
USB	1つのコネクタ 1つのmicroUSB	4つのコネクタ
映像	マイクロHDMI 1.4a、RGB-LCD	HDMI、DSI
カメラインターフェース	DVP	CSI
音声	いや	3.5mm
大きさ	75×40 mm	85×56 mm
栄養	1.2→3.6 W 最大2A、MicroUSB	1.2→2.1ワット 最大2.5A、MicroUSB
リリース	2017年第4四半期	2016年第1四半期
価格（英国）	£34.30 1	£33.59
Fire3に35ドル+送料5ドル+ VAT 20％+輸入関税0％= 34.30ポンド

ベンチマーク

CPU

最近のほとんどのコンピューターには、2つ以上のタスクを同時に実行できるマルチコアプロセッサが搭載されています。 さまざまなアプリケーション（たとえば、3つのWebページとデータベースを処理するWebサーバー）、または最大速度のために複数のスレッドに分割された1つのタスク（たとえば、レイトレーサー、ファイル圧縮など）になります。 hpcc



パッケージからのこのテストでは、すべてのCPUコアを使用して、浮動小数点演算でのプロセッサー全体のパフォーマンスを効果的にテストします。





Linpack TPP v1.4.1（線形方程式のソルバー）。 MFLOPSの数（1秒あたりの数百万の浮動小数点演算）



Fire3ボードには、コアが2倍あり、クロック速度が速く、メモリが高速です。結果として、結果はPi 3の6.6倍になります。



60,000 MFLOPSは現在のパフォーマンス基準ではあまり大きくありませんが、2000年にこのFire12クラスターは世界でトップ250のスーパーコンピューターになりました（！）。 5つのFire3のクラスターは、同じサイズのPi 3クラスターの8.2倍の速度で実行されます。これは、追加のCPUコア、高速メモリ、ノード間でデータを交換するための非常に高速なネットワークによって説明されます。



1992年にリリースされた16コアのCray C90スーパーコンピューターは10,780 MFLOPSを生産しましたが、価格は3,050万ドルで、重量は10.9トンであり、495 kWの電力が必要でした。



最大の結果を得るためにクラスターを設定することは、コンパイラーの最適化、数学ライブラリーの設定など、芸術全体です。 しかし、デフォルト構成を使用して、Ubuntu 16.04.4の標準hpcc



パッケージから見積もりを取得しました。

グラフィックス

Fire3とPi 3はどちらも、コンピューターグラフィックスの大量のデータの並列処理にクアッドコアGPUを使用します。 最近では、暗号通貨マイニングなどの特殊なコンピューティングにも使用されています。





glmark2-es2 2014.03（OpenGL ES 2.0）。 より良い評価



このテストのFire3ボードは、Pi 3の7.5倍高速であることが判明しました 。クラスターの結果は、ノードの数によって単純にスケーリングされます。



CPUと同様に、異なるドライバーなどでコンパイルしてグラフィックを設定するための多くのオプションがあります。 このテストでは、デフォルト構成を使用して、Ubuntu 16.04.4で標準glmark2-es2バイナリを実行しました。 次のコマンドで起動されます。

 sudo apt install glmark2-es2 glmark2-es2 --off-screen
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Pi 3の古いOpenGLレンダーはかなり弱いですが、 rpi-config



使用して実験的なMesa rpi-config



レンダーに切り替えると、Fire3のようなパフォーマンスが得られます。



ほとんどのARMシングルカードには、最新のフラッグシップスマートフォンと比較して非常に控えめなパフォーマンスを示す比較的古いGPUが搭載されています。もちろん、高価なハイエンドグラフィックスカードと巨大な電源を備えたデスクトップPCもあります。 Fire3のMali-400 MP4 GPUは2008年に、Pi 3のBroadcom VideoCore-IVは2010年に登場します。 よりパワフルで新しいGPU（Mali-T860 MP4）を備えたPINE64のRockPro64など、最近のシングルボードデバイスがいくつかありますが、Samsung Galaxy S9には最新世代のMali-G72 MP18があります。

ネットワーク

これらのテストでは、Ethernet 100 / 1000Mpbsスイッチに接続された2つのボード間のiPerfでの実際のデータ転送速度を検証します。



iPerf v2.0.5（TCP、1000Mbpsイーサネット、カード間）、Mbps



デフォルト設定では、Fire3の1000 Mbpsインターフェースは、Pi 3の100 Mbpsインターフェースと比較して8.5倍の大きな速度差を示しています。





Raspberry Pi（Pi 3モデルB +より古い）のネットワークパフォーマンスを向上させる場合は、標準の組み込みインターフェイスの代わりにギガビットUSBイーサネットアダプターをインストールできます。 速度は2.8倍になりますが、USB2の制限により、現在の1000 Mbpsインターフェースよりもはるかに遅くなります。 このネットワークインターフェイスは、最新のPi 3 B +モデルに統合されています。

ワットあたりのクラスターパフォーマンス

ワットあたりのパフォーマンスを評価するために、リンパックテストの結果をMFLOPSで高くし、消費電力で割った値を取りました。 この指標は通常、 コンピューターシステムのランク付けに使用されます 。





ワットあたりのMFLOPS



5ノードのFire3クラスターは、同じサイズのPi 3クラスターの5.8倍のエネルギー効率ですが、100％の負荷でより多くの電力を消費します。



ネットワークスイッチ、ファン、電源を含むクラスター全体の負荷を 100％で測定しました。 WiFi、Bluetooth、HDMIなどはデフォルト設定のままです。



上記のCray C90スーパーコンピューターは、1992年に1ワットあたり0.02 MFLOPSしか出力しませんでした。

3Dボディデザイン

SketchUpの無料版でRaspberry Piクラスターの元の設計を変更し、大まかな3D NanoPi-Fire3テンプレート、ネットワークスイッチ、コネクターなどをスケッチしました。 モデルには換気スロット/グリルを含めないことにしました。 ケースは、5ノードのクラスターとまったく同じサイズです。タスクは、12個のボード、2倍のファンとイーサネットスイッチ、すべてのケーブルを収容することでした！











SketchUp 2013のSKPファイルをダウンロードする

レーザー切断

私は無料のInkscapeプログラムを使用しています。これは、レーザーカッターに読み込むための2Dモデルを準備します。 さまざまな色が、さまざまなレベルのレーザー出力/速度に対応しています。 まず、ポート、ボルト、換気用の穴のある緑色の線に沿って輪郭を切り取ります。 追加のノッチは、壊れやすい部分を簡単に取り外せるようにピンクで示されています。 次に、オレンジ色のテキストと線がエッチングされ、パネルの最後で青い輪郭に沿ってカットされます。







600×400×3 mmの1枚のシートにカット用のファイルをダウンロードできますが、私自身は別のパネルで透明または黒のシートを取りました。

• SVGシート
• DXFシート

オプションの小さな部品は、マットアクリルから切り取る（非常に明るい！）LEDパネル用のディフューザーであるか、または公式のPimoroniディフューザーを3ポンドで購入することができます。



レーザー切断とスクリューレスハウジングアセンブリシステムの詳細については、 最初の記事を参照してください 。

Pi 3クラスターと比較した設計変更

ケースはまったく同じサイズのままですが、多くの変更と改善を行いました。

• 水平取り付けレールの設計は維持されていますが、Fire3にはM3の穴があり、PiのM2.5よりも部品を見つけるのが簡単です。 また、ボード全体のサイズがPiよりもわずかに小さいため、穴は互いに近くなっています。 プラスチックナットを水平レールに締め付けるのは少し面倒です。3Dプリンターでプラスチッククリップを印刷して、各レールに沿ってボードを保持したり、堅い弾性ワッシャーを作りたいですか。
• 内部USBハブの代わりに外部電源 ：内部USB電源をケース外のファンレスAC電源に交換しました。 これにより、内部のスペースが解放され（Fire3ボードと2つのファン用）、放熱に役立ちます。 各Fire3は最大2Aを引き出すことができますが、実際には、USBとGPIOでハングアップする追加の周辺機器を考慮せずに、クラスターの引き込みははるかに少なくなります。
• 12本の独立したケーブルの代わりに2本のmicroUSBチェーン ：販売に適したケーブルがなかったため、私は自分のケーブルを「太いチェーン」で短く太いワイヤー（11A定格）と12個のmicroUSBコネクターをはんだ付けして作成しました。ケース内のごくわずかなスペース... 詳細
• 1つではなく2つのファン ：より強力なFire3ボードにはより多くのアクティブ冷却が必要であると確信していたため、ケースに2つの超静音の92 mmファンを配置しました：背面のファンは冷気をケースに吸い込み、前面のファンは熱気を吹きます。
• Nanoxia Deep Silenceの代わりにGelid Solutions Silent 9ファン ：Nanoxiaファンのパフォーマンス（および優れた技術サポート）に非常に満足していますが、より安価なオプションを試してみたかったです。 GelidラバーガスケットはNanoxiaよりも厚いため、本体の取り付け穴の直径を0.5 mm大きくしました。
• GPIOからの5Vではなく、ファン用の直接5V電源 ：以前のクラスターでは、ファンはいずれかのボードのGPIO出力から給電されていました。 しかし、12Vに2つのファンを設置することを考慮して、ステップアップコンバーターをケースの主電源からの直接ラインに接続しました。
• 多数ではなく複数の通気孔 ：ケース全体に数十個の通気孔を開けるのではなく（時間がかかります）、ファンの反対側のフロントパネルとリアパネルにのみ穴を開けます。 たぶん、これはハウジングを通る空気の流れを最適化しますか？
• ケースのUSBコネクタ ：これらの2つの統合されたUSBコネクタは、元のクラスタでは正常に機能しましたが、長いケーブルが正常に曲がらないため、私はそれらが好きではありませんでした。 そこで、斜めの短いケーブルとコネクタを備えた2つの独立したUSBポートを使用しました。
• USBハブを取り付けるための棚はありません。電源を外側に移動すると、ケースの設計が簡素化され、アクリル600×400 mmの単一シートから切断できるようになりました。 シェルフを取り外すと、ケースの剛性が低下しますが、水平取り付けレールをサイドパネルにねじ込んだ場合、剛性は正常です。
• 丸型ケーブルの代わりにフラットLANケーブル ：RPi3プロジェクトのマルチカラーネットワークケーブルが好きですが、ケースに入れるのは非常に困難です。 フラットケーブルははるかに簡単に曲がります。これは、ボードのこのようなタイトなパッケージではさらに重要です。 最初は25 cmのケーブルを試しましたが、長すぎることが判明しましたが、15 cmのケーブルではケース内に空きスペースが増えました。
• 退屈な灰色のケーブルの代わりに青いネットワークケーブル ：青は実際に灰色のデザインを彩ります...さらに、FriendlyARMロゴは青と緑です。
• 10ギガビットではなくギガビットスイッチ ：Fire3には1000 Mbpsのネットワークポート（Piの10倍の速度）があるため、スイッチは少なくとも1000 Mbpsでなければならないことは明らかです。 10ギガバイトのスイッチは、この場所のボトルネックを完全に排除します。したがって、10台以上のFire3が外部ネットワークとフルスピードで通信できます。 ただし、このようなスイッチはまだ高価で（£200から）、大きすぎます。 NETGEAR GS110MXスイッチは有望に見えます。
• ボードホルダー6 mmではなく4 mm ：スイッチボードを下げると、ケーブルの敷設と空気交換のためのスペースが少し増えました。
• HDMIの代わりにマイクロHDMI ：Fire3ボードにはマイクロHDMIコネクタが付いているため、最短のマイクロHDMI→HDMIケーブル（50 cm）を使用しました。 別のオプションは、別のHDMI→Micro HDMIアダプタを備えた短いケーブルでしたが、それはかさばり、LANポートの1つをブロックする可能性がありました。
• 透明なパネルではなく黒いプレキシガラスパネル ：2つのファンを「隠す」が、すべての電子機器を側面と上面に残します。 黒いフロントパネルは、Unicorn LEDパネルにも注目を集めています。
• ボード上の単純なLEDの代わりにユニコーンpHAT LEDパネル ：クラスター内に非常に多くのノードがあるため、ケースのフロントパネルに各ノードのCPU速度、温度、ディスク、およびネットワークアクティビティを表示する視覚的なステータスモニタリングを配置するのが理にかなっています... 詳細

元のPiクラスターの設計上の決定について詳しく読むことができます。

MQTTを使用したサーバーステータスインジケーター

Pimoroniの優れたUnicorn pHAT 32x RGB LEDパネルを選択して、クラスターのカラフルな「ステータス表示」を作成しました。 各ノードのプロセッサ負荷、温度、ディスク、およびネットワークアクティビティが表示されます。 これらの低コストのボードは通常、Raspberry Piピンに直接接続しますが、別のボードに接続するには少し手を加える必要があります。 Jeremy Garffのrpi_ws281xライブラリは、Raspberry Piに固有の非常にスマートな低レベルPWM / DMAコードを使用するため、1つのSPIピンを使用してLEDを制御するようにライブラリを変更しました。







Unicorn pHATは、+ 5V、GND、およびSPI0 MOSI（ピン19）の3本のワイヤでボードに接続されています。 次の記事では、これがどのように機能するかを詳しく説明します。 LEDは非常に明るいため、2本または4本のM2.5ネジでケースの外側に取り付けられているディフューザーの背後でより良く見えます。 マットアクリルから独自のディフューザーをカットするか、ネジ付きのピモローニモデルを3ポンドで購入できます。



コントローラーノードのクラスター状態は、Mosquitto MQTT（メッセージキューテレメトリートランスポート）軽量ブローカー（サーバー）によって制御されます。 各ノードは、1秒ごとにブローカーに現在のプロセッサ速度、温度、ネットワークアクティビティなどを伝えます。

電力、温度、冷却

12基のFire3、2基のネットワークスイッチ、2基の7Vファンで構成されるシステム全体の負荷は、わずか24ワットであり、全負荷時-55ワットです。



ラジエーターが必要ですか？ Fire3 SoCはコア数が2倍であるため、Pi3よりもはるかに多くの熱を生成するため、ヒートシンクを装備することが非常に重要です。 幸いなことに、FriendlyARMはFire3ボードにしっかりと取り付けられるサーマルグリースを備えた大きなヒートシンクを提供します。 それは私が市場で見た他のシングルボードプレーヤーのラジエーターよりもはるかに大きく、石の温度を完全に下げますが、それでもファンは傷つきません。



電源アダプタは最大75 W（Fire3では1.1 A）を供給するため、外部USBデバイス（ハードドライブなど）には別の電源が必要になる可能性があります。 温度を測定します。

 cat /sys/devices/virtual/thermal/thermal_zone0/temp
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

負荷のないプロセッサは、両方の12Vファンからの冷却により最大39°Cまで加熱されることがわかります。



ファンを使用した100％の負荷では、温度は安定した58°Cに達します。

 sysbench --test=cpu --cpu-max-prime=20000000 --num-threads=8 run &
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ファンがないと、温度が急速に80°Cに達し、クロック周波数が自動的に低下して、さらに過熱するのを防ぎます。 プロセッサは問題なく長時間この温度で実行できますが、最大のパフォーマンスは得られません。



まったく同じケース設計が、NanoPi Fire2sおよびFire2Asモデルに適している必要があります。NanoPiFire2sおよびFire2Asモデルは、Fire3ほど熱くならないため、1つのファンしか必要ありません。 1つのFire3を冷却するには、はるかに小さいファン（おそらく40〜60 mm）が適しています。



シングルボードコンピューターでは一般的ではありませんが、Fire3は超低消費電力（約5μA）でスリープ状態になることができます。これは、必要に応じて個々のノードをスリープ状態から緩和することを示唆しています。 残念ながら、Ethernet Wake-on-LANのサポートはありませんが、柔軟性のない「X分後のウェイク」設定のみです。 ただし、ボードには PWR



ヘッダーがあります。 おそらく、コントローラのGPIOピンからリモートで起動するために接続できますか？

サイレント冷却

クラスターを冷却するために、2つの92 mmファンをケースに取り付けました。 Quietpc.comを評価して可能な限り静かなクーラーを探しましたが、選択はGelid Silent 9で£5.40でした。



5Vでファンの少なくとも最小のノイズを聞くには、5-7 cmの距離で耳に近づける必要があり、キットのゴム製ガスケットがケースを振動から完全に隔離します。 ただし、12Vファンでは静かな部屋でかなり聞こえます（20dBA）。 したがって、私は十分な冷却を提供するが、沈黙を保つ電圧を探していました。 ブーストコンバーターを使用して、ファンの速度を変更し、5V〜12Vの電圧オプションを試しました。

ファン	ラジエーター？	無負荷	100％の負荷	性能
リア12V、1500 rpm	はい	42°C	66°C	わかった
後部9V rpm	はい	44°C	71°C	わかった
後部7V、？ rpm	はい	46°C	75°C	周波数低減
両方の12V、1500 rpm	はい	39°C	58°C	わかった
両方の7V 、？ rpm	はい	40°C	65°C	わかった
両方の5V 、？ rpm	はい	46°C	77°C	周波数低減

（ここに、異なるノードの平均温度、つまり平均71°Cがありますが、実際には2つのボードが緊急周波数の低下に近づいています）。



2番目のファンが結果に特に影響を与えないことには驚きましたが、最終的には、9 Vのファンを1つ、または7 Vのファンを2つ選択できますが、2番目のオプションは少し涼しく静かです。 大きなケースやケース内のより複雑な気流経路では、2番目のファンがより重要だと思いますか？

電源ケーブル：ファイブピースサーガ

最も難しいのは、12ノード、2つのイーサネットスイッチ、2つのファンに電力を供給するための適切なソリューションを見つけることでした。 私は自分で多くのはんだ付けとケーブルを作ることを避けようとしました...

1. Fire3sは、PiのようにmicroUSBを介して給電されますが、12ポート15A USBハブは見つかりませんでした。 6つの両面microUSBスプリッター、または2つの個別の6ポートUSBハブを備えた6ポートハブを検討していました。 しかし、最初のオプションでは12ノードに十分な電力が供給されず、2番目のオプションではケース内のスペースが大きくなりすぎました。
2. ACソースとして外部の「ブリック」を使用して、標準の8xおよび6xスプリッターをいくつか試しました。 このケーブルは、角度付きのmicroUSB→DCコネクタを備えた監視カメラ用に設計されていますが、多くのスペースを占有し（エアフローが悪い）、電流によって定格されていないため、各Fire3ボードで電圧降下が発生します。
3. また、5V + GNDの導体としてスチール製のシャーシレールを使用している場合は！？ これは見た目ほどクレイジーではありません。各レールの抵抗はわずか0.5オームで、ボードから電気的に絶縁する必要があります。 しかし、各ボードからレールへの信頼性の高い接続方法を理解できなかったため、ノードの交換などの場合に簡単に切断できるようになりました。
4. 新しい希望？ 12本の自家製microUSBケーブルをはんだ付けする以外に、ボードに電力を供給する方法はありますか？ Fire3ボードには、UARTヘッダーなど、占有されていない5V + GNDポイントがあります。 2ピンヘッダーを各ノードにはんだ付けし、microUSBの代わりに既製の2ピンDuPontコネクタを使用して電力を供給する方が簡単で安価です。 , , … .
5. (daisy-chain), 0,5 (11A, 6 ) microUSB. , , . , DC. , , .

両方のイーサネットスイッチも5Vで駆動され、円形のDCコネクタがはんだ付けされています。

Fire3クラスターの構築

組み立てプロセスは、NanoPC-T3の40コアARMクラスターに似ており、追加のノード、追加のネットワークスイッチ、およびファンのみがあります。Fire3ボードは、それぞれが8個のナットで固定されたM3スレッドのあるレールに沿って20 mmの距離で配置されます。美しさのために、5Vから12Vへのブーストコンバーターボードをシャーシの背面に接着し、ピンを追加してファンを簡単にオン/オフしました。一部のケーブルは、小さなケーブルタイで配線および固定されています。表示Pimoroni LEDは3本のピンGPIO ...を介してコントローラボードに接続されているより多くの情報。

材料リスト

ほとんどのアイテムはAliExpressまたはeBayの異なる売り手から調達されているため、送料が大幅に増加します。クラスターに十分な需要がある場合、部品を大量に購入する方が安価です。

Edimax ES-5800G V3ギガビットイーサネットスイッチ（2個）	£19.96
フラットケーブル15 cm Cat6 LAN（12個）	£6.79
M3スチールネジ12 mm（10個中8個）	£1.45
M3真鍮製スタンド4 mm（50個中8個）	£0.99
5.5 / 2.1 mm DCコネクタ（5個中2個）	£1.49
1 mジャンパー線赤+黒	n / a
1 m 2コア0.5 mm電源ケーブル（11A）DC	£0.99
MicroUSBはんだ付けコーナーコネクタ（12個中20個）	£1.63
シャーシに取り付ける5.5 / 2.1mm DCコネクタ（10個中2個）	£0.65
端子台10A（4/12）	£1.29
PSU 100 W（5 V @ 20 A）ファンなし、5.5 / 2.1 mm +英国コンセント	£13.51
RJ45マウント、ママとパパスレッド（2個）	£1.74
スチールネジM3 8 mm（4/5）	£1.25
M3 150 (8 .)	£9,20
M3 (120 150)	£1,73
Micro HDMI «» HDMI «» 50	£2,19
USB «» «» 25 (2 .)	£2.38
3 600×400	£5,32
5V-to-12V	£2,04
	n/a
92 Gelid Silent 9 (2 .)	£11,65
(4 10)	£1,75
Unicorn pHAT 32x RGB LED	£10,00
M2.5 10 (2−4 20)	£1,02
(10 .)	n/a
	£97,73
NanoPi-Fire3 $35 (12 .) 1	£383,38
microSDHC- SanDisk Industrial class 10 8 (12 .)	£62,16
	£543,27

¹ NanoPi-Fire3は英国に免税で輸入でき、中国から12枚のボードを発送するのにたった29ドルしかかかりませんが、20％の英国のVATを考慮すると383.38ポンドを受け取ります。

他のシングルボードコンピューターからのクラスター

これまでに、私も構築しました：

• 5つのRaspberry Pi 3の自家製クラスター
• NanoPC-T3の40コアARMクラスター
• 5つのクラスターオレンジPi Plus 2e
• 5つのPINE A64の安価なクラスター+
• 4つのRaspberry Pi Zeroを備えたClusterHAT