🚴🏻 🧛🏾 🤘🏿 Proxmox VEでのWindows VMのディスクパフォーマンスについて少し。ベンチマークZFSおよびMDADM + LVM 😜 🚰 👖

興味のある方は、最近、Proxmox 4.3を使用して、ノード上のWindowsマシン内で読み取り/書き込みパフォーマンスをテストしました。

ホストシステムは、2つの異なる方法（zfsおよびmdadm + lvm）で実装されたraid10にインストールされました。

主にこの特定のOSのパフォーマンスに関心があるため、テストはWindowsゲストで実行されました。

私は認めなければなりません、これは記事の2番目のバージョンであり、最初のバージョンは致命的な間違いを犯しました：

zfsは、zvolではなくローカルストレージでテストされました。 最後まで、proxmoxはzvolをサポートしていないと思っていました。

この誤解に気付いてくれてありがとうございます。

vasyakrgからSoft-RAID 10 GPTにPROXMOX 4.3をインストールすることに関する最近の記事へのコメントは、この記事を書くことを考えさせました。 ホリバーのためではありませんが、最近の結果を公開することにしました。

水データ：

ノード：

CPU： Intel®Core（TM）i7-3820 CPU @ 3.60GHz

RAM： 20GB（1334 MHz）

HDD： 4x500GIB（ST500NM0011、ST500NM0011、ST3500418AS、WDC WD5000AAKX-22ERMA0）

SSD： 250GiB（PLEXTOR PX-256M5Pro）

OS： Proxmox仮想環境4.3-10

仮想マシン：

CPU： 8（1ソケット、8コア）

RAM： 6.00 GiB

HDD： 60 GiB（virtio）

OS： Windows Server 2008 R2 Server Standard（フルインストール）SP1 [6.1 Build 7601]（x64）

すべての結果は、 CrystalDiskMark 5.2.0 x64ユーティリティを使用して取得されました。

各テストは、32GBを5回繰り返して実施されました。

この記事で指定されていない追加の調整や変更は、ハイパーバイザーの構成でも仮想マシンの構成でも行われていません。つまり、新しくインストールしたProxmoxと、バックアップから復元されたWindows仮想マシンを使用しただけです。

結果：

結果自体：

raid10（mdadm）+ lvm、キャッシュ=なし

----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 274.338 MB/s Sequential Write (Q= 32,T= 1) : 171.358 MB/s Random Read 4KiB (Q= 32,T= 1) : 3.489 MB/s 851.8 IOPS Random Write 4KiB (Q= 32,T= 1) : 0.927 MB/s 226.3 IOPS Sequential Read (T= 1) : 233.437 MB/s Sequential Write (T= 1) : 183.158 MB/s Random Read 4KiB (Q= 1,T= 1) : 0.522 MB/s 127.4 IOPS Random Write 4KiB (Q= 1,T= 1) : 2.499 MB/s 610.1 IOPS Test : 32768 MiB E: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/08 15:21:41 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

raid10（mdadm）+ lvm、キャッシュ=ライトバック

 ----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 1084.752 MB/s Sequential Write (Q= 32,T= 1) : 503.291 MB/s Random Read 4KiB (Q= 32,T= 1) : 31.148 MB/s 7604.5 IOPS Random Write 4KiB (Q= 32,T= 1) : 203.832 MB/s 49763.7 IOPS Sequential Read (T= 1) : 1890.617 MB/s Sequential Write (T= 1) : 268.878 MB/s Random Read 4KiB (Q= 1,T= 1) : 33.369 MB/s 8146.7 IOPS Random Write 4KiB (Q= 1,T= 1) : 54.938 MB/s 13412.6 IOPS Test : 32768 MiB E: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/08 14:55:15 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

raid10（zfs）、キャッシュ=なし

 ----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 1428.912 MB/s Sequential Write (Q= 32,T= 1) : 281.715 MB/s Random Read 4KiB (Q= 32,T= 1) : 76.261 MB/s 18618.4 IOPS Random Write 4KiB (Q= 32,T= 1) : 64.809 MB/s 15822.5 IOPS Sequential Read (T= 1) : 1337.939 MB/s Sequential Write (T= 1) : 247.119 MB/s Random Read 4KiB (Q= 1,T= 1) : 27.926 MB/s 6817.9 IOPS Random Write 4KiB (Q= 1,T= 1) : 21.005 MB/s 5128.2 IOPS Test : 32768 MiB E: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/16 14:42:05 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

raid10（zfs）、キャッシュ=ライトバック

 ----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 379.678 MB/s Sequential Write (Q= 32,T= 1) : 373.262 MB/s Random Read 4KiB (Q= 32,T= 1) : 12.409 MB/s 3029.5 IOPS Random Write 4KiB (Q= 32,T= 1) : 150.885 MB/s 36837.2 IOPS Sequential Read (T= 1) : 931.972 MB/s Sequential Write (T= 1) : 187.517 MB/s Random Read 4KiB (Q= 1,T= 1) : 14.106 MB/s 3443.8 IOPS Random Write 4KiB (Q= 1,T= 1) : 54.419 MB/s 13285.9 IOPS Test : 32768 MiB E: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/16 14:21:47 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

その後、キャッシュSSDをzfsプールに追加しました。

raid10（zfs + ssd）、キャッシュ=なし

 ----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 1518.768 MB/s Sequential Write (Q= 32,T= 1) : 312.825 MB/s Random Read 4KiB (Q= 32,T= 1) : 157.763 MB/s 38516.4 IOPS Random Write 4KiB (Q= 32,T= 1) : 96.962 MB/s 23672.4 IOPS Sequential Read (T= 1) : 1474.409 MB/s Sequential Write (T= 1) : 236.638 MB/s Random Read 4KiB (Q= 1,T= 1) : 28.693 MB/s 7005.1 IOPS Random Write 4KiB (Q= 1,T= 1) : 24.380 MB/s 5952.1 IOPS Test : 32768 MiB E: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/16 17:07:45 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

raid10（zfs + ssd）、キャッシュ=ライトバック

 ----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 353.932 MB/s Sequential Write (Q= 32,T= 1) : 401.659 MB/s Random Read 4KiB (Q= 32,T= 1) : 30.015 MB/s 7327.9 IOPS Random Write 4KiB (Q= 32,T= 1) : 110.644 MB/s 27012.7 IOPS Sequential Read (T= 1) : 923.238 MB/s Sequential Write (T= 1) : 167.356 MB/s Random Read 4KiB (Q= 1,T= 1) : 31.210 MB/s 7619.6 IOPS Random Write 4KiB (Q= 1,T= 1) : 56.429 MB/s 13776.6 IOPS Test : 32768 MiB E: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/16 17:24:12 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

楽しみのために、1つのSSDでもテストを実行しました。

ssd + lvm、キャッシュ=なし

 ----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 526.147 MB/s Sequential Write (Q= 32,T= 1) : 361.292 MB/s Random Read 4KiB (Q= 32,T= 1) : 189.502 MB/s 46265.1 IOPS Random Write 4KiB (Q= 32,T= 1) : 78.780 MB/s 19233.4 IOPS Sequential Read (T= 1) : 456.598 MB/s Sequential Write (T= 1) : 368.912 MB/s Random Read 4KiB (Q= 1,T= 1) : 18.632 MB/s 4548.8 IOPS Random Write 4KiB (Q= 1,T= 1) : 32.528 MB/s 7941.4 IOPS Test : 32768 MiB F: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/09 12:56:31 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

ssd + lvm、キャッシュ=ライトバック

 ----------------------------------------------------------------------- CrystalDiskMark 5.2.0 x64 (C) 2007-2016 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s SATA/600 = 600,000,000 bytes/s * KB = 1000 bytes, KiB = 1024 bytes Sequential Read (Q= 32,T= 1) : 1587.672 MB/s Sequential Write (Q= 32,T= 1) : 524.242 MB/s Random Read 4KiB (Q= 32,T= 1) : 248.953 MB/s 60779.5 IOPS Random Write 4KiB (Q= 32,T= 1) : 320.532 MB/s 78254.9 IOPS Sequential Read (T= 1) : 2481.313 MB/s Sequential Write (T= 1) : 825.351 MB/s Random Read 4KiB (Q= 1,T= 1) : 58.060 MB/s 14174.8 IOPS Random Write 4KiB (Q= 1,T= 1) : 59.725 MB/s 14581.3 IOPS Test : 32768 MiB F: 0.1% (0.1/60.0 GiB) (x5) Interval=5 sec Date : 2016/11/09 13:28:20 OS : Windows Server 2008 R2 Server Standard (full installation) SP1 6.1 Build 7601 (x64)

チャート：

明確にするために、いくつかのグラフを描くことにしました

順次読み取りおよび書き込み速度：

ランダムな読み取りおよび書き込み速度：

ランダム読み取りおよび書き込みのIOPSの数：

結論：

結果がかなり珍しく、場所によっては奇妙でさえあるという事実にもかかわらず、ディスクのcache=none

オプションでzfsでコンパイルされたraid10は、読み取りと読み込みの両方でmdadm + lvmでコンパイルされたraid10よりも良い結果を示したことがわかります記録。

ただし、 cache=writeback

オプションを使用すると、mdadm + lvmでコンパイルされたものが顕著に現れます。

cache=writeback

がデータ損失のリスクをどれだけ増加させるかはまだわかりませんが、公式の proxmox フォーラムには、この情報が古く、カーネルとqemuの新しいバージョンでは、いずれの場合でもディスクに配置することをお勧めしますzfsで。

古い投稿を参照すると、新しいカーネルと新しいqemuバージョンが現在配置されています。 zfsの場合、cache = writebackが推奨設定です。

さらに、 IlyaEvseevは彼の記事で、ライトバックキャッシュがWindowsツールに良い結果をもたらすと書いています。

主観的な評価によると、ライトバックはWindowsを搭載したVMに最適であり、LinuxおよびFreeBSDを搭載したVMには最適ではありません。

ゲストマシンでのディスク操作のパフォーマンスを向上させる方法について他に提案があれば、おそらくすべてです。喜んでそれらをお聞きします。

Proxmox VEでのWindows VMのディスクパフォ​​ーマンスについて少し。 ベンチマークZFSおよびMDADM + LVM