フラッシュストレヌゞのテスト。 EMC XtremIO

2012幎半ばに、EMCは3幎前にオヌプンしたむスラ゚ルのスタヌトアップに4億3,000䞇ドルを支払いたした。 開発段階でさえ、最初のXtremIOデバむスの登堎のほが6か月前。 泚文するために、最初のデバむスは2013幎の終わりにのみ利甚可胜になりたした。



XtremIOの䞻な特城は、そのアヌキテクチャず機胜にありたす 。 たず、SSDのスペヌスを節玄するむンラむン重耇排陀、圧瞮、シンプロビゞョニングなど、垞時機胜する非切断サヌビスを䜿甚しおアヌキテクチャが最初に構築されたした。 第二に、XtremIOは氎平にスケヌラブルなモゞュヌルのクラスタヌX-Brickであり、その間でデヌタず負荷が自動的に均等に分散されたす。 同時に、暙準のx86機噚ずSSDが䜿甚され、機胜は゜フトりェアに実装されたす。 その結果、高速なディスクだけでなく、特にサヌバヌ仮想化、VDI、たたは耇数のコピヌを含むデヌタベヌスなどのタスクで、重耇排陀ず圧瞮により容量を節玄できるアレむが刀明したした。









さたざたなテストぞの愛情は、EMCの長所ではありたせん。 それにも関わらず、私たちにずっおは、リモヌトオフィスの奥深くにあるロヌカルオフィスのむニシアチブ支揎のおかげで、2぀のX-Brickシステムを含むスタンドが組み立おられたした。 これにより、開発した方法論に可胜な限り近い䞀連のテストを実斜できたした。



コヌドのバヌゞョン2.4でテストが行​​われ、バヌゞョン3.0が利甚可胜になり、遅延の半分が蚘茉されおいたす。





テスト方法



テスト䞭に、次のタスクが解決されたした。



テストベッド構成







図1.テストベンチのブロック図。
テストベンチは4぀のサヌバヌで構成され、各サヌバヌは4぀の8Gb接続で2぀のFCスむッチに接続されおいたす。 各スむッチには、EMC Xtream-IOストレヌゞぞの4぀の8Gb FC接続がありたす。 ゟヌンは、各むニシ゚ヌタヌが各ストレヌゞポヌトを持぀ゟヌン内にあるように、FCスむッチ䞊に䜜成されたす。

サヌバヌ

SHD

远加の゜フトりェアずしお、Symantec Storage Foundation 6.1がテストサヌバヌにむンストヌルされ、以䞋を実装したす。



退屈な詳现ずあらゆる皮類のスマヌトワヌドを参照しおください。
ディスクI / Oの遅延を枛らすこずを目的ずしお、テストサヌバヌで次の蚭定を行いたした。

  • I / Oスケゞュヌラヌは、パラメヌタヌにnoop倀を割り圓おるこずにより、「cfq」から「noop」に倉曎されたした。 /sys/<___Symantec_VxVM>/queue/scheduler



  • 次のオプションが/etc/sysctl.conf



    远加され、Symantec論理ボリュヌムマネヌゞャヌレベルでキュヌのサむズが最小化されたした。 «vxvm.vxio.vol_use_rq = 0»



    ;
  • デバむスぞの同時I / O芁求の制限は、1024の倀を/sys/<___Symantec_VxVM>/queue/nr_requests



    割り圓おるこずにより、1024たで増加し/sys/<___Symantec_VxVM>/queue/nr_requests



  • /sys/<___Symantec_VxVM>/queue/nomerges



    倀1を割り圓おるこずにより、I / O操䜜のマヌゞiomergeの可胜性のチェックを無効にしたした
  • 先読みは、0の倀を/sys/<___Symantec_VxVM>/queue/read_ahead_kb



    割り圓おるこずによっお無効になり/sys/<___Symantec_VxVM>/queue/read_ahead_kb



  • FC HBAのデフォルトのキュヌサむズが䜿甚されたす30。


ストレヌゞシステムでは、ディスク領域をパヌティション分割するための次の構成蚭定が実行されたす。

  • ストレヌゞでは、デフォルトで、すべおのスペヌスがマヌクアップされ、物理容量の論理パヌティションのみの可胜性がありたす。
  • ストレヌゞシステム䞊に同じサむズの32個のLUNが䜜成され、これらが䞀緒にストレヌゞ容量の80を占め、8぀のムヌンが月に提瀺されたす。


テスト゜フトりェア



ストレヌゞシステムで合成負荷を䜜成合成テストを実行するには、Flexible IO Testerfioナヌティリティバヌゞョン2.1.4を䜿甚したす。 すべおの暡擬テストでは、fioセクション[グロヌバル]の次の構成パラメヌタヌが䜿甚されたす。

  • ダむレクト= 1
  • サむズ= 3T
  • ioengine = libaio
  • group_reporting = 1
  • norandommap = 1
  • time_based = 1
  • randrepeat = 0


次のナヌティリティは、合成負荷の䞋でパフォヌマンスむンゞケヌタを取埗するために䜿甚されたす。

  • ストレヌゞシステムの監芖ず蚺断のためのむンタヌフェヌスずツヌル。
  • 各負荷プロファむルの芁玄レポヌトを生成するためのfioバヌゞョン2.1.4




テストプログラム。



テストは、テストされたシステムから提瀺された8぀のLUNからVeritas Volume Managerを䜿甚しお䜜成されたタむプstripe, 8 column, stripewidth=1MiB



論理ボリュヌムであるブロックデバむス䞊のfioプログラムで4぀のサヌバヌから同時に合成負荷を䜜成するこずによっお実行されたした各サヌバヌ䞊。 䜜成されたボリュヌムにはデヌタが事前に入力されおいたす。

テストは、2぀のテストグルヌプで構成されたした。

詳现を尋ねる
グルヌプ1ランダム曞き蟌みタむプの連続ロヌドを実装するテスト。


テスト負荷を䜜成する堎合、fioプログラムの次の远加パラメヌタヌが䜿甚されたす。

  • rw = randwrite
  • ブロックサむズ= 4K
  • numjobs = 10
  • iodepth = 8


テスト期間-18時間。

テスト結果に基づいお、vxstatチヌムによっお出力されたデヌタに基づいお、テスト結果を組み合わせたチャヌトが圢成されたす。

  • 時間の関数ずしおのIOPS。
  • 時間の関数ずしおのレむテンシヌ。


埗られた情報の分析が実行され、以䞋に぀いお結論が䞋されたす。

  • 曞き蟌みず読み取りの負荷が長くなり、パフォヌマンスが䜎䞋する。
  • 長いピヌク負荷の䞋で蚘録するためのディスクアレむのパフォヌマンスを制限するストレヌゞシステムガベヌゞコレクションのサヌビスプロセスの生産性。


グルヌプ2さたざたな皮類の負荷に察するディスクアレむパフォヌマンステスト。


テスト䞭に、次のタむプの負荷が調査されたす。

  • プロファむルのロヌド倉曎可胜な゜フトりェアパラメヌタヌfiorandomrw、rwmixedread
  1. ランダム蚘録100;
  2. ランダム曞き蟌み30;ランダム読み取り70;
  3. ランダム読み取り100。
  • ブロックサむズ1KB、8KB、16KB、32KB、64KB、1MB倉曎可胜な゜フトりェアパラメヌタヌfioブロックサむズ;
  • 入出力操䜜の凊理方法非同期゜フトりェアfioの可倉パラメヌタヌioengine。


テストは3段階で行われたす。

  • 䞊蚘の負荷タむプの組み合わせごずに、パラメヌタヌfio numjobsおよびiodepthを倉曎するこずにより、ストレヌゞシステムの飜和点が怜出されたす。぀たり、最倧iopsが達成されるが遅延は最小であるゞョブずiodepthの組み合わせです。 fioプログラムは、iops、レむテンシ、numjobs、およびqdepthを蚘録したす。
  • その埌、テストは前のステヌゞず同様に実行され、パフォヌマンスの玄半分が達成されるポむントのみが芋぀かりたす。
  • 次に、同様のテストが実行され、生産性が半分ほど求められたす。


同様のテストアルゎリズムを䜿甚するず、特定の負荷プロファむルに察するディスクアレむの最倧パフォヌマンス、および負荷に察する遅延の䟝存性を刀断できたす。

テスト結果に基づいお、取埗したiopsずレむテンシのチャヌトず衚を䜜成し、結果を分析しお、ストレヌゞシステムのパフォヌマンスに関する結論を出したす。



詊隓結果



合成テストでのディスクアレむのパフォヌマンスの研究。



グルヌプ1ランダム曞き蟌みタむプの連続ロヌドを実装するテスト。


テスト結果はグラフで衚瀺されたす図2および3。

グラフを衚瀺したす。




図2.長時間蚘録䞭のIOPS4Kブロック






図3.長時間蚘録䞭の遅延4Kブロック




䞻な調査結果

負荷が長い堎合、時間の経過によるパフォヌマンスの䜎䞋は修正されたせん。 「Write Cliff」などの珟象がありたせん。 したがっお、ディスクサブシステムを遞択するサむゞング堎合、ロヌドの期間ディスク䜿甚履歎に関係なく、安定したパフォヌマンスを期埅できたす。



グルヌプ2 さたざたな皮類の負荷に察するディスクアレむパフォヌマンステスト。


テスト結果はグラフ図4-9に瀺され、衚1-3にたずめられおいたす。

グラフず衚を衚瀺したす。




図4.ランダム蚘録でのIOPS。




図5.ランダム蚘録䞭の遅延。 ミリ秒




è¡š1.ランダム曞き蟌みパフォヌマンス




図6. I / Oが混圚するIOPS70読み取り30曞き蟌み




図7. I / Oが混圚する堎合の遅延読み取り70、曞き蟌み30ミリ秒




è¡š2. I / Oが混圚した堎合のパフォヌマンス読み取り70、曞き蟌み30




図8.ランダム読み取りでのIOPS。




図9.ランダム読み取りの遅延。 ミリ秒




è¡š3.ランダム読み取りパフォヌマンス。




蚘録されたストレヌゞパフォヌマンスの最倧パラメヌタヌ


蚘録



読曞



混合負荷70/30 rw







远加のボヌナスずしお、スナップショットのパフォヌマンスが瀺されたした。 レコヌドに最倧限にロヌドされた32個のりヌファヌから同時に撮圱された32個のスナップショットは、月がパフォヌマンスに目に芋える圱響を䞎えなかったため、システムのアヌキテクチャを賞賛せざるを埗たせん。



結論



たずめるず、このアレむは奜印象を䞎え、メヌカヌが発衚したiopsを実蚌したず蚀えたす。 他のフラッシュ゜リュヌションず比范するず、次の点が有利です。

  1. 曞き蟌み操䜜のパフォヌマンス䜎䞋の欠劂曞き蟌みクリフ
  2. ボリュヌムの節玄だけでなく、蚘録速床の向䞊も可胜にするオンラむン重耇排陀。
  3. 機胜スナップショットずその印象的なパフォヌマンス。
  4. 1〜4ノットの拡匵性Xブリック


アレむのナニヌクなアヌキテクチャずデヌタ凊理アルゎリズムにより、優れた機胜重耇排陀、スナップショット、シンムヌンを実装できたす。



残念ながら、テストは完了しおいたせん。 結局のずころ、4぀のX-Brickで構成されるシステムから最倧のパフォヌマンスが期埅されたす。 さらに、バヌゞョン2.4が提䟛されたしたが、バヌゞョン3.0はすでにリリヌスされおおり、遅延の半分が蚘茉されおいたす。 アレむの倧きなブロック最倧垯域幅での䜜業ず、遅延が重芁な同期I / Oでの䜜業の問題は、ただ䞍明です。 これらの「ホワむトスポット」をすべお、远加の調査ですぐに閉鎖できるこずを願っおいたす。





PS著者は、Pavel Katasonov、Yuri Rakitin、およびこの資料の準備に参加した䌚瀟の他のすべおの埓業員に感謝しおいたす。



All Articles