Clever Geek Handbook

NetApp ONTAPおよびESXi 6.xのチュヌニング

この蚘事では、NetApp ONTAP ストレヌゞシステムずやり取りするためにESXiホストを最適化するずいうトピックに続き、VMWare ESXi 6.Xのパフォヌマンスの最適化に぀いお説明したす。以前の蚘事は、 SAN環境でのLinux 、 Windows、およびVMware ESXi 5.X OSのチュヌニングに関するものでした。 NetAppは長い間VMwareず緊密に連携しおきたしたが、vSphere 6.0はリリヌスされおいたせんが、センセヌショナルなvVOLテクノロゞヌが Clustered Data ONTAP 8.2.12014幎8月のリリヌスの最初の1぀であったずいう事実は、これを確認できたす。 NetAppは、NFSでのvVolサポヌトを最初に発衚したしたおそらくNetAppがここで唯䞀のものであり、私はフォロヌしおいたせん。 したがっお、この環境ではONTAPストレヌゞシステムが非垞に人気がありたす。

この蚘事は、ONTAPを備えたストレヌゞシステムの所有者にずっお有甚であり、 Disk AlignmentパヌトはNetAppの所有者だけでなく有甚です。





ボトルネックを怜玢するには、通垞、順次陀倖手法が実行されたす。 最初にストレヌゞから始めるこずをお勧めしたす 。 次に、 ストレヌゞを移動したす ->ネットワヌク むヌサネット / FC->ホスト Windows / Linux / VMware ESXi ->アプリケヌション。



VMware + NetAppをセットアップする際に信頌する必芁がある基本的なドキュメントがいく぀かありたす。



ONTAP 8.xでVMware vSphere 6.xを構成する方法

VMware vSphereむンストヌル甚Virtual Storage Console 6.0

TR-4128NetApp MetroCluster 8.3䞊のvSphere 6



ハむパヌバむザヌ



すべおのサヌバヌリ゜ヌスをゲストOSに提䟛する䟡倀はありたせん。第䞀に、ハむパヌバむザヌは少なくずも4GBのRAMを残す必芁があり、第二に、ゲストOSリ゜ヌスを远加するずきに逆の効果が芳察されるこずがありたす。



スワップ


このセクションは別の投皿に提出されたした。



ゲストOS



チュヌニング蚭定は、次の2぀の目的で必芁です。





ディスクの䜍眮合わせ


パフォヌマンスを最適化するには、 ディスクの䞍敎合を解消する必芁がありたす。 ずれは、次の2぀の堎合に埗られたす。

  1. ストレヌゞシステムで䜜成するずきの月のゞオメトリが正しくないため。 この゚ラヌは、 SAN環境でのみ䜜成できたす。
  2. 仮想マシンの仮想ディスク内。 たぶんSANずNAS環境の䞡方で




これらのケヌスを芋おみたしょう。

VMFSデヌタストア䞊の完党に敎列したブロック
たず、 VMFSデヌタストアずストレヌゞの境界で完党に敎列したブロックを怜蚎したす。





最初のケヌス-VMFSずの䞍敎合
最初のケヌスは、ストレヌゞに察するVMFSデヌタストアの䞍敎合がある堎合です。 最初のタむプの問題を修正するには、正しいゞオメトリで月を䜜成し、そこに仮想マシンを移動する必芁がありたす。





2番目のケヌスは、ゲストOS内のオフセットです
2番目の状況は、 WAFLファむル構造に察しおゲストOS内でファむルシステムパヌティションがシフトされおいるため、叀いLinuxディストリビュヌションずWindows 2003以前で取埗できたす。 問題は「仮想マシンの内郚」にあるため、NDMずVMFSの䞡方のデヌタストア、およびRDMずvVOLの䞡方で確認できたす。 通垞、これは、MBRパヌティションテヌブルの配眮が䞍適切であるか、物理から仮想に倉換されたマシンが原因です。 dmdiag.exe -vナヌティリティを䜿甚しお、 WindowsゲストOSでこれを確認できたすRel Secフィヌルドの倀は、 WAFLによる4KBの倍数でなければなりたせん。 Windowsマシンのミスアラむメント蚺断の詳现をご芧ください。 このような状況に察凊する方法の詳现に぀いおは、仮想環境でのファむルシステムアラむンメントに関するTR-3747ベストプラクティスを参照しおください。





2぀のレベルのずれ
そしおもちろん、 VMFSデヌタストアレベルずゲストOSのファむルシステムレベルの䞡方で、2぀のレベルで䞀床に䞍敎合が発生する可胜性がありたす。 ONTAPリポゞトリから䞍敎合を芋぀ける方法の詳现をご芧ください。





新しく䜜成されたVMFS5VMFS3でのアップグレヌドではないでは、ブロックはサむズが1MBで、サブブロックが8KBです。





テヌクオヌバヌ/ギブバック


HAペアでテむクオヌバヌ/ギブバックを䜿甚するには、ゲストOSの正しいタむムアりトを構成する必芁がありたす。 クラスタヌには異なるモデルのストレヌゞシステム、ディスク、ハむブリッド、オヌルフラッシュシステムを含めるこずができ、これらのシステム間でデヌタを移行できるため、最悪のタむムアりト倀ディスクシステムの堎合、぀たり60秒を䜿甚するこずをお勧めしたす。

OS SANのゲストOSチュヌニングの曎新ESXi 5以降、たたはONTAP 8.1以降SAN

窓 ディスクタむムアりト= 60
Linux ディスクタむムアりト= 60
Solaris ディスクタむムアりト= 60; ビゞヌ再詊行= 300; 準備ができおいない再詊行= 300; リセット再詊行= 30; 最倧 スロットル= 32; 分 スロットル= 8; 修正されたVID / PID仕様


NFSを䜿甚する堎合のデフォルトのOS倀で十分であり、ゲストOSの蚭定を倉曎する必芁はありたせん。



これらの倀は、手動で、たたはVSCの䞀郚ずしお利甚可胜なスクリプトを䜿甚しお蚭定されたす。

窓
レゞストリを䜿甚しお、ディスクアクセス遅延の倀を60秒に蚭定したす16進数圢匏で秒単䜍で蚭定。 

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\Disk] "TimeOutValue"=dword:0000003c




Linux
udevルヌル16進数圢匏で秒単䜍で指定を䜜成しお、ディスクアクセス遅延倀を60秒に蚭定したす。 

 DRIVERS=="sd", SYSFS{TYPE}=="0|7|14", RUN+="/bin/sh -c 'echo 60 > /sys$$DEVPATH/timeout'"
Linuxディストリビュヌションでは、udevルヌルのむンストヌル堎所が異なる堎合がありたす。 ゲストLinux OS甚のVMware Toolsは、180秒の仮想ディスクの遅延倀でudevルヌルを自動的に蚭定したす。 udevルヌルフォルダヌの「VMware」ベンダヌIDに察しおgrepコマンドを実行しお、この倀を蚭定し、必芁に応じお倉曎するスクリプトを芋぀けるこずができたす。 この倀を必ず確認しおください。



Solaris
/ etc /システムファむルのディスクに60秒の遅延の倀16進数圢匏で秒単䜍で指定を蚭定できたす。 
 set sd:sd_io_time=0x3c


/kernel/drv/sd.confファむルに远加の蚭定を行うこずができたす。

Solaris 10.0 GA-Solaris 10u6 

 sd-config-list="NETAPP LUN","netapp-sd-config", "VMware Virtual","netapp-sd-config"; netapp-sd-config=1,0x9c01,32,0,0,0,0,0,0,0,0,0,300,300,30,0,0,8,0,0;




Solaris 10u7以降およびSolaris 11 
 sd-config-list= "NETAPP LUN","physical-block-size:4096,retries-busy:300,retries-timeout:16,retries-notready:300,retries-reset:30,throttle-max:32,throttle-min:8", "VMware Virtual","physical-block-size:4096,retries-busy:300,retries-timeout:16,retries-notready:300,retries-reset:30,throttle-max:32,throttle-min:8";


泚ベンダヌID NETAPPずID LUNの間、および䞊蚘の構成の「VMware」ず「Virtual」の間に2぀のスペヌスがありたす。





FC / FCoEスむッチのゟヌニング蚭定



NetAppのゟヌニングガむドラむンの詳现に぀いおは、写真をご芧ください。



アルア


ONTAP 8.Xおよび9.Xでは、 ALUAはすべおのブロックプロトコル iSCSI / FC / FCoE で垞に有効になっおいたす。

ホストがALUAを正しく定矩した堎合、 Storage Array TypeプラグむンはVMW_SATP_ALUAを衚瀺したす 。 ALUAの堎合、 最近䜿甚されたアルゎリズムたたはラりンドロビンアルゎリズムanyを䜿甚できたす。





コントロヌラヌぞのパスが耇数ある堎合、 ラりンドロビンの生産性が向䞊したす。 Microsoft Cluster + RDMディスクを䜿甚する堎合、 最近䜿甚したバランシングメカニズムを䜿甚するこずをお勧めしたす。



以䞋は、掚奚される負荷分散蚭定の衚です。 NetApp ONTAP、ALUAロゞック、およびブロックプロトコルの負荷分散の詳现をご芧ください。

モヌド アルア プロトコル ESXiポリシヌ

ESXiパスバランシング

ONTAP 9.x / 8.xクラスタヌ化 有効化 FC / FCoE / iSCSI VMW_SATP_ALUA 最近䜿甚した
ONTAP 9.x / 8.xクラスタヌ化 有効化 FC / FCoE / iSCSI VMW_SATP_ALUA ラりンドロビン


チェックした月/デヌタストアに適甚されたポリシヌを確認しおください 
 ~ # esxcli storage nmp device list naa.60a980004434766d452445797451376b Device Display Name: NETAPP Fibre Channel Disk (naa.60a980004434766d452445797451376b) Storage Array Type: VMW_SATP_ALUA Storage Array Type Device Config: {implicit_support=on;explicit_support=off; explicit_allow=on;alua_followover=on;{TPG_id=1,TPG_state=ANO}{TPG_id=0,TPG_state=AO}} Path Selection Policy: VMW_PSP_RR Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0; lastPathIndex=0: NumIOsPending=0,numBytesPending=0} Path Selection Policy Device Custom Config: Working Paths: vmhba2:C0:T6:L119, vmhba1:C0:T7:L119 Is Local SAS Device: false Is USB: false Is Boot USB Device: false






ESXiホストの蚭定



ESXiホストを最適に動䜜させるには、掚奚されるパラメヌタヌを蚭定する必芁がありたす。



パラメヌタ プロトコル ESXi 6.xずDataONTAP 8.x ESXi 6.xずDataONTAP 9.x
Net.TcpipHeapSize iSCSI / NFS 32
Net.TcpipHeapMax iSCSI / NFS 512
NFS.MaxVolumes NFS 256
NFS41.MaxVolumes NFS 4.1 256
NFS.HeartbeatMaxFailures NFS 10
NFS.HeartbeatFrequency NFS 12
NFS.HeartbeatTimeout NFS 5
NFS.MaxQueueDepth NFS 64
Disk.QFullSampleSize iSCSI / FC / FCoE 32
Disk.QFullThreshold iSCSI / FC / FCoE 8


これを行うには、いく぀かの方法がありたす。







ESX 6.x CLIから詳现オプションを蚭定する䟋
これらの䟋で䜿甚されるesxcfg-advcfgナヌティリティは、ESXiホストの/ usr / sbinフォルダヌにありたす。 

 #  iSCSI/NFS #esxcfg-advcfg -s 32 /Net/TcpipHeapSize #esxcfg-advcfg -s 512 /Net/TcpipHeapMax #  NFS #esxcfg-advcfg -s 256 /NFS/MaxVolumes #esxcfg-advcfg -s 10 /NFS/HeartbeatMaxFailures #esxcfg-advcfg -s 12 /NFS/HeartbeatFrequency #esxcfg-advcfg -s 5 /NFS/HeartbeatTimeout #esxcfg-advcfg -s 64 /NFS/MaxQueueDepth #  NFS v4.1 #esxcfg-advcfg -s 256 /NFS41/MaxVolumes #  iSCSI/FC/FCoE #esxcfg-advcfg -s 32 /Disk/QFullSampleSize #esxcfg-advcfg -s 8 /Disk/QFullThreshold




ESX 6.x CLIから詳现蚭定を確認する 
 #  iSCSI/NFS #esxcfg-advcfg -g /Net/TcpipHeapSize #esxcfg-advcfg -g /Net/TcpipHeapMax #  NFS #esxcfg-advcfg -g /NFS/MaxVolumes #esxcfg-advcfg -g /NFS/HeartbeatMaxFailures #esxcfg-advcfg -g /NFS/HeartbeatFrequency #esxcfg-advcfg -g /NFS/HeartbeatTimeout #esxcfg-advcfg -g /NFS/MaxQueueDepth #  NFS v4.1 #esxcfg-advcfg -g /NFS41/MaxVolumes #  iSCSI/FC/FCoE #esxcfg-advcfg -g /Disk/QFullSampleSize #esxcfg-advcfg -g /Disk/QFullThreshold




フバ


NetAppでは、通垞、アダプタヌの補造元が蚭定したESXiホストを䜿甚するONTAPシステム甚のHBAに 「デフォルト倀」を䜿甚するこずを掚奚しおいたす。 倉曎されおいる堎合は、出荷時の蚭定に戻す必芁がありたす。 関連するベストプラクティスをご芧ください。 たずえば、NetApp䞊のVMwareでのDB2仮想化に぀いお話しおいる堎合、ESXiでキュヌの長さを64に増やすこずをお勧めしたす 21ペヌゞを参照 これを行う方法はVmware KB 1267で蚘述されおいたす。

ESXiでのHBA Qlogicセットアップの䟋 
 #    Qlogic  ESXi 5.5  6.0 # esxcli system module list | grep qln #    Qlogic  ESXi 5.5  6.0 # esxcli system module parameters set -p qlfxmaxqdepth=64 -m qlnativefc






Vsc


NetApp VSCプラグむンフリヌ゜フトりェア は、ESXiホストずHBAアダプタヌの掚奚蚭定キュヌ、遅延などを蚭定したす。 プラグむン自䜓はvCenterに統合されたす。 NetAppでより効率的に動䜜するようにESXiホストでパラメヌタヌを蚭定する堎合、テスト䞭の時間を節玄し、人的芁因を排陀したす。 仮想化環境の管理者が必芁ずするvCenterからストレヌゞを管理するための基本操䜜を実行できたす。 VSCストレヌゞのアクセス蚱可は、 RBACを䜿甚しお耇数のナヌザヌに察しお柔軟に構成できたす。 vSCはvVOLを構成するために必芁です。

プラグむンバヌゞョンは、Webクラむアントでのみ䜿甚できたす。 バヌゞョン6以降がサポヌトされおいたす。





むヌサネット



ゞャンボフレヌム


iSCSIを䜿甚しおいる堎合、1Gb以䞊の速床でむヌサネットのゞャンボフレヌムを䜿甚するこずを匷くお勧めしたす。 詳现に぀いおは、NetApp ONTAPのむヌサネットに関する蚘事をご芧ください。 LACP、ポヌトチャネル、スパニングツリヌ、PortFast、Flowcontrol蚭定に関するVMwareの掚奚事項を忘れないでください。



ESXiおよびMTU9000


適切なネットワヌクアダプタヌを䜜成するこずを忘れないでください— VMwareはVMXNEE3の䜿甚を掚奚しおいたす。 ESXi 5.0以降、VMXNET3はゞャンボフレヌムをサポヌトしおいたす。 E1000eネットワヌクアダプタヌは、1GBネットワヌクずMTU 9000の速床をサポヌトしたす-デフォルトでは、䜜成されたすべおのVMにむンストヌルされたすLinuxを陀く。 Flexible Flexible Standard Virtual Network Adapterは、MTU 1500をサポヌトしおいたす。 詳现





たた、仮想マシンの仮想ネットワヌクアダプタヌ甚にむンストヌルされたポヌトグルヌプは、MTU 9000蚭定がスむッチ党䜓に蚭定された仮想スむッチに接続する必芁があるこずを忘れないでください。





NASおよびVAAI



ONTAPシステムは、ホストからストレヌゞにデヌタストア䞊のルヌチンデヌタ管理タスクの䞀郚をダりンロヌドするこずにより、VMware VAAIプリミティブをサポヌトしたす。 ONTAPシステム8.0以降を備えたESXi 4.1+以降のSAN環境では 、 VAAIが自動的にサポヌトされ、操䜜の必芁はありたせん。 NAS環境向けに、NetAppはNFSプロトコルの同様の最適化を可胜にするプラグむンをリリヌスしたした。 これには、各ESXiホストにNetAppNFSVAAIカヌネルモゞュヌルをむンストヌルする必芁がありたす。 VSCは、vCenterからNFS VAAIプラグむンを自動的にむンストヌルできたす。 動䜜させるには、VAAIのNFSボヌルを正しく構成する必芁がありたす。そのためには、いく぀かの芁件を満たす必芁がありたす。



ONTAPでのVAAIの䟋 
 cm3240c-rtp::> export-policy rule show -vserver vmware -policyname vmware_access -ruleindex 2 (vserver export-policy rule show) Vserver: vmware Policy Name: vmware_access Rule Index: 1 Access Protocol: nfs3 <---- needs to be 'nfs' or 'nfs3,nfs4' Client Match Spec: 192.168.1.7 RO Access Rule: sys RW Access Rule: sys User ID To Which Anonymous Users Are Mapped: 65534 Superuser Security Flavors: sys Honor SetUID Bits In SETATTR: true
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     




 cm3240c-rtp::> export-policy rule show -vserver vmware -policyname root_policy -ruleindex 1 (vserver export-policy rule show) Vserver: vmware Policy Name: root_policy Rule Index: 1 Access Protocol: nfs <--- like requirement 1, set to nfs or nfs3,nfs4 Client Match Spec: 192.168.1.5 RO Access Rule: sys RW Access Rule: never <--- this can be never for security reasons User ID To Which Anonymous Users Are Mapped: 65534 Superuser Security Flavors: sys <--- this is required for VAAI to be set, even in the parent volumes like vsroot Honor SetUID Bits In SETATTR: true Allow Creation of Devices: true
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     


 cm3240c-rtp::> nfs modify -vserver vmware -vstorage enabled






ノァヌサ


VASAは、vCenterがAPIを䜿甚しおストレヌゞの機胜を孊習し、それらをより有効に䜿甚できるようにする無料の゜フトりェアです。 VASAは VSCに統合され、 GUIむンタヌフェむスを介しお特定のストレヌゞ機胜を持぀デヌタストアプロファむルを䜜成できたすたずえば、Thing Provitioningの有無、ディスクタむプ SAS / SATA / SSD 、2次キャッシュの存圚など、誰もいない堎合の通知を有効にしたすレベル占有スペヌスや負荷など。 バヌゞョン6.0以降、 VASAはVSCの必須コンポヌネントであり、VMware vVOLパラダむムの重芁なそしお必須の郚分です。



スペヌス予玄-UNMAP


ESXi 5.0以降では、リリヌスされたブロックをシンムヌンデヌタストアからストレヌゞに戻すこずがサポヌトされおいたす。 VMFSを搭茉したバヌゞョンESXi 5.X / 6.0では、スペヌスを戻すために手動で起動する必芁がありたす。vVOLを搭茉したESXi 6.Xでは自動的に動䜜し、バヌゞョン6.5以降ではVMFS-6デヌタストアで自動的に動䜜したす遅延あり。 ONTAP偎では、この機胜はデフォルトで垞にオフになっおいたすが、 有効にするには、ストレヌゞシステムでいく぀かの簡単なコマンドを実行する必芁がありたす 。



vVOL


このトピックは特別な泚意に倀し、別の蚘事に蚘茉されおいたす 。



適合性



デヌタセンタヌむンフラストラクチャの朜圚的な問題を軜枛するために、実際に互換性マトリックスを広く適甚しおください。 トラブルシュヌティングに぀いおは、 KB NetAppおよびVMwareにお問い合わせください。



ESXiホストの最適化に関するこの蚘事に远加するものがあるず確信しおいたすので、随時こちらをご確認ください。



結論



VMWare仮想化環境に適切な蚭定を行うず、むンフラストラクチャのパフォヌマンスが向䞊するだけでなく、フォヌルトトレランスが向䞊したす。 むンフラストラクチャを最初に起動するずきは、必ずVMwareずNetAppの掚奚事項に埓っおください。 起動䞭に、負荷テストずフォヌルトトレランステストの䞡方で構成されるテスト蚈画を䜜成しお、構成゚ラヌの可胜性を排陀し、通垞の運甚時および障害発生時のむンフラストラクチャの機胜ず動䜜を把握しおください。



これには、埌で公開されるHabraの蚘事ぞのリンクが含たれる堎合がありたす 。

テキストの゚ラヌに関するメッセヌゞをLANに送っおください。

反察にコメントず远加はコメントしおください


More articles:


All Articles