「゜フト+ボックスサヌバヌ」たたは完党な゜リュヌション

チャド、この芋出しで䜕を蚀いたいですか



先週、゜フトりェアデファむンドストレヌゞに぀いお日本のパヌトナヌず話し合いたした。 この方向でEMCが䜕をしおいるのかを議論し、パヌトナヌが䜕をすべきかに぀いお圌らの考えを共有したした。 興味深いこずに、圌らは゜フトりェア+汎甚サヌバヌバンドルを䜿甚する経枈モデルに完党に焊点を合わせおいたした。 圌らは、これらのモデルず他のモデルずの違いを芋぀けたようで、違いは芋られたせんでした。



そしお前の週-私がオヌストラリアにいたずき-Hadoopの展開シナリオに぀いおクラむアントず倚くの䌚話をしたした。 特に、この目的のためにIsilonを䜿甚するこずが理にかなっおいる時期でした。 すべおのクラむアントは同じように考えたした。配垃キットを入手しお、ボックス化されたサヌバヌにむンストヌルしたす。 最初は、Isilonベヌスの゜リュヌションがより良く、より生産的で、より安くなるずいう考えを受け入れられたせんでした。 しかし、ただ圌らはこれに来たした。



...そしおその同じ週-シドニヌでのVMUG䌚議で、玔粋な゜フトりェア゜リュヌションず比范しお、 VSAN 、 ScaleIO 、Nutanix、およびSolidfireハヌドりェアず゜フトりェアシステムに぀いお興味深い議論をしたした。



これらすべおの䌚話の䞻な問題は1぀でした。人々が1぀の非垞に単玔なこずを受け入れるのは難しいこずです。



ストレヌゞシステム倧郚分は、「゜フトりェア+ボックスサヌバヌ」スキヌムに埓っお構築されたす。 ハヌドりェアおよび゜フトりェアシステムの圢で梱包および販売されおいるだけです。




泚「倧郚分」ずは、゜フトりェアをハヌドから分離するこずが意味をなさない固有の機噚たたは非垞に特殊なたずえば、XtremIOたたはVMAX3ノヌドをInfiniBandに接続する暙準機噚のいずれかを含むカテゎリおよびアヌキテクチャがあるこずを意味したす。 ちなみに、 私の分類によれば、これらは「2番目のタむプ」のアヌキテクチャです-「接続が密接な氎平方向にスケヌラブルなクラスタヌ」。



人々は根本的に非論理的です...カヌン!!! Leonard Nimoyぞの栄光-私たちの心の䞭で長く生き、繁栄しおください



ああ、人々。 私たちは物事の物理的抂念に固執する芖芚化にこだわっおいたす。 システムのアヌキテクチャを、パックする方法ではなく、機胜する方法で考えるこずは困難です。



ここで説明させおください-私が䞀般的に意味するものを瀺すために 読み続けおください-そしお、あなたは珟実を理解するでしょう



Hadoopクラスタヌをデプロむする必芁があるずしたす。 5ペタバむト。このために、耇雑な通信、コンピュヌティングむンフラストラクチャ、およびステヌゞングステヌゞング-デヌタが生成たたは保存された環境からHadoopクラスタヌにデヌタをアップロヌドするこず。ノヌト翻蚳に぀いお考える必芁がありたす。



倧半の堎合、サヌバヌずネットワヌクむンフラストラクチャコンポヌネントだけでなく、配垃キットも䜿甚したす。 私はおそらく小さなクラスタヌから始めお、それを構築するでしょう。 おそらくラックマりントサヌバヌを䜿甚したす。 たた、クラスタヌサむズの抂算では、サヌバヌあたりのディスク数の暙準比率を䜿甚したす。 そしお、私は倚くの人がそうしおいるのを芋たす。



このシナリオに基づいお、次のこずを誰かに䌝えたす。 「 もし 次の堎合1vSphereずBig Data Extensionsを䜿甚しお仮想化されたHadoopノヌド-統合ではなく、管理性を向䞊させる。 および2ラックサヌバの代わりにCisco UCSを䜿甚したす。 3ディスクパックをラックサヌバヌにプッシュする代わりに、EMC Isilonを䜿甚したした-これら3぀のこずを行うず、゜リュヌションは総所有コストの芳点から2倍高速、2倍コンパクト、2倍安くなりたす 」 よく...誰かがあなたにこれを蚀ったら、あなたは圌が鍛冶屋に酔っおいるこずを決定したでしょう。



しかし、䞊蚘の蚘述は真実であるこずがわかりたした 。



もちろん、皆のためではありたせん。 ただし、 参照によっお解析される興味深いケヌスには圓おはたりたす 。 これは、Hadoopクラスタヌが5ペタバむトに成長した実際のクラむアントの堎合です。 リンク結果は、独自のテストの結果です共有しおくれたDan BereslずChris Birdwellに感謝したす。 問題のクラむアントは、 巚倧な通信䌚瀟です。 パフォヌマンステストなど、詳现なテスト結果を利甚できたす。



画像








そしお今、興味深い芳察結果 倚くの人にずっお、IsilonをHDFSストレヌゞ HDFSはHadoopの䞀郚ずしおの分散ファむルシステム-およそTransl。 ず考えるのは難しいです 。 なぜなら、それはハヌドりェアコンプレックスのように芋え、暙準の汎甚サヌバヌではなく必芁な゜フトりェアが必芁です 。



倚くの堎合、Hadoopで始たる顧客は、「暙準のハヌドりェアプラットフォヌムが必芁です」ず考えたす。



ただし、本を衚玙で刀断しないでください。 「バラは、少なくずもバラず呌んでも、バラの銙りがする。」



これらの写真を芋おください



画像 画像



画像 画像



それらを芋るず、おそらく「暙準的な産業甚サヌバヌ」ず思うでしょう 。



...そしお今、私は圌らの前面を芋せおみたしょう



画像 画像



それらを芋るず、おそらく「ハヌドりェアコンプレックス」ず思うでしょう 。



しかし、どちらの堎合も同じものを芋おいたす 。



OneFSず呌ばれる゜フトりェアは、Isilonに力を䞎えおいたす。 ハヌドりェアず゜フトりェアの耇合䜓の圢でのIsilonの䟛絊は、この方法で賌入および維持したいずいう顧客の芁望の結果です。



参照により調査されたHDFSの堎合、UCSずIsilonに基づく仮想化構成は非垞に高速2倍高速、コンパクト2倍コンパクトか぀経枈的2倍経枈になりたしたIsilon ゜フトりェア機胜



  1. 同じラック内およびラックのアレむ内の䞡方で、3回のデヌタ重耇なしで高いデヌタ可甚性を確保したす。 これは゜フトです
  2. NFSずHDFSの䞡方で同じデヌタが利甚できるため、ステヌゞングの拒吊。 これも゜フトです
  3. HDFSオブゞェクトのスナップショットずレプリカを䜜成する豊富な機䌚。 そしお、これも゜フトです




...テレコムクラむアントの堎合、ハヌドりェア偎に魔法はありたせんでしたUCSを䜿甚するこずによるメリットはありたしたが、コンピュヌティングパワヌの密床が高いこずによるものです。ロヌカルドラむブを拒吊したため、ラックサヌバヌをブレヌドに眮き換えるこずができたした。



このストヌリヌ党䜓には面癜い瞬間がありたす。 お客様に次のように䌝えたす。「 ここに、䞊蚘のすべおのプロパティを備えたHDFSの゜フトりェア実装があり、それをハヌドりェアに配眮したす 」-顧客はONEFSをより喜んで䜿甚したす。 圌らはロヌカルドラむブが運ぶ困難に察凊する必芁はないでしょう。 HDFSのスケヌリングは、圌らにずっおそれほど苊痛ではありたせん。



では、なぜこれを行わないのでしょうか 答えは䞋の図に瀺されおいたす。



画像








私は垞にクラむアントずこの奇劙な察話をしおいたす。 「ハヌドりェアコンプレックスが必芁ない」ずいう事実から始たりそう、「ここに゜フトりェアの圢でScaleIO / VSANずIsilonがありたす」、その埌、ハヌドりェアコンプレックスを芁求するずいう結論に至りたす。倪陜が東から昇るずいうこずです。 このような察話のために、Solidfireは最近、補品の゜フトりェアバヌゞョンのリリヌスを発衚したした売り䞊げは耇雑な売り䞊げに比べお䜎くなるず思いたす。Nutanixは玔粋な゜フトりェア゜リュヌションから始めたしたそしお耇雑なもので終わりたした。 同じ理由で、VSANの正垞な起動には、特別な「VSANの䞋のノヌド」が必芁でした VSAN Ready Nodes- およそPer  。たた、VSPEX Blueのような統合゜リュヌションでは、VSANのかなりの消費がたもなく行われるず思いたす。 もちろん、このナヌスケヌスは、「ハヌドりェアにVSANをむンストヌルする」オプションよりも䞀般的です。 同じこずがScaleIOにも圓おはたりたす。



なんで



答えは次のずおりです。



  1. 倚くの人は、゜フトりェアおよびハヌドりェア゜リュヌションの経枈性が、ハヌドりェアのコストではなく、クラむアントずそのビゞネスモデルの利益によっお決たるこずを理解しおいたせん。 人々は、自分の手で完党な゜リュヌションを構築し始めたずきにこれに取り組みたす。 高可甚性ずフォヌルトトレランスを備えたNexentaクラスタヌを自分で構築しおみおください。 䟡栌は、NetApp FAS構成のVNXの䟡栌ず同じです。 Enterprise Redhatサポヌトを䜿甚しおGlusterをデプロむしおみおください。 Isilonず同額を支払いたす。 Cephクラスタヌを構築しおみおください再び゚ンタヌプラむズサポヌトが必芁です。 ECSの䟡栌を取埗したす。 結論鉄はそれずは䜕の関係もありたせん少なくずも「3番目」ず「4番目」のタむプのアヌキテクチャの堎合は  䞊蚘のチャドサカシュのアヌキテクチャ分類ぞのリンクを参照しおください。
  2. 倧䌁業であっおも、通垞、「サヌビスの圢でのベアアむロン」ずいう内郚機胜はありたせん。 圌らは、箱入りの機噚の暙準ずそれをサポヌトするオプションを開発し、さらに鉄の抜象的なモデルを䜜成し、それに埓っおあらゆる皮類の゜フトりェアを展開できるチヌムを持っおいたす。 Google、Amazon、およびFacebookには「サヌビスずしおのベアメタル」機胜がありたすが、他のほずんどにはありたせん。 結論サポヌトモデルは、統合された収束゜リュヌションのモデルに匕き寄せられたす。




ただし、誀解しないでください。 非ハヌドりェア゜フトりェアの考え方は䟝然ずしお重芁です。



このような゜フトりェアは、さたざたな方法で䜿甚できたす。 ゜フトりェアがアむロンずは別に存圚する堎合、孊習、詊甚、プレむ、仕事での䜿甚のために「䜙分な重量」なしで入手できたすが、サポヌトはありたせん。 いずれにせよ、誰かがサポヌトの費甚を支払う必芁がありたすオヌプン゜ヌスかクロヌズ゜ヌスかに関係なく。



これらすべおの理由および他の倚くの理由により、すべおのEMC゜フトりェアは「アドオンなし」で、そしお堎合によっおはオヌプン゜ヌスでさえ、埐々に利甚可胜になりたす。



ずころで、䞊蚘のすべおが鉄の䞖界に革新の䜙地がないずいう意味ではありたせん。 装食パネルの有無にかかわらず、最新のIsilon HDノヌドを次に瀺したす。



画像 画像 画像



圌が「コロッサス」ずコヌドネヌムされおいる理由を理解するのは簡単です。 ドラむブは、120 x 2.5むンチSSD / HDDのVikingず60 x 3.5むンチHDDのVoyagerのタむトなパッケヌゞングのケヌシングず同様に、垂盎に取り付けられおいたす。 各Isilonノヌドにはコンピュヌティングパワヌも必芁です。 それらは同じ4Uケヌスに収容されおいたす。 その結果、1぀のケヌスで最倧376TBになり、非垞にタむトで非垞にクヌルです。 このノヌドは、倧容量の構成およびアヌカむブ甚に蚭蚈されおいたす。



このすべおを芋おください ゜フトりェア定矩のストレヌゞは玠晎らしいです。 そしお、圌らがあなた自身の鉄たで倚くの異なる方法で展開できるずいう事実は、単に玠晎らしいです。 同時に、近い将来、゜フトりェアデファむンドストレヌゞを䜿甚するための最も奜たしいモデルは、統合゜リュヌションおよび統合/ハむパヌコンバヌゞドむンフラストラクチャのたたになるず思いたす。



あなたの考え



IsilonずHDFSに぀いおは、ブログで読む ビッグデヌタの゜リュヌションに基づく「高速デヌタ」のレシピ -箄Per。



All Articles