ポストプロダクションスタジオおよびテレビチャンネル用の高度にスケーラブルなストレージ

ポストプロダクションスタジオのスペシャリストは、テラバイトサイズのファイルを操作し、リソース集約型のプロフェッショナルアプリケーションを使用して、ビデオ編集、色補正、素材の最終処理を実行します。 スタジオの重要なタスクは、原則として、いくつかのワークステーションからのフレーム損失や遅延なしに、ビデオ素材の中断のない作業に十分な高帯域幅を維持することです。



同時に、ビデオデータの量が増え、ストレージ容量が限られていることを考えると、ポストプロダクションスタジオとテレビチャンネルには、高度にスケーラブルなソリューションが必要です。 多くの場合、ペタバイト規模の情報とストレージのクラスター構成に関しては、ストレージシステムの水平スケーリングが必要です。



この記事では、メディア企業の典型的なタスク、パフォーマンスメトリック、およびRAIDIXと大規模ITインフラストラクチャ向けの拡張性の高いHyper FSファイルシステムに基づくスケールアウトソリューションについて説明します。

データ量の増加

診断薬やリソース集約型の科学研究など、さまざまな業界での大容量ファイルの効率的な保存は、困難な課題になりつつあります。 メディア業界に関しては、ここでは膨大な量のコンテンツが使用されています。 したがって、平均長編映画では、フルHD形式で最大2 TB、8K形式で最大15 TBのデータを使用できます。



多数の並列プロジェクトとビデオデータのペタバイトのボリュームがある場合、いくつかのノードのストレージクラスターを作成するのが論理的です。 このタスクを実行すると、システム管理者は従来のファイルシステムのいくつかの制限に直面します。同じセクション内のメタデータとデータの場所。 サイズ、パフォーマンス、ファイル数、フォルダーのネストなどによるスケーラビリティーの不足。 この場合の最適な解決策は、分散クラスタファイルシステムです。

ビデオ制作ストレージ

ビデオ制作および放送の分野におけるデータストレージシステムの主要な要件には、次のものがあります。

• ディスク障害が発生した場合でも、高いスループットと最小のパフォーマンス。
• ダウンタイムなしでハードウェア要素を「ホット」交換する機能。
• プロセスで使用されるアプリケーションの優先順位を設定する機能。
• ファイバーチャネル、iSCSI、NFS、SMB、FTP、AFPデータアクセスインターフェイスの柔軟なサポート。
• システムの高い垂直および水平スケーラビリティ。

データのビデオ編集は、データをリアルタイムで読み書きし、非圧縮ビデオのストリームを操作する必要があることを意味します。 ストレージの遅延によりフレームが失われる可能性があり、その場合、プロセスを再起動する必要があります。 映画スタジオの重要な課題は、可能な限り迅速なビデオ処理です。 技術面では、この要件は、ビデオ素材を扱うすべての段階での機器の高いスループットとフォールトトレランスを意味します。



数十の並列プロジェクトで動作するメディアホールディングでは、ビデオコンテンツの増加を考慮して、新しいストレージシステムまたは既存の構成の近代化が必要です。 このようなストレージは、最小限の投資でペタバイトのデータボリュームの高性能で信頼性の高いストレージを提供することになっています。

メディア業界向けのスケールアウトソリューション

高負荷で作業する場合、生産性、ストレージ密度、コストの比率を観察する必要があります。 システムのパフォーマンスは、ディスクの数と個々のディスクのパフォーマンスに依存します。 原則として、回転ディスクを使用する高性能のソフトウェア定義テクノロジは、ストリーミングタスクを完全に満たします。 高密度シェルフと組み合わせて、多数のストリームまたは高解像度のストリームを操作するための効果的な構成が作成されます。



さらにスケーリングが必要な場合は、RAIDIXソフトウェアに基づいたシステムやHyperFSクラスターシステムなどのクラスターソリューションを使用できます。



水平方向にスケーラブルなソリューションの主要な基準は、高性能と低遅延に加えて、次のとおりです。

• 複数のストレージクラスターの単一アドレススペース
• さまざまなプロトコルを介した同時アクセス。
• 同じデータへのファイルおよびブロックアクセス。

たとえば、追加のディスクシェルフを接続する機能、高性能、および複数の2K / 4Kビデオストリームのサポートを備えたRAIDIXに基づいた大容量（2U / 48 TBから4U / 108 TB）のシステムを取り上げます。 フレームを失うことのないデータの整合性は、ダブルパリティ付きRAID 6やトリプルパリティ付き7.3など、独自のReydiksアルゴリズムによって提供されます。 したがって、RAID 7.3は、最大3つのアレイディスクに障害が発生した場合でも、最小限のパフォーマンスでシステムの中断のない動作を保証します。



管理ソフトウェアとしてのRAIDIXは、標準のx86-64コンポーネント（エンクロージャー、ディスク、インターフェースコントローラー、メモリ、プロセッサーなど）で動作し、特定の保持タスク用にRAIDアレイを最適化し、システムメンテナンスの総コストを削減します。



RAIDIXは、ハードウェア、AJA、Blackmagic Designをサポートし、制御環境Xsan、metaSAN、StorNext、FalconStor、およびプロの編集アプリケーション（Adobe Premiere、Final Cut Pro、Avid、Smoke、DaVinci Resolve、SGO Mistikaなど）と正常に対話します。 さらに、RAIDIXを使用すると、ストレージノードにプロの色補正ソフトウェアを直接インストールできるため、ハードウェアリソースを節約できます。

クラスタファイルシステム

RAIDIXを使用してマルチノードストレージクラスターを作成するシナリオは何ですか？ 上記のように、従来のファイルシステム（FS）の機能はこのタスクには不十分です。 従来のFSの場合、次の制限が特徴的です。

• メタデータとデータは同じパーティションに保存されます。
• ファイルがパーティションに分散され、アクセスの遅延が発生します。
• デフラグを防止するメカニズムはありません。
• サイズ、パフォーマンス、ファイル数、フォルダーのネストなどによるスケーラビリティーの不足。
• 非ネイティブのクロスプラットフォーム。

指定された問題は、クラスターファイルシステムを使用して解決されます。 したがって、Scale LogicのHyperFSシステムは、クライアントに対して透過的な高スケーラビリティと、さまざまなオペレーティングシステムからのデータへの同時アクセスを提供します（特に、ファイルゲートウェイを介して）。 RAIDIXソフトウェアとHyperFSを併用すると、ブロックおよびファイルアクセス用の単一のアドレススペースを整理できます。 共同ソリューションの技術的利点の中で：

• 1つのディレクトリに最大40億のファイル。
• 1つのFSに結合できる最大4096セクション。
• 単一障害点がない;
• ダウンタイムなしの容量とパフォーマンスの観点からのFSの動的な拡張。
• 人気のOSの最新バージョンのサポート-Mac / Windows / Linux。

HyperFS SANファイルシステム（図1）は、必要な冗長性、高いデータ可用性、パスおよびデータミラーリングを提供します。 HyperFS for SANを使用すると、複数のファイルシステムまたはiSCSIディスクアレイを、複数のクライアントマシンからのデータの同時編集および再生をサポートするストレージクラスターに変換し、単一のネームスペース内で高いパフォーマンスと共有を実現できます。



システムには、冗長構造、メタデータミラーリングを備えた完全冗長のSAN構造を備えたオプションのメタデータコントローラー（MDC）があり、ファイバーチャネルおよびiSCSI環境でのマルチパス構成をサポートします。 システムには単一障害点がなく、高いストレージ安定性を提供します。







図 1. HyperFS SANの構造



大規模メディアおよびエンターテイメントインフラストラクチャで使用されるスケールアウトNASシステムの機能には、クラスター内の最大64ノードの統合、さまざまなプロトコル（SMB v2 / v3、NFS v3 / v4、FTP / FTPS、HTTP / HTTPSによる同時アクセス）が含まれます/ WebDAV）、ノード間の負荷分散（ラウンドロビン、接続カウント、負荷ノード）、Active Directoryサポート。

高度なRAIDIXおよびHyperFS機能：

• 大小のファイルのシステム最適化;
• ユーザーのクォータとフォルダーのサポート。
• SONGおよびMDCのSNMPを介したSNMP監視。
• LDAP / Active Directory-ローカルユーザーデータベースを使用する機能、またはActive Directoryと統合する機能。
• ACLサポート-サポートされているすべてのオペレーティングシステムでACLを使用する機能。

したがって、RAIDIXおよびHyperFSに基づくシステムは、映画スタジオ、ポストプロダクションスタジオ、およびTVチャンネルに、高性能ソリューション、単一アドレス空間、さまざまなプロトコルを介した同時アクセス、低レイテンシ、高拡張性、同じデータへのファイルアクセスおよびブロックアクセスを提供します。

ソリューションのアーキテクチャ

RAIDIXソフトウェアとHyperFSクラスター化ファイルシステムに基づくストレージアーキテクチャ（図2を参照）は、3つの主要コンポーネントで構成されています。

• ストレージノード（SharedDisk / SHD）。 情報のフォールトトレラントストレージ用に設計されたディスクストレージ
• ディレクトリサービス（MDS）。 データリンク、調停、アクセス制御を保存するために設計されています。 ディレクトリサービス自体は、データとメタデータを保存しません。
• お客さま RAIDIXクライアントは、共有データにアクセスするために特別なクライアントソフトウェアがインストールされたサーバーまたはPCです。

クライアントソフトウェアをインストールせずに多数のクライアントを接続する必要がある場合、ソリューションアーキテクチャは、データが処理されるファイルアクセスゲートウェイ（NASゲートウェイ）を編成する可能性を提供します。







図 2. RAIDIXソフトウェアとクラスターファイルシステムに基づくストレージアーキテクチャ

テクニカル指標

システム容量	64 ST（理論上の制限）
ファイル/オブジェクト/フォルダーの最大数	4 TBメタデータボリュームを使用する場合、最大4,000,000,000
ファイルサイズ	64 ST（理論上の制限）
ファイル名の長さ	Windows：255 ASCII文字 Linux / Mac：255 ASCII文字
カタログの深さ	Windows：244文字。 Linux：4096バイト
LUNの最大数	4093
エクスポートされた方法	512
メタデータコントローラーの数（MDC）	高可用性で最大2つ構成可能
同時ファイルシステムの数	16
完全な冗長性	サポート：単一障害点なし
動的ファイルシステムの拡張	はい、LUNはダウンタイムなしで追加できます。
サポートされているSANクライアントOS	Windows 7 32 / x86_64 / Win 8、Win 10 Windows 2008 / 2008_R2 / 2012 / 2012_R2 /サーバー32 / x86_64 / 2016_x86_64 SUSE 11 SP1-3 OS X 10.7-10.12
SSDサポート	はい

結論

RAIDIXは、複数のストレージノード（SHD）の使用を可能にし、ノード間で情報を動的に分散し、負荷を分散します。 ソリューションのアーキテクチャにより、データを転送したりシステム構成を変更したりすることなく、新しいストレージノードをオンデマンドでシステムに追加できます。



RAIDIXの主な利点は、ブロックレベルで多数のワークステーションから1つまたは複数のストレージシステムに格納されたデータを、従来のSANアーキテクチャでは不可能だった高いパフォーマンスで同時に処理できることです。



RAIDIXテクノロジーとHyperFSファイルシステムは、速度とフォールトトレランスに関する最高の要件を満たし、複数のワークステーションからのビデオコンテンツを同時に処理します。 RAIDIXを使用すると、ストレージクラスターを作成する際のハードウェアアップグレードコストを最小限に抑え、ダウンタイムやパフォーマンスの低下なしに既存のインフラストラクチャを水平方向に拡張できます。