高速ファイル転送プロトコル-Aspera FASP

現在、インターネットおよびメディアを含むさまざまなコンテンツの人気の時代に、HD品質のサイズは数ギガバイトかかることがあり、ネットワークを介した高速ファイル転送の最も深刻な問題が生じています。 一例として、別の大陸にいる記者が、処理および放送のために高品質のレポートを中央スタジオに迅速に送信する必要があるニューステレビスタジオの作業があります。 数日後にはニュースはニュースではなくなるため、ここでは伝送速度が重要な役割を果たすことは明らかです。



または、たとえば、衛星チャネルのみが存在するフローティング掘削リグが、高性能なコンピューティングセンターに解釈のための掘削のために地球物理データのキューブを送信する必要がある場合、毎日の遅延が損失につながる可能性があります。



最初に頭に浮かぶのは、FTPプロトコルを使用することです。 そして実際、伝送制御プロトコル（TCP）に基づいたFTPは、短距離または「適切な」ネットワーク上でファイルを転送する必要がある場合にうまく機能します。 しかし、上記の例では、遅延とパケット損失のあるネットワークでのTCPの非効率的な動作のため、FTPプロトコルの速度は非常に遅くなります。 チャネルを増やしても問題は解決せず、高価なチャネルは未使用のままです。



Aspera FASPプロトコルにはTCPのデメリットはなく、使用可能なチャネルを可能な限り利用し、FTPと比較してデータ転送速度を数百倍に向上させます。 Asperaの出現前、データはハードドライブまたはテープに記録され、宅配便業者によって転送されていましたが、それほど高速ではありません。さらに、データ損失のリスクがありました。



FASPは、Aspera（www.asperasoft.com）が開発および特許を取得した、配信が保証された高速ファイル転送プロトコルです。 2014年、IBMはAsperaを買収し、ソリューションはIBMクラウド部門に分類されました。



FASPという略語は、高速で適応性のある安全なプロトコルを意味し、英語からの翻訳では高速で適応性のある安全なプロトコルを意味します。 使用可能なすべての帯域幅を効率的に使用するため高速。 適応性。ネットワークの状態に適応し、他のトラフィックに「友好的」だからです。 送信中と「アイドル状態」の両方で暗号化を使用するため、安全です。



FASPの利点を理解するために、TCPの仕組みを思い出してみましょう。 前世紀の70年代に、科学者は核攻撃に耐えることができるプロトコルの開発を任されました。 データを安全に送信できるプロトコルを作成する必要がありました。 したがって、TCPを作成する際の主な取り組みは、高速伝送ではなく信頼性の高いメカニズムを作成することでした。 当時、モバイルネットワークや衛星ネットワークはなく、アメリカからヨーロッパへの大西洋横断チャネルは64 Kbpsの速度しかありませんでした。これは、その期間の技術の状態を示しています。 TCPは、伝送速度がエンドポイント間の距離に反比例するように設計されました。 さらに、パケット損失が発生した場合、TCPはチャネルが混雑していると見なし、独立して伝送速度を低下させます。 TCPのパフォーマンスは、伝送距離が長くなると、ネットワーク品質が低下するため低下します。 距離が大きいほど、遅延が大きくなり、伝送速度が遅くなります。 遅延は通常、往復時間（RTT）で測定されます。 これは、パッケージを送信し、受信者から確認を受け取るまでにかかる時間です。 遅延は、光または電磁信号の速度を制限する物理法則により発生します。 たとえば、衛星ネットワークを介した伝送の遅延は800ミリ秒に達する可能性があります。 さらに、グローバルインターネット（WAN）を介して長距離で送信する場合、パケットは受信者が受信する前に多数のルーターを通過する必要があります。 ルーターはパケットの処理に時間がかかります。ルーターの構成が不適切な場合や過負荷の場合、パケット損失が発生する可能性があります。 失われたパケットの数が多いほど、送信に時​​間がかかります。 図1は、ローカルエリアネットワーク（LAN）で使用可能なネットワーク帯域幅と比較してTCPのパフォーマンスが良好であることを示していますが、同時に、RTTとパケット損失が多いほど、伝送パフォーマンスが低下します。



また、チャネルを増やしてもTCPプロトコルのパフォーマンスは向上しません。 言い換えると、10 Mbit / sのチャネルで低速伝送を行っている場合、チャネルを1 Gbit / sに増やしても速度が上がるという保証はありません。 もちろん、隣接する通りにファイルを転送する必要がある場合、パフォーマンスの向上は顕著になりますが、タスクが長距離にわたってデータを転送することである場合、チャネルを1 Gb / sに増やすことはほとんど役に立ちません。





図1 TCPパフォーマンス



TCPはセッションプロトコルです。 図2に示すように、送信中に接続を確立します。送信されたすべてのパケットは、ACKパケットの形式で確認を受け取ります。 遅延（RTT）は、パケットを送信してから確認応答（ACK）を受信するまでの時間差です。





図2 TCPパケット交換



TCPが特定の時間に送信できるパケットの数は、TCPスライディングウィンドウと呼ばれるメカニズムによって決定されます。 TCPウィンドウは、Adaptive Increase Multiplicative Decrease（AIMD）アルゴリズムと、パケットの送信レートを制御するFlow Controlによって制御されます。 これにより、TCPは、受信者が受信できるよりも速くパケットが送信されないことを「確信」できます。 図3に示すように、TCPウィンドウのおかげで、送信者は複数のパケットを同時に送信できますが、同時に確認が受信されない場合、TCPは後続のパケットの送信をブロックします。





図3 TCPスライディングウィンドウ



パケット損失/確認応答の場合、送信者はAIMDアルゴリズムを使用して、TCPウィンドウサイズを半分またはゼロに縮小します。 送信者が配信の確認を待たずに送信ウィンドウを縮小する状況は、ほとんどの場合、長距離での送信中に現れます。 大きなRTTを備えたネットワーク上。 同時に、パケット損失も発生すると、伝送速度はほぼゼロに低下します。 TCPプロトコルの伝送速度をグラフで表すと、いわゆる「のこぎり歯」機能（のこぎり歯パターン）が得られます。





図4 TCP AIMD「のこぎり歯」パターン



図4からわかるように、TCPのAIMD輻輳回避アルゴリズムの使用により、TCPの伝送速度は「輻輳」が発生するまで増加し、その結果、速度が急激に低下し、TCPプロトコルを提供せずに「のこぎり」プロセスが常に繰り返されます使用可能なチャネルを完全に廃棄します。 インターネットには、TCP（http://asperasoft.com/performance_calculator/）を介した有効な伝送速度を評価できるツールがあります。 たとえば、帯域幅が100 Mbit / s、RTT = 150 ms、パケット損失が1.5％のネットワークでは、伝送速度は1 Mbit / s未満であり、100 Mbit / sまたは1 Gbit / sのチャネルは関係ありません。なぜなら TCP伝送速度は、RTTとパケット損失に依存します。

FASPプロトコル

TCPとは異なり、Aspera FASPトランスポートプロトコルはどのネットワークでも正常に動作し、配信を保証します。 このプロトコルは、無制限のボリュームのデータをグローバルインターネット、衛星、およびモバイルチャネルを介して効率的に転送し、同時に、RTTおよびパケット損失が増加したネットワークでの効率を低下させません。 このプロトコルは、輻輳を防止するための最大速度とメカニズム、および送信ポリシー、セキュリティ、および信頼性の制御を提供します。





図5 FASPパフォーマンス



ローカルネットワークで作業する場合、TCPとFASPの違いはそれほど重要ではありませんが、ネットワーク上の2つのエンドポイント間でRTTとパケット損失が増加するとすぐに、FASPのパフォーマンスが大幅に向上します（図5）。 FASPはデータをより高速に転送し、利用可能な伝送チャネルを最大限に活用します。 同時に、理論上の最大転送速度に制限はありません。これは、ディスクサブシステムのパフォーマンスなどのハードウェアリソースによってかなり制限される可能性があります。 TCPを介した伝送は「鋸歯状」グラフを示します。これはFASPには表示されず、伝送速度は指定されたレベル（目標速度）に達し、失われたパケットの有無に関係なく維持されます。 もちろん、失われたデータは再び転送されますが、これは送信パフォーマンスに影響しません。 Aspera FASPを使用すると、ネットワーク品質に関係なく、予測可能な送信時間を保証できます。



FASPプロトコルは、OSIモデルトランスポートレイヤーのユーザーデータグラムプロトコル（UDP）に基づいて動作します。UDPは配信を保証しないため、輻輳回避アルゴリズムと伝送制御はアプリケーションレベルで実装されます。



FASPはTCPウィンドウメカニズムを使用せず、伝送距離に依存しません。 送信は特定の速度で始まり、数学アルゴリズムによって計算された速度でデータを送信します。 FASPは、否定応答メカニズム（NACK）を使用します。 つまり、失われたパケットがある場合、受信者はこのパケットを受信しなかったと報告し、送信者は引き続き送信します。 TCPとは異なり、FASPは確認を待たずに次のデータを送信します。 パケットが到着する順序でファイルを転送することは重要ではないため、TCPで発生するようなパケット損失でデータ転送が停止することはありません。 データは効率的に高速で送信され続けます。 送信者は、現在の送信を停止することなく、TCPのようにパケットウィンドウ全体ではなく、失われたパケットのみを再送信します。 FASPプロトコルを使用すると、オーバーヘッド情報の送信を最小限に抑えることができ、30％のパケット損失で0.1％未満の数値を得ることができます。





図6 AsperaとTCPパフォーマンス比較ユーティリティ



図6は、帯域幅が100 Mbps、RTTが150ミリ秒、パケット損失が2％のネットワークでの100 GBのファイル転送速度の比較を示しています。 ご覧のとおり、Aspera FASPを使用する場合の有効なファイル転送速度は98 Mb / s、TCPを使用する場合は0.7 Mb / sです。



TCPプロトコルの速度と信頼性を制御するために冗長アルゴリズムを使用することを拒否することにより、パケット損失が発生した場合にFASPプロトコルが伝送速度を低下させないようにすることができます。 失われたデータは、繰り返しデータを送信せずに、チャネル速度または事前に設定された速度で送信されます。



使用可能なチャネル帯域幅は、FASPレート制御メカニズムに基づいて決定されます。 FASPプロトコルの適応速度制御メカニズムは、いわゆるキューイング遅延を測定するために常に試行パケットを送信します。 つまり、パケットがルーターに到着すると、パケットを処理して転送する必要があります。 なぜなら ルーターは単位時間あたり1つのパケットを処理できます。その後、ルーターが処理する前にパケットを受信すると、パケットはキューに入れられます。 したがって、キューの遅延が形成されます。 FASPは、測定されたキュー遅延値をネットワーク（またはディスクサブシステム）の輻輳の主な指標として使用します。 ネットワークは常に問い合わせられており、キュー遅延の値が目標値より低い場合（チャネルが完全に使用されておらず、速度を上げる必要があることを示します）に送信速度が増加し、キュー遅延が指定されたレベルを超えると増加します（チャネルが完全に使用されていることを示します過負荷が発生する可能性があります）。 ネットワークにテストパケットを絶えず送信することにより、FASPは伝送ルート全体で正確なキュー遅延値を受け取ります。 キューの遅延が増加すると、FASPセッションは、ターゲットとキューの現在の遅延の差に比例して伝送速度を低下させ、ネットワークに過負荷をかけないようにします。 ネットワーク負荷が軽減されると、FASPセッションはターゲットの遅延に比例して速度を迅速に向上させ、利用可能なチャネル帯域幅のほぼ100％を利用します。



FASPを使用すると、速度制御メカニズムの遅延測定に基づく効率的なチャネル利用に加えて、帯域幅を他のTCPトラフィックと均等に共有でき、さまざまなファイル転送の優先順位を設定できます。

代替技術とFASP

今日、圧縮技術（Riverbed、Silverpeakなど）など、WANを介したデータ伝送を加速するためのさまざまな技術があります。 この技術は、送信者でファイルを圧縮し、受信者でさらに解凍することで構成されます。 つまり、実際には、データの純粋な形式での転送を加速するのではなく、単にWANを介して送信するデータを減らします。 ただし、ファイルを圧縮できない場合や、既にアーカイブまたは暗号化されている場合があります。この場合、パフォーマンスの向上は起こりません。



もう1つの技術は、トラフィックシェーピングです。 トラフィックの種類ごとに異なる優先度を設定します。 たとえば、営業マネージャーのチームが業務を行うアプリケーションのトラフィックを優先することは理にかなっています。このトラフィックはビジネスにとって重要だからです。 SAPシステムまたは電子メールからのトラフィックは、Webページの表示が低い間、中優先度に設定できます。 これにより特定のタスクのサービスの品質を設定できることは明らかですが、この方法はデータ転送の高速化とは関係ありません。

転送を高速化する別の方法はキャッシュです。 この方法の背後にある考え方は、ネットワークを介して頻繁に送信されるデータをキャッシュすることです。 送信者側にあるハードウェアとソフトウェアの複合体は、送信されたファイルまたはその一部の存在について受信者側のソフトウェアとハ​​ードウェアの複合体をポーリングし、存在する場合、ファイルは転送されず、キャッシュから抽出されます。 この方法の欠点は、高価な機器です。各場所にインストールする必要があるハードウェアとソフトウェアの複合体、および「すべてか何もしない」アプローチ（オブジェクトがキャッシュに見つからないか変更された場合、この方法は機能しません）。



FASPプロトコルのポジショニングは、上記の方法とは異なります。プロトコルは使用可能な帯域幅を可能な限り効率的に利用し、許容可能な速度でデータを転送することが保証されているためです。



要約すると、Asperaの主な技術的利点は次のとおりです。

•非常に大きなファイル（500 GBから数TB）を送信する機能。 Asperaの顧客は、クラウドとローカルストレージの両方で1 TBを超えるファイルを定期的に送信し、1セッションで10 TBを超えるファイルを転送します。

•長い遅延（往復時間）およびパケット損失のあるネットワークでの長距離伝送。 たとえば、BGIは10 Gb / sで米国と中国の間でゲノムデータを転送しました。 （http://phys.org/news/2012-06-bgi-genomic-gigabits-china.html）。

•長距離および最大速度での無制限のボリュームのファイルの保証された予測可能な配信。