Viya、Vaya、Vaya、Vaya-「翻訳の難しさ」、または新しいプラットフォームSAS Viya（Vaya）の背後に隠されているもの

ネットワークには、数学統計アルゴリズムの使用方法、ニューラルネットワーク、および一般的な機械学習の利点に関するさまざまな記事が多数あります。 これらの分野は、人間の生活の大幅な改善とロボットの明るい未来に貢献しています。 たとえば、人間の介入や自動操縦装置なしで完全または部分的に機能できる新世代のプラント。

開発者は、これらのアプローチと機械学習方法の組み合わせをさまざまな方向に組み合わせます。 これらのエリアには、その後、オリジナルではなく非常に名前が付けられます。たとえば、IOT（モノのインターネット）、WOT（モノのウェブ）、インダストリー4.0（インダストリー4.0）、人工知能（AI）などです。 これらの概念は、その説明がトップレベルであるという事実、つまり、特定のツールやテクノロジーが考慮されておらず、システムを実装する準備もできていないという事実によって結ばれています。主な目標は、目的の結果を視覚化することです。 しかし、テクノロジーはすでに存在しますが、多くの場合、単一のプラットフォームはありません。

このソリューションは、SAS、SAP、Oracle、IBMなどの大手ソフトウェアベンダーと、大企業との競争が激しい小規模な新興企業、およびオープンソースソリューション（オープンソースソリューション）の両方によって提供されます。 この多様性はすべて、タスクの迅速かつ効果的な実装を大幅に複雑化します。それは、さまざまなシステム同士の面倒な統合、機械学習の優れたモデルを作成する開発者の多大な努力、およびこれらのソリューションの生産的な方法での将来の実装を必要とするためです しかし同時に、ビジネスを行うための会社のアプローチを変えるイノベーションプロジェクトの成功の主な基準は、しばしば成功とソルベンシーの迅速な証明を必要とします。さもなければ、誰もそれを立ち上げることを敢えてしません。 そして、これは単一のプラットフォームを使用しないと不可能であり、データの準備（検索、収集、クリーニング、統合）の全サイクルを迅速に完了し、高品質の分析（機械学習アルゴリズムの使用を含む）の形で最終結果を取得し、結果として利益を得ることができます会社のために。

SASについて

SASは、高度な分析ソリューションの市場で高い地位にあることに多くの人が同意するかもしれません 。 SASソリューションのレビューは異なる場合がありますが、無関心な人はいません。これは、ロシアおよび世界の多数の顧客の存在によって確認されています。 社内で簡単かつ迅速に実装し、すぐに結果を得ることができる既製のアルゴリズムとモデルのおかげです。 これについては、SASのブログの最初の記事で多くのことが書かれています 。 ここで読むことができます 。 この記事では、SASの成功の背景とその歴史について説明します。 しかし、ITとビジネスコミュニティは急速に発展しており、ツールに対する要求が厳しくなっているため、SASは新しい分析プラットフォームであるSAS Viyaをリリースしました。 このプラットフォームには、高度な分析のためのソリューションのクラスの現在の傾向を判断するために、SASが現在に至るまでにSASによって作成されたすべてのベストが含まれています。 美しい名前と定義に戻ると、SAS Viyaは、分散（クラウド）コンピューティングとマイクロサービスアーキテクチャのアプローチを使用して開発された、インメモリ機能を使用したセルフサービスデータサイエンスなどの方向性のための統合プラットフォームを提供します。 そのため、この記事ではSAS Viyaプラットフォームに関する一連の記事を開き、Viyaが何であるか、何ができるか、そしてどのように使用するかを整理します。

難しい選択

市場には、有名なベンダーや小規模なプレーヤーの製品が非常に多くあり、ビジネスのあらゆる分野でさまざまな分析上の問題を解決できるオープンソースがあることがすでにわかっています。 特定のプラットフォームの選択を決定する際に、価格に加えてどのような基準を考慮する必要がありますか？

そもそも、ビジネスユーザーは分析サイクル全体にますます関与するようになり、ITからのより大きな独立性が必要になっています。 これらのユーザーが理解できる基準-使いやすさ（単一のインターフェイス）、新しいシステムの学習の最小化（コードが少なく、グラフィックスが多い）、パフォーマンス（分析の観点-これは大規模なデータセットで迅速に結果を取得できる機能）、既成のアルゴリズムとモデルの可用性仕事のため。 黒い画面の時間がなくなり、端末ウィンドウは別の形式ですが、まだ利用可能であり、外出先でコードを記述してデバッグすることができますが、ほとんどの機能はグラフィカルインターフェイスのブロックとして既に実装でき、すべてのユーザーに門戸を開きます高度な分析を使用するためのレベル（数学を理解することは依然として望ましいですが）。

必然的に市場を征服する2番目の傾向は、クラウドテクノロジーです。 企業の観点から見ると、これはあらゆるプロジェクトで利用可能なリソースを柔軟に管理する機会です。 クラウドテクノロジーが従来のソリューションに完全に取って代わった時期については、多くの研究があります。 ただし、ここで重要なのは、クラウドコンピューティングは外部データセンターのどこか遠くにあるハードウェアであるだけでなく、複雑なITインフラストラクチャを構築または再構築する必要なく、迅速に取得できるサービスの形であらゆる種類のサービスを柔軟に提供するというアプローチでもあることを理解することです。

もう1つの傾向は、ビッグデータテクノロジーの使用です。 また、独自の言語とテクノロジーを備えたHadoopエコシステム全体の使用、およびR、Pythonなどのデータを操作するためのインターフェイスを提供する他の利用可能なオープンソースシステム。 この分野で競争する意味はありませんが、このエコシステムと統合するための技術があることは理にかなっています。 または、単に統合するだけでなく、SAS Hadoop Embedded Processの場合のようにこのエコシステムの機能を使用するか、Kafkaを使用してESP（SAS Event Stream Processing）システムの高可用性を構築します。 また、SAS ViyaのCASエンジンでRコードを実行する機能など、改善および高速化することもあります。

ユニバーサルプラットフォーム

需要は供給を生み出し、SAS Viyaもこのルールの例外ではありません。 2016年のグローバルSASフォーラムでの発表の際にJim Goodnightによって与えられたSAS Viyaの公式定義を参照すると（非常に縮小されますが、意味は保持されます）、SAS Viyaは次のようになります：「 分散コンピューティングアプローチを使用するクラウドシステム...統合分析プラットフォーム

SAS Viyaプラットフォームのアイデアと目標を簡単に説明すると、これは、データ準備から複雑な機械学習アルゴリズムの使用まで、プロジェクトのすべての段階であらゆるタイプの分析を行うための普遍的なプラットフォームです。 4つのタスクブロックがあります。

1.データの準備

2.データの視覚化と研究

3.予測分析

4.機械学習アルゴリズムの形式の高度な分析

読者向けの情報

重要なニュアンスを損なうことなく、1つの記事のフレームワーク内ですべてを伝えることはかなり難しいため、これらの手順は、例によって以下の記事で検討されます。 この記事では、分析ツールの迅速な作業を提供するSAS Viyaエンジンの重要なトピックを検討します。 次に、モダンで美しいインターフェースに関する記事が続きます。

SAS Viyaプラットフォームの基礎

SAS Viyaには、開始するためのいくつかの重要な機能があります。 SASソリューションを使用したことがある人は、SASがエンジンで分析タスクを実行する特別な分析言語SAS Baseに基づいていることを知っています。 クラスタまたは1台の強力なコンピューティングマシン上のグリッド構成で使用できます。 SAS Viyaと従来のSAS 9分析ソリューションの主な違いは、SAS Viyaは新しい独自のCAS（クラウド分析サービス）データ処理エンジンに基づいています。 2つの重要な機能：1つ目は、RAM内のデータを使用してすべての操作を実行するインメモリテクノロジーであり、2つ目は分散コンピューティングアプローチです。 CASは単一のホストで実行できますが、マシンのクラスター（コントローラーとデータ処理サーバー）での作業に最適化されており、クラスターの異なるノードでデータを保存および処理して負荷を並列化できます（概念的なアプローチはHadoopシステムの概念に非常に近い）。 図にCASアーキテクチャを表示すると、MPPまたはSMPのインストールについて次の図が表示されます。

なぜクラウドなのか？

SASは、Viyaプラットフォーム、特にCASの開発時に、クラウドコンピューティングの概念を活用しました。 それらは4つのグループに分けることができます：

1.さまざまなクライアントの多数のAPIセットを介したアクセシビリティ。 SASにとって、これは大きな前進です。 分析にSAS Base言語のみを使用することに対する制限はありません。 Python（たとえば、Jupiter Notebookから）、R、Luaなどを使用できます。これらは、SAS Viyaプラットフォーム上のCASで実行されます。

2.弾力性。 CASクラスターのノードを接続/切断することにより、システムを簡単に拡張できます。 アプリケーションはWeb経由でアクセスでき、マイクロサービスとして編成されます。 これらは、インストール、更新、および操作の点で互いに独立しています。

3.高可用性。 CASは、クラスターノード間でデータミラーリングシステムを使用します。 1つのデータセットが複数のノードに保存されるため、データ損失のリスクが軽減されます。 ノードの1つに障害が発生した場合の切り替えは、タスクのステータスを維持しながら自動的に行われます。これは、多くの場合、大量の分析計算にとって重要です。

4.セキュリティの向上。 クラウドは公共プロバイダーから取得できるため、実装はデータ伝送チャネルの信頼性に関するより厳しい要件を満たす必要があります。

Viyaプラットフォームは、クラウド内、独自のデータセンター内の専用マシン、任意の数のマシンのクラスターなど、どこにでも展開できます。 ソリューションのフォールトトレランスは自動的に提供されます。

CASはどのように機能しますか？

MPPインストールの例を使用して、CASの動作を分析します。 SMPは簡素​​化しますが、CASの原則を維持します。 実際には、SMPはモデルをテストするためのローカル環境のテストとして使用でき、パフォーマンスを向上させるためにMPPプラットフォームに開発を移行できます。



SAS ViyaのトップレベルCASアーキテクチャをもう一度見てみましょう。

CASについて話すと、コントローラー、別の方法でマスターノード（さらにバックアップコントローラーノードに別のノードを割り当てることが可能）と作業ノードで構成されます。 マスターノードは、クラスターノードにあるデータに関するメタ情報を保存し、データを処理および保存するこれらのノード（CASワーカー）に要求を配信します。 別に、プラットフォームが動作するために必要な分析サービスと追加モジュールがあるサーバーが割り当てられます。 また、タスクに応じていくつかあります。 たとえば、SPRE（SAS Programming Runtime Environment）用のサーバーを使用できます。これにより、CASとSPREの両方を使用するViyaプラットフォームで、Viyaインストールの一部として別のマシンで従来のSAS 9タスクを実行できます。

ViyaプラットフォームでCASを使用する可能性を拡大し、Cloudという名前の最初の文字を正当化する興味深い構成があります。

マルチテナンシーは、部門間でリソースとデータを共有する機能を提供します。 同時に、「テナント」には、プラットフォームにアクセスし、Viyaプラットフォームのさまざまな機能を論理的に分離するための単一のインターフェースが提供されます。 多くのオプションがあります。 おそらく、この問題は別の記事で検討されるでしょう。

RAMの信頼性とCASにデータをロードする方法はどうですか？

分析、特に高度な分析のための高度なソリューションについて話しているので、大量のデータについて話していることは明らかです。 プロセスの重要な部分は、RAMにデータをすばやくロードして操作を実行し、このデータの高可用性を確保することです。

信頼性のためのメモリ内システムでは、RAMにあるデータのバックアップが必要です。 RAMは、電源がオフになったときに状態を維持する方法を知りません。また、すべてのデータがRAMの領域に収まらない場合があり、RAMのデータをすばやくリロードするメカニズムが必要です。 したがって、分析のためにCASにロードされるテーブルの場合、コピーは特別なSASHDAT形式の読み取り専用メモリ領域に作成されます。 高可用性を確保するために、これらのファイルはクラスター内の複数のノード間でミラーリングされます。 このパラメーターは構成できます。 これは、ノードが失われると、SASHDATファイルのコピーから隣接ノードのRAMにデータが自動的にロードされるという考え方です。 CAS構造内のこれらのコピーのストレージ領域はCAS_DISK_CACHEと呼ばれます 。

CAS_DISK_CACHEはCASの重要な部分であり、フォールトトレランスを確保するためだけでなく、メモリ使用量を最適化するためにも必要です。 以下の図は、SASHDATを保存するさまざまな方法と、データをRAMにロードする原理を示しています。 たとえば、データセットAはOracleデータベースから取得され、RAMおよびディスク上の単一のCASノードに保存されます。 さらに、このデータセットAは別のノードでハードドライブにのみ複製されます。 多くのオプションがあります（一部は追加のバックアップを必要としません-これについては以下で説明します）が、主なアイデアは、以前にダウンロードしたデータをRAMにすばやく回復するためのコピーを常に保持することです。 ところで、2つのパラメーターが設定されている場合：セッションレベルでMAXTABLEMEM = 0およびCOPIES = 0の場合、データはRAMにのみ存在します。

また、Hadoopを使用したCASの興味深い構成を検討したいと思います。 このCAS構成をHadoopシステムで使用するには、Hadoop用のSASプラグインをインストールする必要があります。 このアプローチの主なアイデアは、Hadoopクラスターのノードも機能するCASノードになることです。 データは、ネットワーク負荷なしでhdfsのファイルから直接RAMに取り込まれます。 これは、パフォーマンスの面で最適なオプションです。 Hadoopは、SASHDATファイル（クラスター上のHDFSがCAS_DISK_CACHEの役割を果たします-HDFSレベルでの予約）のみ、または他のデータと一緒に使用できます。 Hadoopクラスターのリソース割り当ては、YARNを介して行われます。 CASをHadoopクラスターにインストールするスキーム：

読み込み中

データのロードは簡単です。 CASへの入力のさまざまなソースを示すことができます。 これらは、単一のストリームまたは並行してロードできます。 リレーショナルデータベースはソースとして非常に頻繁に使用されるため、RDBMSからCASにデータをロードするトピックを検討します。 CASクラスターへのデータの読み込みを最適化するには、クラスターの各ノードにソースデータベースのクライアントソフトウェアをインストールすることが望ましいです。 この場合、CASクラスターの各ノードは、データの一部を並行して受信します。 クライアントをコントローラーにのみインストールする場合、すべてのデータはCASコントローラーを介して送信されます。

たとえば、パラメータnumreadnodes = 3を設定すると、テーブルは異なるCASノードにロードするためにデータの3つのチャンクに自動的に分割されます-この場合、データ分布はmod 3操作を使用した最初の数値列によるグループ化に基づきます。

HadoopまたはTeradataをソースとして使用し、HadoopまたはTeradataのEmbedded Processを使用すると、HadoopまたはTeradataクラスターの各ノードから直接ロードが実行されます。 Hadoopクラスターを個別にインストールする場合（HadoopノードにCASはインストールされない）、CASクラスターにCAS_DISK_CACHEエリアが作成されることに注意してください。

CASを開始する方法は？

CASの作業における重要な用語は、ライブラリとセッションです。 CASでの作業を開始すると、最初に作成されるのはセッションです。 SAS Studioを使用して作業する場合は手動で定義できます。または、CASに接続すると、SAS Viyaの使用可能なグラフィカルインターフェイスを介して自動的に作成されます。 セッション内では、新しいライブラリで定義されているすべてのデータと変換は、デフォルトでローカルスコープで作成されます。 データ（caslibで定義）およびローカルセッションのステップの結果は、このセッションでのみ表示されます。 結果を公開する必要がある場合、caslibをグローバルパラメータとプロモート演算子でオーバーライドできます。データは他のセッションから利用できます。 グローバルパラメータですでに定義されているライブラリは、どのセッションからも利用できます。 これは、リソースを最適に共有し、データアクセス権を管理するために行われます。 ローカルセッションから切断した後、caslibがグローバルで再定義されていない場合、すべての一時データは削除されます。 TIMEOUTパラメーターを設定して、セッションから切断するときにデータを削除したり、短期的なネットワーク障害中の損失を回避したり、さらなる分析のためにこのセッションに戻ることができます（たとえば、TIMEOUTパラメーターを3600秒に設定すると、60分以内に戻ります）セッション）。 さらに、データは、変換の任意のステップで、特別なSASHDAT形式またはアクセスが簡単なデータベースに保存でき、単純なSAVEオペレータによって接続が設定されます。

caslibsライブラリは、CASで利用できるデータセットを記述しています。 caslibの作成時に、接続タイプと接続パラメーターが示されます。 caslibの定義では、メモリ内のデータソースとターゲット領域をすぐに指しています。 また、caslibレベルでは、caslibで説明されているデータへのユーザーグループのアクセス権を設定すると便利です。 これは、グラフィカルインターフェイスで行われます。

さまざまなタイプのソースのcaslib記述の例：

caslib caspth path="/data/cust/" type=path;  caspth –    , path -  caslib pgdvd datasource=( srctype="postgres", username="casdm", password="xxxxxx", server="sasdb.race.sas.com", database="dvdrental", schema="public", numreadnodes=3) ; caslib hivelib desc="HIVE Caslib" datasource=(SRCTYPE="HIVE",SERVER="gatekrbhdp01.gatehadoop.com", HADOOPCONFIGDIR="/opt/sas/hadoop/client_conf/", HADOOPJARPATH="/opt/sas/hadoop/client_jar/", schema="default",dfDebug=sqlinfo) GLOBAL ;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

caslibを決定したら、さらに処理するためにデータをRAMにロードできます。 caslib hivelibデータをロードする例：

 proc casutil; load casdata="stocks" casout="stocks" outcaslib="hivelib" incaslib="hivelib" PROMOTE ; quit; /*  casdata –  (  hive), casout –     CAS, outcaslib –  caslib,      , incaslib –  caslib,    .*/ /* in/out caslib       ,     */
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

各セッション内で、リクエストは順番に実行されます。 これは、コードを手動で作成する場合に重要ですが、Viyaで使用可能なグラフィカルインターフェイスを使用する場合は考えられません。 GUIクライアントアプリケーション自体は、ステップを並行して完了するための個別のセッションを作成します。

これらを操作するための完全にグラフィカルなインターフェースとアプローチは、以下の記事で検討します。 ここで、caslib DM_ORAHRを作成し、GUIを介してデータをRAMにロードする手順のスクリーンショットを追加します。

これはほんの始まりに過ぎません。

これで、CASに関するパートを終了し、Viyaプラットフォームに戻ります。 Viyaはビジネスユーザー向けに作成されているため、作業の過程でCASの詳細を深く理解する必要はありません。 すべての操作に便利なグラフィカルインターフェイスがあり、CASはメモリ内および分散コンピューティングによるすべての分析手順の高速操作を保証します。

これで、Viyaで使用可能なユーザーインターフェイスに移動できます。 現在、それらの多くがあり、製品の数は絶えず増加しています。 記事の冒頭で、それらは完全な分析サイクルに必要な4つのグループに割り当てられました。 主な考え方に戻ると、Viyaはデータマイニングと高度な分析のための単一のプラットフォームです。 そして、作業はこのデータの準備と検索から始まります。 また、Viyaに関する一連の記事の次の部分では、アナリストが利用できるデータ準備ツールについて説明します。

結論の代わりに、Viyaという名前はViaという単語に由来しています（英語の「スルー」または「スルー」から）。 この名前の主なアイデアは、従来のSAS 9ソリューションから、分析を新しいレベルに引き上げるために作成された新しいプラットフォームへの単純な移行です。