深層学習の6行

こんにちは、Habr！ ディープラーニングなどの概念は、1986年にRina Dechterが最初に使用したときに存在しました。 この技術は、多層ニューラルネットワークの効果的な事前トレーニングに関するJeffrey Hintonの出版物の出版後、2006年に開発されました。 現在、ディープラーニングは、音声認識、言語理解、コンピュータービジョンと組み合わせて生活することがよくあります。 catの下で、SQLのディープラーニングアルゴリズムの使用について学習します。 立ち寄って！

何を追加しますか？

ディープラーニングの適用は、新しいマントラ「すべてのアプリケーションでの深層学習」が次の10年で現実になる可能性があるほどの割合に達しました。 立派なDBMS SQL Serverは脇にありませんでした。 「SQL Serverでディープラーニングアルゴリズムを使用できますか？」という質問に対して、自信を持って「はい」と回答しました。SQLServerの新しいリリースのパブリックプレビューで、SQL Server 内のRサービスを大幅に改善し、開発者が使用する機械学習ツールの強力なセットを追加しましたマイクロソフト自体。 このアプリケーションを介して、SQL Serverに基づいて構築されたDBMSは、速度、パフォーマンス、およびスケーラビリティを向上させるツール、および機械学習やディープニューラルネットワークの他の新機能へのアクセスを受け取ります。 最近、SQL Serverが機械学習ベースのモデル管理システムとして使用された場合に1秒あたり100万を超えるR予測を実行する方法を示し ました。GitHubWebサイトでSQL ServerのRコード例と機械学習パターンを評価することをお勧めします。



このブログでは、SQL Serverのディープラーニングに関する「what 」、「why」 、および「how」の質問について詳しく説明します。 これを明確にすると、SQL Serverなどの強力なデータ処理プラットフォームを使用して、データ駆動型の人工知能の見通しを簡単に確認できます。

追加する理由

今日、すべての企業とすべてのアプリケーションがデータを処理しています。



データストレージとインテリジェンス（人工知能、機械学習システム、またはその他のインテリジェントシステム）を組み合わせたアプリケーションは、インテリジェントと呼ぶことができます。 SQL Serverは、わずか数行のコードを記述することで、開発者とユーザーがアプリケーションでディープラーニングの本質を理解するのに役立ちます。 さらに、データベース開発者はこれを使用して、組み込みの深層学習モデルを備えたミッションクリティカルなオペレーティングシステムを展開できます。 この記事では、SQL Serverがディープラーニング機能を必要とする10の理由をまとめました。



SQL Serverがディープラーニング機能を必要とする10の理由 。

1. ストレージシステム（SQL Serverなど）でマシンインテリジェンスを使用すると、セキュリティ、コンプライアンス、プライバシー、暗号化、 マスターデータ管理サービス 、アクセシビリティグループ、高度なビジネスインテリジェンスツール、インメモリデータ処理テクノロジー、仮想化、地理空間、一時的、グラフィック、その他の素晴らしい機能。
2. リアルタイムトランザクション処理（OLTP）および対話型分析処理（OLAP）と同様の「リアルタイム」または「バッチ処理」モードで作業できますが、ディープラーニングとマシンインテリジェンスに関するものです。
3. ディープラーニングを最大限に活用するために、SQL Serverベースのアプリケーションを変更する必要はありません。 さらに、多くのモバイル、IoT、およびWebアプリケーションは、コードを複製する必要なく、同じディープラーニングモデルを使用できます。
4. 機械学習ライブラリ（MicrosoftMLなど）の機能を使用して、データ処理の専門家、開発者、DBA、およびビジネス全体の効率を高めることができます。 これは、同じことを自分で行うよりもはるかに高速で効率的です。
5. 現在の要件に合わせて展開またはスケーリングする予測可能なソリューションを開発できます。 最新のSQL Server Service Packでは、これまでEnterprise Editionでしか使用できなかった多くの機能が、Standard / Express / Web Editionなどの他のSQL Serverエディションでサポートされるようになりました。 つまり、SQL Serverの標準バージョンでも追加費用なしでディープラーニングを使用できます。
6. （PolyBaseを使用して）外部データの異種ソースを使用して、深いモデルから情報をトレーニングおよび抽出できます。
7. さまざまな状況をシミュレートして、SQL Server内でwhat-ifシナリオを作成し、さまざまな深層学習モデルに使用できます。 したがって、トレーニングデータが非常に限られている場合でも、インテリジェントなソリューションを得ることができます。
8. ストアドプロシージャとトリガーを使用して、ディープラーニングモデルをすばやく簡単に展開できます。
9. 必要なすべてのツール、監視およびデバッグツール、およびマシンインテリジェンスに適用可能なSQL Serverエコシステムを入手できます。 SQL Serverは、データとともにDNNモデルのライフサイクル全体を制御する機械学習管理システムになります。
10. トランザクションのワークロードを増やすことなく（ HTAPテンプレートを使用して ）新しいデータを作成し、保存されたデータの分析を取得できます。

実際、データベースを管理するためだけにだれもがDBMSを購入することはまずありません。 バイヤーは提供する重要な機会です。 SQL Serverにディープラーニング機能を搭載し、人工知能と機械学習を従来の意味（データのスケーリング、帯域幅、待機時間）と生産性（実装の簡素化と学習曲線のフラット化）の両方でスケーリングできます。 これは、時間、ユーザーインタラクション、生産性、コスト削減と利益成長、新しい機会、ビジネスの見通し、業界におけるイデオロギーリーダーシップなど、さまざまな方法ですぐに貴重な結果をもたらします。



実際には、SQL Serverのディープラーニングテクノロジーは、銀行、金融、医療、製造、小売、電子商取引、モノのインターネット（IoT）システムで使用できます。 そして、これらのテクノロジーを使用して不正を検出し、病気の発生を予測し、エネルギー消費を予測し、個人情報を分析することで、既存の産業とアプリケーションが改善されます。 また、顧客関係管理（CRM）、エンタープライズリソースプランニング（ERP）、データウェアハウス（DW）、リアルタイムトランザクション処理（OLTP）など、SQL Serverでの負荷の開始に関係なく、ディープラーニングのテクノロジーを簡単に使用できます。 この場合、個別にではなく、SQL Serverが有名なすべての種類のデータおよび分析と組み合わせて使用​​することについて話します（たとえば、構造化データ、地理空間データ、グラフィックデータ、外部データ、一時データ、およびJSONデータの処理）。 そしてここにあなたのアイデアを追加するだけです。

追加する方法は？

ここでは、これらすべてを実践する方法を示します。 例として、強力なプログラミング言語Microsoft Rと機械学習用の新しいMicrosoftMLパッケージ（アルゴリズム開発、データ処理、分析の分野の専門家によって作成された）を使用して、画像から銀河のクラスを予測する実験を行いましょう。 そして、Azure NCパブリック仮想マシンに 接続された Rサービスを使用して、SQL Server でそれを行います。 天文学で受け入れられている分類に基づいて、銀河やその他の宇宙オブジェクトの画像を13のクラスに分配します。これらは主に楕円銀河と渦巻銀河とその種類です。 銀河の形やその他の視覚特性は、発達するにつれて変化します。 銀河の形態とその分類を研究することは、科学者が宇宙の発展の過程をよりよく理解するのに役立ちます。 これらの画像を調べた後、人が正しいクラスでそれらを配布することは難しくありません。 しかし、2兆個の既知の銀河でこれを行うには、機械学習とディープニューラルネットワークのようなインテリジェントテクノロジーの助けなしでは実行するのが難しいので、それを使用するつもりです。 天文データの代わりに医療、金融、またはIoTデータがあり、それらを使用して予測を行う必要があることは容易に想像できます。

アプリ

フォルダーから銀河画像をダウンロードし、それらを異なるクラス（スパイラルと楕円）に配布し、これらのクラス内のクラスに再び配布する単純なWebアプリケーションを想像してください（例えば、通常の渦巻銀河または中心に構造を持つ銀河です）ハンドルのタイプ）。







さらに、膨大な数の画像を非常に高速に分類できます。 サンプル出力：







最初の2列には楕円型の銀河が含まれ、残りの列にはさまざまな渦巻銀河が含まれています。

では、単純なアプリケーションでこのような複雑な分類を行うにはどうすればよいでしょうか？

このようなアプリケーションのコードは、実際にはそれほど多くのことを行いません。データベーステーブル内のクラスによる配布用の新しいファイルへのパスを規定するだけです（プログラムコードの残りは、結果データの配布、ページレイアウトなどで構成されます）。

SqlCommand Cmd = new SqlCommand("INSERT INTO [dbo].[GalaxiesToScore] ([path] ,[PredictedLabel]) "
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

データベースで何が起こっていますか？

予測と運用化の部分

アプリケーションが画像ファイルへのパスを書き込むテーブルを見てください。 これには、銀河の画像へのパスを持つ列と、予想される銀河のクラスを保存する列が含まれています。 データの新しい行がテーブルに書き込まれるとすぐに、トリガーが起動します。







トリガーは、次に示すように、ストアドプロシージャ-PredictGalaxiesNNを呼び出します（ストアドプロシージャに組み込まれたRスクリプトの一部を使用）。







ここで、数行のRコードで魔法が発生します。 このRスクリプトは、データの新しい行（まだ推定値を受け取っていない）と、varbinary（max）としてテーブルに格納されているモデルを受け入れます。 少し後で、このモデルがどのように登場したかという質問に戻ります。 スクリプト内で、モデルはデシリアライズされ、次の行で使い慣れた計算関数（rxPredict）によって使用され、新しい行を評価してから最終出力を書き込みます。

 scores <- rxPredict(modelObject = model_un, data = InputDataSet, extraVarsToWrite="path")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これはrxPredict関数の新しいバージョンであり、MicrosoftMLパッケージに含まれる機械学習アルゴリズムを理解します。 次の行は、新しいMicrosoftML機械学習アルゴリズムを含むパッケージをロードします。

  [ library("MicrosoftML") ]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このブログのメイントピックであるディープニューラルネットワーク（DNN）に加えて、パッケージには5つのより強力な機械学習アルゴリズムが含まれています：高速線形、高速ツリーベース、高速フォレストベース、1クラスSVM異常検出方法、正規化ロジスティック回帰（L1正則化のサポート付き）およびL2）およびニューラルネットワーク。 したがって、6〜7行のR言語で、ディープニューラルネットワークに基づくモデルのおかげで、どのアプリケーションもインテリジェントになります。 アプリケーションは、SQL Serverに接続するだけで済みます。 ところで、sqlrutilsパッケージを使用すると、Rコードのストアドプロシージャを簡単に作成できるようになりました。

モデルトレーニングはどうですか？

モデルはどこで学習しましたか？ また、彼女はSQL Serverについても学びました。 ただし、SQL Serverでのトレーニングはまったく必要ありませんでした。ローカルまたはクラウド経由で動作するスタンドアロンのR Serverソリューションを備えた別のマシンで行うことができます。 現在、これらの新しい機械学習アルゴリズムはすべてWindows用のRサーバーバージョンで利用可能であり、他のプラットフォームも近日中に利用可能になります。 SQL Serverの分野でトレーニングを行う方が便利でしたが、外部でトレーニングを行うこともできました。 トレーニングコードを使用したスト​​アドプロシージャをご覧ください。



学習コード



モデルのトレーニングは、次のコード行で行われます。







これは、MicrosoftMLディープニューラルネットワークトレーニングスイートの新しいrxNeuralNet機能です。 このコードは、Rおよびrxの他の関数に似ています-また、式、入力データセット、およびその他のパラメーターも含まれています。 ここに表示されるパラメーターの1つは、netDefinition = netDefinitionという行です。 その中で、ニューラルネットワークが決定されます。



ネットワーク定義



ディープニューラルネットワークは、コードのこの部分で定義されています。







ここで、ディープニューラルネットワークは、このために特別に作成されたNet＃仕様言語を使用して定義されます。 ニューラルネットワークには、1つの入力、1つの出力、8つの隠れ層が含まれます。 50×50ピクセルの入力レイヤーとRGB形式のグラフィックデータ（3色深度）で始まります。 最初の非表示層は畳み込み層で、コアのサイズ（画像の小さな部分）と、コアが残りのカーネルと一致する回数（折りたたみ）を設定します。 他のタイプの畳み込み、および特定のニューラルネットワークの安定化に役立つリクエスト数の正規化と調整のためのレイヤーがあります。 最後に、13のクラスのいずれかと一致する出力レイヤー。 Net＃仕様の約50行を使用して、複雑なニューラルネットワークを定義しました。 ネット＃マニュアルは 、MSDNセクションにあります。



学習データサイズ/ GPU



モデルをトレーニングするためのRコードは次のとおりです。







もう少し行についてお話したいと思います-training_rows =238000。このモデルは、 Sloan Digital Sky Surveyプロジェクトデータベースから取得した238,000の画像でトレーニングされました。 次に、各イメージの2つのバージョンを作成し、45度と90度で展開しました。 したがって、トレーニング用に合計約700,000枚の画像が取得されました。 これはトレーニング用の非常に大量のデータであるため、問題が発生します。処理にどのくらい時間がかかりましたか？ 回答：6コアプロセッサと56 GBのRAMを搭載したあまり大きくないマシンと、強力なNvidia Tesla K80グラフィックアクセラレーターを使用して、このモデルを4時間でトレーニングすることができました。 これは、Azureにサインアップするすべてのユーザーが利用できる新しいAzure NCシリーズグラフィック仮想マシンです。 1つの単純なパラメーター、acceleration =“ gpu”を設定することにより、グラフィックプロセッサ（GPU）を使用して計算速度を最適化することができました。 GPUがなければ、学習には約10倍の時間がかかります。

要約する

ほんの数行のRコードとMicrosoftMLパッケージのアルゴリズムにより、私は印象的な量のグラフィックデータでディープニューラルネットワークを訓練し、Rサービスを使用してSQLで訓練されたモデルを使用することができました。 これは、Microsoft RおよびMicrosoftMLパッケージとSQL Serverの組み合わせの力です。 そして、人工知能と機械学習の力を誰もが利用できるようにするため、他のアルゴリズムの作成に取り組んでいるので、これはほんの始まりに過ぎません。 予測分析モデルに適した機械学習アルゴリズムを見つけるには、MicrosoftML：Algorithm Cheat Sheetをダウンロードできます。