クラウドでのディープラーニング:光コンピューターがGPUを置き換える

そしてすぐに。 スタートアップのFathom Computingは、今後2年間で、大規模なニューラルネットワークのトレーニング速度でGPUをバイパスする光学デバイスをリリースする予定です。 開発者は、世界中の人工知能システムの作成者がアクセスできるように、クラウドデータセンターに光学コンピューターを配置したいと考えています。



ファゾムのソリューションと、ネコの下で誰がそのような開発に関与しているかについて話します。





/写真欧州宇宙機関 CC



GPU加速コンピューティングは、約10年前にNvidiaで実装されました。 現在、このテクノロジーは、vGPUと連携して高性能コンピューティングを実装する科学研究所、IT企業、およびIaaSプロバイダーのデータセンターで使用されています。



しかし、市場は大量のデータの処理速度に対する要求をますます厳しくしています-IBMによる 、全情報の約90%は過去2〜3年で生成されています-人類は1日あたり2.5キロバイトを生成します。



Fathom Computingの創設者は、光学式コンピューターが、変化するデータ要件に迅速に適応するのに役立つと確信しています。 エンコードされた値は光線を介して送信されるため、会社が作成したプロトタイプは数学演算をより高速に実行します。レンズと光学要素(干渉計など)のシーケンスは、システムが結果を生成することに基づいて光のパラメーターを変更します。



有線レポーターは、デバイス外観を「解体された望遠鏡に似たレンズ、ブラケット、ワイヤーの束」と説明しました 。 現在、これらのすべてのコンポーネントは大きなブラックボックスに配置されていますが、科学者はこれらすべてをデータセンターのラックに収まる標準サーバーに「パック」するよう取り組んでいます。



Fathomコンピュータは汎用プロセッサではなく、線形代数の特定の操作を実行するために「シャープ」になっています。 特に、Fathomは、 リカレントニューラルネットワークLSTMアーキテクチャおよび直接分散ニューラルネットワークトレーニングするために使用されます



現在、チームはコンピューターをテストし、手書きの数字を認識するように指導しています。 これまでのところ、システムは90%の認識精度を達成しています。 プロジェクトのウェブサイトで、開発者は制御システムによって生成されたLSTMデータストリームを視覚化しました。



Fathom Computingでは、今後2年間でネットワークトレーニングの速度が向上し、GPUを搭載したコンピューターを超える最初の生産準備の整ったシステムを作成する予定であることに注目しています。





/写真Windell Oskay CC



その他の開発



Fathomは、ディープラーニングを加速するための光学チップの作成に携わっている唯一の企業ではありません。 マサチューセッツ工科大学(MIT)は、この分野で作業を行っています。



MITの科学者は、「プログラム可能なナノフォトニックプロセッサ」と呼ばれるチップを開発しました 。 一連の導波路を使用してマトリックス演算を実行し、タスク間の接続は調整されます。 このチップは、透過光線の特性を変更し、マトリックス乗算と同等のマッハ-ツェンダー干渉計 、および光強度をわずかに低下させる多数の減衰器に基づいて構築されています。 これらのプロセスは、光ニューラルネットワークのトレーニングを提供します。



Lightmatterのスタートアップは、AIシステム市場向けのシリコン光電プロセッサの開発に取り組んでいます。 開発者はMITテクノロジーを使用します。 56個のプログラム可能なマッハ-ツェンダー干渉計のプロトタイプテストが、昨年の夏に合格した集積回路に実装されました。



システムは、一連の録音の母音を認識することを学びました。 実験中、75%の認識精度が達成されました。 「古典的な」鉄に基づいたシステムは90%のしきい値に達するため、科学者はチップのアーキテクチャの開発と改善を続けます。



2月中旬の別のスタートアップLightOnは、データセンターで光学処理ユニット(OPU)のプロトタイプのテストを開始たことを発表しました。 同社は、 Transfer Learningタスクを完了するために必要な時間を、従来のGPUでの20分から3.5分に短縮できたと述べました。



インストールのオープンベータテストは、LightOn Cloudクラウドプラットフォームで春に開始されます。 システムはPyTorchで動作し、Scikit-Learnと互換性があります。 将来的には、TensorFlowなどの他の一般的なMLフレームワークのサポートが追加されます。






PS First Corporate IaaSブログからの最近の投稿:






All Articles