GoogleプログラマーのClif Youngは、ディープラーニングアルゴリズムの爆発的な開発が、ムーアの法則の失敗とどのように一致するかを説明します。ムーアの法則は、
AIと機械学習アルゴリズムの爆発的な開発は、GoogleでAIを実践する最大の企業の1つであるように、コンピューティングの本質を変えつつあります。 GoogleのプログラマーであるCliff Youngは、由緒ある半導体企業が主催する人気のコンピューターチップシンポジウムであるLinley Groupが主催する秋のマイクロプロセッサ会議のオープニングで講演しました。
ヤングは、数十年にわたるコンピューターチップの進歩の経験則であるムーアの法則が完全に禁止された瞬間に、AIの使用が「指数関数段階」に入ったと言いました。
「時代はかなり緊張している」と彼は思慮深く言った。 「デジタルCMOSの速度は低下しています。Intelの10nmプロセスで問題が発生しています。GlobalFoundriesの7nmプロセスで問題が発生しています。また、ディープラーニングの開発と同時に経済的需要が発生しています。」 相補型金属酸化物半導体構造であるCMOSは、コンピューターチップの製造に使用される最も一般的な材料です。
ヤング氏によると、従来のチップは効率と生産性をほとんど向上させることはできませんが、AI研究者からのリクエストは増え続けています。 彼はいくつかの統計を提供しました。コーネル大学が管理するarXivプレプリントサイトに保存されている機械学習に関する科学論文の数は、18か月ごとに2倍になります。 また、GoogleのAIに焦点を当てた内部プロジェクトの数も18か月ごとに倍増すると述べました。 機械学習で使用されるニューラルネットワークを処理するために必要な浮動小数点演算の数に対するニーズはさらに急速に高まっています。3か月半ごとに倍増します。
計算クエリのこの成長はすべて「ムーアの超法則」に統合されており、ヤングはこの現象を「少し怖い」と「少し危険な」、「心配する価値のある何か」と呼びました。
AIの分野で「この指数関数的な成長はどこから来たのか」と彼は尋ねた。 「特に、重要な点は、ディープラーニングが機能するということです。 私のキャリアでは、機械学習を長い間無視してきました」と彼は言いました。 「これらのことがうまくいくかどうかは明らかではありませんでした。」
しかし、その後、パターン認識などの突破口がすぐに現れ始め、ディープラーニングが「信じられないほど効果的」であることが明らかになりました。 「過去5年のほとんどの間、私たちはAIを第一に置く会社であり、AIに基づいたビジネスのほとんどを作り直しました」と、検索から広告などに至るまで。
最先端のAI研究プロジェクトであるGoogle Brainプロジェクトチームには、「巨大なマシン」が必要です。 たとえば、ニューラルネットワークは、使用する「重み」の数、つまりニューラルネットワークに適用される変数によって測定されることがあり、データの処理方法に影響します。
また、通常のニューラルネットワークに計算が必要な数十万または数百万の重みが含まれる場合、Googleの研究者は「テラウェイトマシン」、つまり数兆の重みを計算できるコンピューターを必要とします。 「ニューラルネットワークのサイズを2倍にするたびに、その精度が向上するからです。」 AI開発のルールは、どんどん大きくなることです。
Googleからのリクエストに応えて、彼らはMO、Tensor Processing Unitのチップの独自のラインを開発しています。 従来のCPUおよびGPUグラフィックチップでは負荷を処理できないため、TPUなどが必要です。
「私たちは非常に長い間立ち止まって、IntelとNvidiaは高性能システムの作成に非常に優れていると言いました」とYoung氏は言います。 「しかし、5年前にその境界線を越えました。」
TPUは、2017年に初めて公開された後、速度の点で通常のチップよりも優れているという主張によって騒ぎを起こしました。 Googleはすでに第3世代TPUに取り組んでおり、プロジェクトで使用し、Google Cloudサービスを通じてコンピューター機能をオンデマンドで提供しています。
同社は、ますます大型のTPUの製造を続けています。 「レガシー」構成では、1024個のTPUが新しいタイプのスーパーコンピューターに共同で接続され、Googleによると、Youngによると、このシステムの拡張を継続する予定です。
「私たちは、数十ペタバイトの容量を持つ巨大なマルチコンピューターを構築しています」と彼は言いました。 「私たちは、たゆまぬ進歩を複数の方向に同時に進めており、テラバイト規模のオペレーションは成長を続けています。」 このようなプロジェクトは、スーパーコンピューターの開発に関連するすべての問題を引き起こします。
たとえば、Googleのエンジニアは、伝説的なCrayスーパーコンピューターで使用されているトリックを採用しています。 彼らは、Crayで行われたように、ニューラルネットワークの計算負荷の大部分を担うチップの部分である巨大な「行列乗算モジュール」と「汎用ベクトルモジュール」および「汎用スカラーモジュール」を組み合わせました。 「スカラーモジュールとベクトルモジュールの組み合わせにより、Crayはパフォーマンスの点ですべてのユーザーを追い越すことができました」と彼は言いました。
Googleは、プログラミングチップ用に独自の革新的な算術設計を開発しました。 bfloat16と呼ばれる特定の実数の表現方法は、ニューラルネットワークで数値を処理する際の効率を高めます。 口語スピーチでは、「頭脳フロート」と呼ばれます。
TPUは、最速のメモリチップ、高帯域幅メモリ、またはHBM [高帯域幅メモリ]を使用します。 彼は、ニューラルネットワークのトレーニングで大量のメモリの需要が急速に増加していると述べました。
「メモリはトレーニング中により集中的に使用されます。 人々は何億もの重みについて話しますが、「ニューラルネットワークの変数」の活性化の処理には問題があります。
Googleは、ニューラルネットワークのプログラミング方法も調整して、鉄を最大限に活用できるようにします。 「Mesh TensorFlow」などのプロジェクトで「モデルデータと並列処理に取り組んでいます」-TensorFlowソフトウェアプラットフォームの適応「ポッドの規模でデータと並列処理を組み合わせます」
ヤングは技術的な詳細を明らかにしませんでした。 彼は、同社は内部接続については言及しておらず、データがチップに沿ってどのように移動するかについては言及していないと述べました。 彼は聴衆に笑いを引き起こしたこのトピックを拡大することを拒否した。
ヤングは、間もなくやってくるかもしれないコンピューティングのさらに興味深い分野を指摘しました。 たとえば、彼は、ゼロと1の代わりに連続値の形式で入力データを処理する回路であるアナログチップを使用した計算が重要な役割を果たすことを示唆しました。 「おそらく、アナログ分野に目を向けるでしょう。物理学では、アナログコンピューターとNVMメモリに関連する興味深いことがたくさんあります。」
彼はまた、カンファレンスで発表されたチップスタートアップの成功への希望を表明しました。 これらすべての投資に火をつけてほしい。」