完全自動運転コンピューター開発

Teslaオートパイロット用の完全自動運転コンピューターの開発に関するTesla Autonomy Investor Dayプレゼンテーションの最初の部分の翻訳。 プレゼンテーションとそのコンテンツに関する論文のレビューの間のギャップを埋めます。



プレゼンテーションのテキストは、オリジナルの近くで翻訳されます。 スピーカーへの質問-略語を選択的に。



ホスト：みなさん、こんにちは。 遅れてすみません。 自動運転の初日へようこそ。 これをより定期的に行って、開発の最新情報をお届けできることを願っています。



約3か月前、私たちはIlonや他の幹部との第4四半期の収益報告書の準備をしていました。 それから私は、投資家との会話における最大のギャップは、私が社内で見ているものと外部の認識との間にあるものは、自動運転の進歩であると言いました。 これは理解できることです。ここ数年、モデル3の生産量を増やすことについて話しましたが、モデル3については多くの議論がありました。 実際、バックグラウンドで多くのことが起こっています。



オートパイロット用の新しいチップに取り組み、マシンビジョンニューラルネットワークを完全に再設計し、ついに完全自動運転コンピューター（FSDC）のリリースを開始しました。 ベールを開けて全員を招待し、過去2年間に行ったすべてのことを話すのは良い考えだと思いました。



約3年前、私たちは自動運転に最適なチップを見つけたいと考えていました。 ニューラルネットワーク用にゼロから設計されたチップはないことがわかりました。 そのため、私たちの同僚である集積回路設計担当副社長のピートバノン氏に、このようなチップの開発を依頼しました。 彼はチップ開発で約35年の経験があります。 後にAppleに買収されたPASemiでの12年間を含む。 彼は何十もの異なるアーキテクチャと実装に取り​​組み、Teslaに加わる少し前にApple iPhone 5のチーフデザイナーでした。 また、Elon Muskに参加します。 ありがとう



Ilon：実際には、Peteを紹介するつもりでしたが、彼らはすでにこれを行っていたので、彼が単に私の知っている世界のシステムと集積回路の最高の設計者であると付け加えます。 テスラのあなたとあなたのチームが光栄です。 あなたがやった素晴らしい仕事について教えてください。



ピート：アイロン、ありがとう。 私は今朝ここに来ることができて嬉しく思います。私の同僚と私が過去3年間テスラでここでやったすべての仕事について話すことができて本当に嬉しいです。 それがどのように始まったのかについて少し説明し、次にFSDCコンピューターを紹介し、その仕組みを少し説明します。 チップ自体を掘り下げ、いくつかの詳細を検討します。 私たちが設計した特殊なニューラルネットワークアクセラレータがどのように機能するかを説明し、いくつかの結果を示します。その時までには、まだ眠れないことを願っています。



2016年2月に採用されました。 Ilonに、この特殊なシステムを作成するために必要なだけお金を使う準備ができているかどうかを尋ね、「勝ちますか？」と尋ねました。「もちろん、そうです」と答えました。 。 私たちはたくさんの人を雇い、完全自動運転のために特別に設計されたチップがどのようなものになるかについて考え始めました。 最初のバージョンの開発には18か月を費やし、2017年8月に実稼働用にリリースしました。 私たちは12月にチップを手に入れました。それは機能し、実際に最初の試行で非常にうまく機能しました。 2018年4月に、いくつかの変更を行い、バージョンBゼロRevをリリースしました。 2018年7月にチップが認証され、本格的な生産を開始しました。 2018年12月、自動運転スタックが新しい機器で起動され、社用車の変換と実世界でのテストを進めることができました。 2019年3月 モデルSとXに新しいコンピューターのインストールを開始し、モデル3には4月にインストールを開始しました。



そのため、最初の従業員の雇用から当社の3つのモデルすべての完全な発売まで、プログラム全体に3年強かかりました。 これはおそらく私がこれまで参加した中で最速のシステム開発プログラムです。 また、高度な垂直統合の利点についても言及しているため、並列設計を行い、展開を加速できます。



目標に関しては、テスラの要件のみに完全に焦点を当てており、これにより人生が大幅に簡素化されました。 顧客が1人の場合、他の顧客を心配する必要はありません。 目標の1つは、既存のマシンを変換できるように電力を100ワット未満に保つことでした。 また、セキュリティを強化するために冗長性を提供するためにコストを削減したいと考えました。



私たちが空を指で突いたとき、車を運転するには毎秒少なくとも50兆回の操作のニューラルネットワークパフォーマンスが必要であると主張しました。 したがって、私たちは少なくとも同じくらい、そしてより良い、もっと多くを得たいと思っていました。 バッチサイズにより、同時に作業するアイテムの数が決まります。 たとえば、Google TPUのパケットサイズは256であり、256のアイテムが処理されるまで待ってから開始する必要があります。 待ちたくなかったので、パッケージサイズが1のエンジンを開発しました。 画像が表示されたらすぐに処理し、遅延を最小限に抑えてセキュリティを強化します。



後処理を行うにはグラフィックプロセッサが必要でした。 最初はかなり多くの部分を占めていましたが、ニューラルネットワークはどんどん良くなっているため、時間が経つにつれて小さくなると想定していました。 そしてそれは本当に起こりました。 かなり控えめなグラフィックプロセッサを設計に入れることでリスクを冒しましたが、それは良いアイデアであることがわかりました。



セキュリティは非常に重要です。保護された車を持っていない場合、安全な車を持つことはできません。 したがって、セキュリティ、そしてもちろんセキュリティに多くの注意が払われます。



チップアーキテクチャに関しては、Ilonが前述したように、2016年にはニューラルネットワーク用に最初に作成されたアクセラレータはありませんでした。 誰もが単にCPU、GPU、またはDSPに命令を追加しただけです。 0で開発した人はいませんでした。したがって、私たちは自分で開発することにしました。 他のコンポーネントについては、標準のIP産業用CPUおよびGPUを購入したため、開発時間とリスクを削減できました。



もう少し思いがけないことは、Teslaで既存のコマンドを使用できることです。 Teslaには、電源、シグナルインテグリティ解析、ハウジング設計、ファームウェア、システムソフトウェア、回路基板開発、および非常に優れたシステム検証プログラムの開発者からなる優れたチームがありました。 このすべてを使用して、プログラムを高速化することができました。







これは見た目です。 右側には、車のカメラから送られてくるビデオのコネクタがあります。 ボードの中央、左側の2つの自動運転コンピューター-電源および制御コネクター。 ソリューションがその基本的な要素に至るとき、私はそれが大好きです。 ビデオ、計算機、パワーがあり、シンプルで明快です。 これは、コンピューターを含み、過去2年間にインストールした以前のハードウェア2.5ソリューションです。 これがFSDコンピューターの新しいデザインです。 それらは非常に似ています。 もちろん、これは車の近代化プログラムの制限によるものです。 これは実際にはかなり小さなコンピューターであることを指摘したいと思います。 グローブコンパートメントの後ろに配置され、トランクの半分を占有しません。



先ほど言ったように、ボード上には2つの完全に独立したコンピューターがあります。 それらは青と緑で強調表示されています。 各SoCの側面にDRAMチップがあります。 左下には、ファイルシステムを表すフラッシュチップがあります。 独自のオペレーティングシステムで起動および実行される2つの独立したコンピューターがあります。



Ilon：一般的な原則は、部品が故障しても機械は動き続けることができるということです。 カメラ、電源回路、Teslaコンピューターチップの1つが故障-機械は動き続けます。 このコンピューターの故障の可能性は、ドライバーが意識を失う可能性よりもかなり低いです。 これは重要な指標であり、少なくとも1桁は重要です。



ピート：はい、だから私たちがコンピュータを動かし続けるためにすることの一つは、冗長電源です。 最初のチップは1つの電源で動作し、2番目のチップは別の電源で動作します。 同じことがカメラにも当てはまります。カメラの半分は青色でマークされた電源で動作し、残りの半分は緑色で動作します。 両方のチップがすべてのビデオを受信し、独立して処理します。



運転の観点から見ると、シーケンスはあなたの周りの世界から多くの情報を収集することです。カメラだけでなく、レーダー、GPS、地図、ジャイロスタビライザー（IMU）、車の周りの超音波センサーもあります。 ステアリング角度があり、車の加速がどのようになるべきかを知っています。 これらすべてが一緒になって計画を立てます。 計画の準備が整ったら、2台のコンピューターは計画のバージョンを交換して、それらが一致することを確認します。



計画が同じであると仮定すると、制御信号を発行して駆動します。 新しいコントロールを使用して移動しているので、必ずテストする必要があります。 送信された制御信号が、車内のアクチュエーターに送信することを意図したものと一致することを確認します。 センサーは、制御が実際に行われていることを確認するために使用されます。 車に加速、減速、右折または左折を要求する場合、加速度計を見て、これが実際に起こっていることを確認できます。 データとデータ監視機能の両方に、かなりの冗長性と重複があります。



チップについて話しましょう。 1600ピンの37.5 mm BGAにパッケージ化されており、そのほとんどは電源とグランドです。 カバーを取り外すと、中央の素材と結晶が見えます。 クリスタルを分離して裏返すと、13,000個のC4バンプが表面全体に散らばっています。 以下は、集積回路の12の金属層です。 これは、260ミリ平方の小さな回路である14ナノメートルのFinFET CMOSプロセスです。 比較のために、従来の携帯電話チップは約100 mm2です。 高性能グラフィックプロセッサは約600〜800 mm.kvです。 だから私たちは真ん中にいます。 私はそれを黄金の平均と呼びます。これは組み立てに便利なサイズです。 2億5千万個のロジックエレメントと60億個のトランジスタがありますが、これはこれまでずっと取り組んできましたが、驚いています。 このチップは、AEC Q100自動車規格に従って製造およびテストされています。



私はただチップを回って、そのすべての部分を説明したいと思います。 カメラからのピクセルと同じ順序で行きます。 左上隅に、カメラインターフェイスが表示されます。 1秒あたり25億ピクセルを使用できます。これは、使用可能なすべてのセンサーに十分な量です。 メモリシステムからチップの右端と左端のメモリコントローラにデータを配信するネットワーク。 毎秒4266ギガビットの速度で動作する標準LPDDR4を使用します。 これにより、1秒あたり68ギガバイトの最大スループットが得られます。 これはかなり良い帯域幅ですが、過剰ではありません。私たちは妥協点に留まろうとしています。 画像処理プロセッサには24ビットの内部パイプラインがあり、車内にあるHDRセンサーを完全に使用できます。 高度なトーンマッピングを実行します。これにより、ディテールとシャドウがより強調され、高度なノイズリダクションが実行され、ニューラルネットワークで使用する画像の全体的な品質が向上します。







ニューラルネットワークアクセラレータ自体。 チップには2つあります。 それぞれに一時的な結果を保存するための32メガバイトのSRAMがあります。 これにより、チップとの間で転送する必要があるデータの量が最小限に抑えられ、消費電力の削減に役立ちます。 それぞれに累積のある96x96乗算器の配列が含まれているため、サイクルごとにほぼ10,000 MUL / ADD操作を実行できます。 専用のReLUアクセラレータ、プーリングアクセラレータがあります。 これらはそれぞれ、2 GHzの周波数で1秒間に36兆回の動作を提供します。 チップ上の2つのアクセラレータは、1秒間に72兆回の操作を行います。これは、50兆回の目標よりも顕著に高くなっています。



ビデオエンコーダーは、車内でバックビューカメラからの画像の出力、ビデオの記録、クラウドへのデータの記録など、多くのタスクに使用するビデオです。スチュアートとアンドリューはこれについて後で説明します。 チップにはかなり控えめなグラフィックプロセッサがあります。 32ビットおよび16ビットの浮動小数点数をサポートします。 また、12個の64ビット汎用A72プロセッサー。 これらは、2.2 GHzの周波数で動作します。これは、以前のソリューションのパフォーマンスの約2.5倍です。 セキュリティシステムには、ロックステップモードで動作する2つのプロセッサが含まれています。 このシステムは、制御信号を車両のドライブに送信しても安全かどうかを最終的に決定します。 ここで2つの飛行機が一緒になり、前進することが安全かどうかを判断します。 最後に、暗号化で署名されたチップのTeslaソフトウェアのみがこのチップで使用されることを保証することをタスクとするセキュリティシステム。



さまざまなパフォーマンス指標をお話ししましたが、将来を見ると役立つと思います。 （狭い）カメラからのニューラルネットワークを検討します。 350億回の操作が必要です。 このネットワークを処理するために12個すべてのCPUを使用する場合、毎秒1.5フレームを実行できますが、これは非常に遅いです。 車を運転するには絶対に足りません。 同じネットワークに600 GFLOPのGPUを使用した場合、1秒あたり17フレームが得られますが、8台のカメラで車を運転するにはまだ十分ではありません。 ニューラルネットワークアクセラレータは、毎秒2100フレームを生成できます。 CPUとGPUの計算量は、ニューラルネットワークアクセラレータと比較して無視できるほど小さいことがわかります。



ニューラルネットワークアクセラレータについて話しましょう。 私は水を飲みます 左側には、何が起こっているのかを理解するためのニューラルネットワークの図があります。 データは最上部に到着し、各ブロックを通過します。 データは、矢印に沿ってさまざまなブロックに送信されます。通常、ブロックは、活性化関数（ReLU）による畳み込みまたは逆畳み込みです。 緑のブロックはレイヤーを結合します。 1つのブロックで受信したデータを次のブロックで使用することが重要であり、不要になった場合は破棄できます。 したがって、この一時データはすべて、ネットワークを通過するときに作成および破棄されます。 DRAMのチップの外部に保存する必要はありません。 したがって、SRAMに保存するだけで、数分後にこれが非常に重要な理由を説明します。







右側を見ると、この350億回の操作のネットワークでは、ほぼすべてが基本的にスカラー積である畳み込みであり、残りはスカラー積にも基づいたデコンボリューション（逆畳み込み）であり、ReLUとプーリングは比較的簡単です操作。 したがって、アクセラレーターを開発している場合は、累積による加算に基づいたスカラー製品の実装に焦点を当て、それらを最適化します。 しかし、この操作を10,000倍に加速し、100％が0.1％に変わると想像してください。 突然、ReLUとプーリング操作が非常に重要になります。 したがって、実装には、ReLU処理およびプーリング専用のアクセラレーターが含まれます。



チップは限られた熱収支で動作します。 私たちはどのように力を燃やすかに非常に注意する必要がありました。 できる算術演算の量を最大化したい。 そのため、32ビット整数加算を選択しました;浮動小数点加算よりも9倍少ないエネルギーを消費します。 また、8ビット整数乗算を選択しました。これは、他の乗算演算よりも消費電力が大幅に少なく、おそらく十分な精度で良好な結果を得ることができます。 記憶についても。 外付けDRAMを使用すると、ローカルSRAMを使用した場合よりも消費電力が約100倍高くなります。 ローカルSRAMを最大限に活用したいのは明らかです。



管理の観点から、Mark Horowitzの記事で公開されたデータは次のとおりです。MarkHorowitzは、通常の整数プロセッサで1つの命令を実行するのに必要なエネルギー量を批判的に調査しました。 また、加算操作は総電力のわずか0.15％しか消費しないことがわかります。 他のすべては、管理などのオーバーヘッドです。 したがって、私たちの設計では、これらすべてを可能な限り取り除くよう努めています。 本当に興味があるのは算術です。







これが完成したデザインです。 その中の主要な場所は32メガバイトのSRAMで占められており、左、右、中央、下部にあることがわかります。 すべての計算は、中央上部で実行されます。 各サイクルで、SRAMアレイから256バイトのアクティベーションデータを読み取り、SRAMアレイから128バイトの重みを読み取り、それらを96 x 96アレイに結合します。 これはわずか36.8兆です。 操作。 これで、スカラー積の処理が完了したので、データをアップロードし、専用のReLUを介して（オプションでプルを介して）渡し、最後にすべての結果が集約される書き込みバッファーに入れます。 そして、サイクルごとに128バイトをSRAMに書き戻します。 そして、これはすべて継続的に起こります。 スカラー製品を使用し、以前の結果をアンロードし、プルを実行して結果をメモリに書き込みます。すべてを2 GHzでスタックすると、動作をサポートするために1秒あたり1テラバイトのSRAM帯域幅が必要になります。そして鉄はこれを提供します。アクセラレータあたり1テラバイト/秒の帯域幅、チップあたり2アクセラレータ-毎秒2テラバイト。



アクセラレータには、比較的小さなコマンドセットがあります。メモリからデータをロードするためのDMA読み取り操作、結果をメモリにアップロードするためのDMA書き込み操作があります。 3つの畳み込み命令（畳み込み、逆畳み込み、内積）。 2つの比較的単純な操作は、シフト操作と要素ごとの操作（その他）です。そしてもちろん、計算が完了したら操作を停止します。



ニューラルネットワークコンパイラを開発する必要がありました。開発チームによって訓練されたニューラルネットワークを、古いハードウェアで使用される形で取りました。新しいアクセラレーターで使用するためにコンパイルすると、コンパイラーはレイヤーの融合を実行します。これにより、SRAMの呼び出しごとの計算数を増やすことができます。また、メモリアクセスの平滑化も実行します。メモリバンク間の競合を減らすために、チャネルパディングを実行します。メモリ割り当てでは、SRAMバンクも考慮されます。これは、競合処理をハードウェアに実装できる場合です。しかし、ソフトウェアを実装すると、ソフトウェアが多少複雑になるため、ハードウェアを節約できます。また、処理を停止することなく、データが時間どおりに到着するようにDMA操作を自動的に挿入します。最後に、コードを生成し、データに重みを付け、信頼性のためにCRCチェックサムを圧縮および追加します。ニューラルネットワークは起動時にSRAMにロードされ、常に存在します。



したがって、ネットワークを開始するには、カメラから届いたばかりの新しい画像を含む入力バッファのアドレスを指定します。出力バッファのアドレスを設定します。ポインターをネットワークの重みに設定します。行こうアクセラレータは「自分自身に入り込み」、通常100万または200万クロックサイクルにわたって、ニューラルネットワーク全体を順番に通過します。完了すると、割り込みを受け取り、結果を後処理できます。



結果に目を向ける。私たちの目標は、100ワットを満たすことでした。オートパイロットのフルスタックで走行する車の測定では、72ワットを消費することが示されています。これは前のプロジェクトよりもわずかに大きくなりますが、パフォーマンスが大幅に向上するのは良い言い訳です。これらの72ワットのうち、約15ワットがニューラルネットワークで消費されます。このソリューションのコストは、以前に支払った金額の約80％です。パフォーマンスの観点から、カメラのニューラルネットワーク（狭い）を使用しました。これは、350億回の操作で既に述べたとおり、古い機器で起動し、1秒あたり110フレームを受信しました。同じデータと同じネットワークを使用して、新しいFSDコンピューター用にコンパイルし、4つすべてのアクセラレーターを使用して、1秒あたり2300フレームを処理できます。



アイロン：これはおそらく



Peteの最も重要なスライドだと思います。生産性の向上が3を超えるプロジェクトに取り組んだことがないので、とても楽しかったです。 nvidia Drive Xavierソリューションと比較すると、チップは21兆を提供します。 FSDCが2チップ-144兆個。操作。



したがって、結論として、144兆の優れたパフォーマンスを提供するソリューションを作成したと思います。ニューラルネットワークを処理するための操作。抜群の電力特性を備えています。このすべてのパフォーマンスを、私たちが持っていた熱収支に絞り込めました。これにより、複製ソリューションを実装できます。コンピューターのコストは中程度であり、本当に重要なことは、FSDCがテスラ車に新しいレベルの安全性と自律性を提供し、コストと燃費に影響を与えないことです。楽しみにしています。



Ilon：機器について質問がある場合は、今すぐ質問してください。



私がピートに、ほとんどの人がおそらくテスラFSDコンピューターに飛び込むことを感謝するよりもはるかに詳細なことをするように頼んだ理由は、次のとおりです。一見すると、以前にそのようなチップを設計したことがなかったテスラが、世界で最高のチップを作成したことがどのように起こるかは信じられないように思われます。しかし、これはまさに起こったことです。そして、わずかなマージンで最高だけでなく、大きなマージンで最高です。現在製造されているすべてのテスラには、このコンピューターが搭載されています。 SとXのNvidiaソリューションから約1か月前に切り替え、モデル3を約10日前に切り替えました。製造されたすべての車には、必要なすべてのハードウェアと、完全自動運転に必要なすべてが備わっています。もう一度言います。現在生産されているテスラ車はすべて、完全自動運転に必要なものがすべて揃っています。あなたがしなければならないのは、ソフトウェアを改善することです。後日、改良された自動運転ソフトウェアの開発者向けのバージョンで車を運転できます。あなたは自分で見るでしょう。質問。



Q： ReLU以外のアクティベーション機能を使用できますか？



ピート：はい、シグモイドがあります、例えば



Q：もっとコンパクトなプロセス技術に切り替える価値があったのかもしれません。10nmか7 nmでしょうか？



Pete：設計を開始した時点で、取得したいすべてのIPが10 nm



Ilonで利用できるわけではありませんでした。約1年半前にこの設計を完了し、次世代を開始したことは注目に値します。今日、私たちは次世代について話していませんが、私たちはすでに途中です。次世代のチップにとって明らかなことはすべて、私たちが行います。



Q：コンピューターはカメラで動作するように設計されています。 LIDARで使用できますか？



アイロン：Lidarは悲惨な決定であり、Liderに依存している人は誰でも運命にあります。運命。高価な不要な親愛なるセンサー。高価な不要なアプリがたくさんあるようなものです。一つの小さなものは何もありませんが、束はすでに悪夢です。これは愚かだ、わかるだろう。



Q：燃費に対するエネルギー消費の影響を評価できますか？



Pete：モデル3の場合、目標消費量は1マイルあたり250ワットです。



Ilon：運転の性質に依存します。都市では、その効果は高速道路よりもはるかに大きくなります。市内を1時間運転すると、1 kWを消費する仮想ソリューションがあります。モデル3では6kmを失います。平均速度が25km / hの場合、25％を失います。システムの消費は、robotax市場の大部分が存在すると考えられる都市の燃費に大きな影響を与えるため、電力は非常に重要です。



Q：IPに関してあなたの技術はどれほど信頼性がありますか。IPを無料で提供しませんか？

ピート：この技術については、12件の特許を申請しています。これは本質的に線形代数であり、特許を取得できるとは思わない。 （エロン笑）



Q：あなたの知的財産が内部に残って、誰もそれを盗むことができなかったこと、何かを行うことができ、あなたのチップは、多分重量のすべてを暗号化するために



エロン：ああ、私はそれを行うことができます素敵な誰かにしたいと思います。私はすぐに彼を雇うでしょう。これは非常に難しい問題です。データを抽出できたとしても、何らかの方法で使用するには膨大なリソースが必要になります。



私たちにとって大きな持続可能な利点は、艦隊です。誰も艦隊を持っていません。走行距離に基づいて、ウェイトは常に更新および改善されます。 Teslaには、トレーニングに必要なハードウェアを搭載した車が他のすべての車よりも100倍多くあります。この四半期の終わりまでに、8台のカメラと12台の超音波センサーを搭載した500,000台の車両を保有する予定です。 1年以内に、FSDCを搭載した100万台以上の車があります。これは単なるデータの大きな利点です。これは、人々がそれを使用し、人々が実際にクエリでGoogleを訓練するので、Google検索エンジンが大きな利点を持っている方法に似ています。



ホスト：私たちのFSDコンピューターについて覚えておくべきことの1つは、はるかに複雑なニューラルネットワークと連携して、より正確な画像認識を行えることです。これらの画像を実際にどのように取得し、どのように分析するかについて話をする時です。ここには、AIのシニアディレクターであるAndrey Karpatyがいます。AndreyKarpatyがこのすべてを説明します。 Andreiはスタンフォード大学の博士号を取得しており、認識と深層学習に重点を置いてコンピューターサイエンスを学びました。



アイロン：アンドレイ、始めてみませんか？多くの医師がスタンフォードから出てきましたが、それは問題ではありません。アンドレイはスタンフォード大学でコンピュータービジョンコースを教えていますが、これははるかに重要です。あなた自身について教えてください。

---

（翻訳は簡単な問題ではないことが判明しました。ニューラルネットワークトレーニングシステムについての第2部に十分かどうかはわかりませんが、最も興味深いもののようです。）