全球第五大超算!特斯拉:用它訓(xùn)練AI 將自動駕駛成為可能
6月23日報道,特斯拉近日推出了新的超級計算機(jī),并成功位列全球第五大超級計算機(jī),它也將是特斯拉即將推出的新超級計算機(jī)Dojo的“先行版本”。
據(jù)稱,這一超級計算機(jī)將被用于訓(xùn)練為特斯拉的自動駕駛儀(Autopilot)和即將問世的自動駕駛?cè)斯ぶ悄埽ˋI)提供動力的神經(jīng)網(wǎng)絡(luò)。
在過去的幾年里,特斯拉一直把研究重點放在汽車內(nèi)外的計算能力上。在內(nèi)部,需要足夠強(qiáng)大的計算機(jī)來運行它的自動駕駛軟件;在外部,則需要超級計算機(jī)來訓(xùn)練由神經(jīng)網(wǎng)絡(luò)支持的自動駕駛軟件,這些神經(jīng)網(wǎng)絡(luò)會接收來自海量車輛的大量數(shù)據(jù)。
特斯拉在過去的幾年里一直在研究Dojo,該公司首席執(zhí)行官埃隆·馬斯克(Elon Musk)一直暗示它應(yīng)該在今年年底準(zhǔn)備好。據(jù)了解,Dojo項目由計算速度達(dá)每秒百萬萬億次(exaFLOP)的超級計算機(jī)組成,使其成為全球最強(qiáng)大的計算機(jī)之一。
日前,在2021年計算機(jī)視覺與模式識別大會上,特斯拉AI主管Andrej Karpath介紹了該公司的最新超級計算機(jī)。Karpathy展示了特斯拉的第三個超級計算機(jī)集群,特斯拉聲稱該新集群具有一些相當(dāng)瘋狂的參數(shù),應(yīng)該會使其成為全球第五的計算機(jī):
1.720個80GB 8x A100 節(jié)點(共5760 個GPU);
2.1.8 EFLOPS(720節(jié)點* 312 TFLOPS-FP16-A100 * 8 gpu/節(jié)點);
3.10 PB“熱層”NVME存儲@ 1.6 TBps;
4.總交換容量為640 Tbps。
Karpathy對此評論稱,“我們有一個神經(jīng)網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)和一個1.5 pb的數(shù)據(jù)集,需要大量的計算。對我們來說,計算機(jī)視覺是使自動駕駛成為可能的基本要素?!?/p>
“為了讓它更好地工作,我們需要掌握來自車隊的數(shù)據(jù),訓(xùn)練大量的神經(jīng)網(wǎng)絡(luò)并進(jìn)行大量實驗。所以我們在計算上投入了很多。在本例中,我們展示的是使用720個80GB版本的8x A100節(jié)點構(gòu)建的集群。這是一個巨大的超級計算機(jī)。我實際上認(rèn)為,就每秒浮點運算次數(shù)而言,它大概是世界上第5臺超級計算機(jī)。”他補(bǔ)充道。
這位特斯拉工程師不愿詳細(xì)說明Dojo項目,但他表示,Dojo將是一臺比特斯拉目前的集群更適合神經(jīng)網(wǎng)絡(luò)訓(xùn)練的超級計算機(jī)。馬斯克此前還表示,特斯拉計劃最終將其超級計算機(jī)提供給其他公司,以便它們在上面訓(xùn)練自己的神經(jīng)網(wǎng)絡(luò)。
