據(jù)外媒The Information報道，微軟公司正在研發(fā)代號為“Athena”（雅典娜）的AI芯片，為ChatGPT等AI聊天機(jī)器人提供技術(shù)支持。

消息人士稱，微軟自2019年以來一直在推進(jìn)Athena芯片研發(fā)項目，項目由微軟CEO薩蒂亞·納德拉（Satya Nadella）牽頭，專為大語言模型的訓(xùn)練和推理而設(shè)計。Athena目前正由一小群微軟和OpenAI員工進(jìn)行測試，初代芯片可能基于臺積電5nm工藝。

尚不清楚該芯片是能夠部分替代英偉達(dá)（NVIDIA）A100、H100等GPU的通用AI加速器，還是用以輔助提升GPU性能的AI芯片，有業(yè)內(nèi)分析師推測可能是前者。

研究公司SemiAnalysis分析師稱，微軟每年在Athena研發(fā)投入可能在1億美元左右，如果順利，微軟將通過Athena將每顆芯片成本降低三分之一，從而為ChatGPT發(fā)展提供重要動力。

ChatGPT掀起AI新競賽愈演愈烈，包括亞馬遜、谷歌在內(nèi)的其他大型科技公司都布局了AI芯片，現(xiàn)在，微軟也正試圖將算力這張“底牌”完全握在自己手里。


為ChatGPT提供動力

每顆芯片成本或降1/3

這兩位知情人士說，微軟最早可能在明年讓Athena在微軟和OpenAI內(nèi)部廣泛使用。

然而，據(jù)其中一位知情人士透露，微軟仍在討論是否將這些芯片提供給其Azure云計算服務(wù)的客戶。他們說，這是因為大多數(shù)客戶不需要訓(xùn)練自己的模型，用不到這類芯片。

如果微軟決定向其云客戶開放Athena，它還必須為Athena開發(fā)比英偉達(dá)現(xiàn)有產(chǎn)品更有吸引力的軟件。英偉達(dá)已經(jīng)用了15年的時間改進(jìn)了目前的產(chǎn)品，開發(fā)人員也在廣泛使用它。

研究公司SemiAnalysis首席分析師迪倫?帕特爾（Dylan Patel）稱，ChatGPT每天的運(yùn)營成本約為70萬美元，即每條查詢0.36美分。他說：“大部分成本是基于他們所需的昂貴服務(wù)器。”“與英偉達(dá)的產(chǎn)品相比，Athena如果具有競爭力，每個芯片的成本可以降低三分之一。”

AI訓(xùn)練芯片“一哥”英偉達(dá)被視作云計算資本支出重心轉(zhuǎn)向AI的最大受益者。據(jù)美國《財富》雜志披露，OpenAI一年的計算和數(shù)據(jù)支出高達(dá)4.1645億美元。分析師稱ChatGPT Beta版本使用了10000個英偉達(dá)GPU訓(xùn)練模型，新一代GPT-5大模型正在25000個英偉達(dá)GPU上訓(xùn)練。

帕特爾說，微軟希望在包括Bing、Office 365（現(xiàn)在的Microsoft 365）和GitHub在內(nèi)的所有應(yīng)用程序中使用大語言模型。使用市面上已有芯片進(jìn)行大規(guī)模部署，每年將花費(fèi)數(shù)百億美元。

英偉達(dá)在GPU領(lǐng)域處于市場壟斷地位

英偉達(dá)的成功之處在于，它控制著圖形處理器（GPU）市場約80%的份額。GPU作為一種專門芯片，為OPenAI推出的ChatGPT等服務(wù)提供所需的計算能力。

圖形處理器單元旨在非常有效地處理人工智能計算過程中涉及到特定類型的數(shù)學(xué)，而英特爾的通用中央處理單元（CPU）只能以較低的效率處理更廣泛的計算任務(wù)。

黃仁勛指出，NVIDIA的技術(shù)是AI的基礎(chǔ)，早在2016年，NVIDIA就向OpenAI交付了第一臺NVIDIA DGX AI 超級計算機(jī)--支持ChatGPT的大型語言模型突破背后的引擎。

他表示，對于像ChatGPT這樣的大型語言模型推理，NVIDIA發(fā)布了一款新的GPU--具有雙GPU NVLink的 H100NVL。與用于GPT-3處理的 HGX A100相比，速度提高了10倍。

根據(jù)高納德（Gartner）研究公司的數(shù)據(jù)，人工智能正在接管科技行業(yè)，預(yù)計到2026年，用于數(shù)據(jù)中心的GPU等專用芯片的份額，將從2020年的不到3%上升至15%以上。

從目前人們對于ChatGPT的熱情，以及它所開啟的潛在應(yīng)用來看，目前的ChatGPT熱，可能意味著人工智能正處于一個應(yīng)用的拐點。

大模型規(guī)模已經(jīng)過時

「大型模型時代已經(jīng)到頭了，我們需要用新的思路和方法，讓 AIGC 取得新的進(jìn)展?！?/span>

擴(kuò)大模型規(guī)模，利用更復(fù)雜的參數(shù)，調(diào)用更大的算力，基本上是 OpenAI 過去幾年在 GPT 上所使用的迭代方法。

GPT-2 大概擁有 15 億參數(shù)，而 GPT-3 則擁有 1750 億參數(shù)，而 GPT-4 雖然沒有官方數(shù)字驗證，但不少機(jī)構(gòu)也推測出，它使用了數(shù)萬億字的文本和上萬臺云計算服務(wù)器，訓(xùn)練它的成本已經(jīng)超過了 1 億美元。

隨著 ChatGPT 的影響力越來越大，微軟也使用了其底層技術(shù)，推出了新 bing。

隨之，Google 推出了 Bard，Adobe 推出了 Firefly，除了這些大企業(yè)外，硅谷許多資金充裕的初創(chuàng)企業(yè)，像是 Anthropic、AI21、Cohere 和 Character.AI，也在瘋狂地投入，構(gòu)建更大規(guī)模的算法，以趕上 ChatGPT 和 OpenAI。

對于硬件資源的極大需求，也造成了英偉達(dá) A100、H100 GPU 的搶購潮。

在 eBay 上，英偉達(dá)的 H100 已經(jīng)成熱門商品，價格更是炒到了 4 萬美元，而其官方售價只是 3.3 萬美元。并且，H100 一般是打包 8 張組成一個服務(wù)器銷售。目前，并沒有其他的第三方對外銷售的 GPU 與英偉達(dá)競爭，在 AI 浪潮之下，誰的英偉達(dá) GPU 越多，仿佛就掌握了 AIGC 行業(yè)的取勝之匙。與傳統(tǒng)行業(yè)的資本壟斷、大企業(yè)壟斷類似，對于算力的追求，也催生了「算力壟斷」。

而 Sam Altman 也表示，OpenAI 還沒有開發(fā) GPT-5 的計劃。言下之意便是，無腦的擴(kuò)大模型規(guī)模，并不會讓 GPT 保持無限的迭代。目前來說，ChatGPT 與微軟的新 bing 都遇到了不少因為算力不太夠而出現(xiàn)宕機(jī)、服務(wù)不穩(wěn)定的狀況。同時，新 bing 也并未面向所有用戶，「排隊等待」的狀況仍然存在。

而這也是 Google 還無法將類似的生成式 AI 完全引入其搜索的一個原因。

曾在 Google 從事 AI 工作，現(xiàn)在是 Cohere 創(chuàng)始人的 Nick Frosst 也表示 Altman 很有先見之明，并且也表示，新的人工智能模型設(shè)計或架構(gòu)可能會基于人類反饋進(jìn)行調(diào)整。

按照這個思路來說，OpenAI 或許已經(jīng)在用新的思路在構(gòu)思 GPT-5 了。

英偉達(dá)的挑戰(zhàn)者不會消失

前段時間舉辦的英偉達(dá) GTC 開發(fā)者大會上，英偉達(dá) CEO 黃仁勛在總時長 1 小時 20 分鐘的主題演講中，前 1 個小時幾乎都在講 AI。偏心是肯定，但也足夠合情合理。

從長遠(yuǎn)來看，未來大模型的研發(fā)和部署是必然趨勢，每個大模型訓(xùn)練和部署的背后，都需要成千上萬個 GPU 芯片支持。英偉達(dá)也很難完全壟斷這塊龐大的市場，不僅因為及時供貨的能力，還在于其他 AI 公司不會樂見于英偉達(dá) GPU 一家獨(dú)大，這也給其他公司留下了空間和時間。

本月早些時候，谷歌研究人員在一篇論文中公布了用于訓(xùn)練 AI 模型的超級計算機(jī)的技術(shù)細(xì)節(jié)，包括如何將 4000 多個自研的第四代 TPU 芯片連接成一臺超級計算機(jī)，通過協(xié)同來訓(xùn)練模型。谷歌宣稱，該系統(tǒng)比基于英偉達(dá) GPU 的超算系統(tǒng)速度快了 1.7 倍，能效高了 1.9 倍。

此外，過去幾年國產(chǎn) GPU 均取得了一定的突破，盡管距離英偉達(dá)等頭部廠商還有很大的差距。但在美國禁令和缺貨的背景下，國產(chǎn) GPU 仍然有機(jī)會謀求成為國內(nèi) AI 市場的 Plan B，慢慢壯大之后再尋求進(jìn)一步的發(fā)展，包括挑戰(zhàn)英偉達(dá)的霸權(quán)。

正如投資機(jī)構(gòu) a16z 早前評價 ChatGPT 時所說，「基礎(chǔ)設(shè)施服務(wù)商可能才是最大贏家，獲得最多的財富?！贡M管大眾的目光大都放在各家的大模型上，但在戰(zhàn)爭的「幕后」，還會有好戲持續(xù)上演。