? 新聞：近日，頂級(jí)機(jī)器學(xué)習(xí)開(kāi)源庫(kù)Hugging Face分享性能結(jié)果，展示了Habana? Gaudi?2 AI硬件加速器針對(duì)1760億參數(shù)大模型卓越的運(yùn)行推理速度。同時(shí)，該結(jié)果亦展現(xiàn)了在Gaudi2服務(wù)器上運(yùn)行主流計(jì)算機(jī)視覺(jué)工作負(fù)載時(shí)的能效優(yōu)勢(shì)。

? 重要意義：目前，ChatGPT等生成式AI工具正在為整個(gè)行業(yè)帶來(lái)全新的能力，而其模型所需的計(jì)算亦使性能、成本和能效成為眾多企業(yè)關(guān)注的焦點(diǎn)。

? 縱觀大局：隨著生成式AI模型變得越來(lái)越大，在數(shù)據(jù)預(yù)處理到訓(xùn)練和推理等一系列復(fù)雜的AI負(fù)載功能上，能效成為推動(dòng)生產(chǎn)力的關(guān)鍵因素。開(kāi)發(fā)人員需要一種靈活、開(kāi)放、高能效和更可持續(xù)的解決方案，即“一次構(gòu)建、隨處部署”的方法，使各種形式的AI（包括生成式AI）都能充分發(fā)揮其潛力。

? 下一步：AI已經(jīng)走過(guò)很長(zhǎng)的一段路，但仍有更多方面有待挖掘。英特爾致力于AI的真正民主化和可持續(xù)性，這將使人們能夠通過(guò)開(kāi)放的生態(tài)系統(tǒng)更廣泛地從該技術(shù)，以及生成式AI技術(shù)中獲益。

? 總結(jié)：一個(gè)開(kāi)放的生態(tài)系統(tǒng)讓開(kāi)發(fā)人員能夠利用英特爾對(duì)流行開(kāi)源框架、庫(kù)和工具的優(yōu)化，來(lái)構(gòu)建和部署AI。英特爾AI智能硬件加速器以及第四代英特爾?至強(qiáng)?可擴(kuò)展處理器的內(nèi)置加速器提升了性能和每瓦性能，以滿(mǎn)足生成式AI對(duì)性能、價(jià)格和可持續(xù)性的需求。

生成式AI能夠模仿人類(lèi)生成的內(nèi)容，在改變我們工作和生活方式的諸多方面提供了一個(gè)令人興奮的機(jī)會(huì)。然而，這種快速演進(jìn)的技術(shù)也揭示出，在數(shù)據(jù)中心成功利用AI需要極其復(fù)雜的計(jì)算。

英特爾面向未來(lái)進(jìn)行了大量投資，希望每個(gè)人都能利用這項(xiàng)技術(shù)，并能輕松進(jìn)行大規(guī)模部署。同時(shí)，英特爾正與產(chǎn)業(yè)伙伴接洽，以支持一個(gè)基于信任、透明和多種選擇的開(kāi)放式AI生態(tài)系統(tǒng)。

擁抱具有卓越性能的開(kāi)源生成式AI

生成式AI例如GPT-3和DALL-E等語(yǔ)言模型已經(jīng)存在一段時(shí)間了，但ChatGPT（一種可以進(jìn)行類(lèi)似人類(lèi)對(duì)話的生成式AI聊天機(jī)器人）則引發(fā)巨大轟動(dòng)，讓人們開(kāi)始關(guān)注傳統(tǒng)數(shù)據(jù)中心架構(gòu)的瓶頸。ChatGPT還加快了對(duì)硬件和軟件解決方案的需求，這些解決方案使AI能夠充分發(fā)揮其潛力?；陂_(kāi)放方法和異構(gòu)計(jì)算的生成式AI使其更容易獲得，并更經(jīng)濟(jì)地部署最優(yōu)的解決方案。開(kāi)放生態(tài)系統(tǒng)允許開(kāi)發(fā)人員在優(yōu)先考慮功耗、價(jià)格和性能的同時(shí)，隨時(shí)隨地構(gòu)建和部署AI，從而釋放生成式AI的力量。

網(wǎng)絡(luò)研討會(huì)：英特爾將舉辦數(shù)據(jù)中心和人工智能事業(yè)部投資者網(wǎng)絡(luò)研討會(huì)

英特爾正在積極采取措施，并通過(guò)優(yōu)化主流的開(kāi)源框架、庫(kù)和工具來(lái)實(shí)現(xiàn)出色的硬件性能，同時(shí)消除復(fù)雜性，來(lái)確保自身是實(shí)現(xiàn)生成式AI的明智選擇。近日，頂級(jí)機(jī)器學(xué)習(xí)開(kāi)源庫(kù)Hugging Face發(fā)布的結(jié)果顯示了英特爾AI硬件加速器卓越的推理運(yùn)行速度，該結(jié)果基于對(duì)包含1760億個(gè)參數(shù)的BLOOMZ模型（一種基于轉(zhuǎn)換器的多語(yǔ)言大型語(yǔ)言模型（LLM）和包含70億參數(shù)的較小BLOOMZ模型進(jìn)行推理。其中，對(duì)于包含70億參數(shù)的較小BLOOMZ模型，Habana?第一代 Gaudi?具有明顯的性?xún)r(jià)比優(yōu)勢(shì)。此外，Hugging Face Optimum Habana庫(kù)簡(jiǎn)化了大型LLM的部署，用戶(hù)僅需對(duì)代碼進(jìn)行極小的修改。

英特爾研究院的研究人員還使用Habana Gaudi2在LMentry（一種最近提出的語(yǔ)言模型基準(zhǔn)）零次學(xué)習(xí)設(shè)置下評(píng)估BLOOMZ。BLOOMZ的精度與GPT-3模型尺寸相似，如下圖所示，最大的176B BLOOMZ模型的性能優(yōu)于類(lèi)似大小的GPT-3模型。

在100K LMentry提示上，BLOOMZ模型（最多1760億個(gè)參數(shù)）使用Habana Gaudi加速器對(duì)生成的語(yǔ)言輸出進(jìn)行的自動(dòng)評(píng)估。1

此外，Hugging Face亦介紹了Stability AI的Stable Diffusion，這是另一個(gè)用于從文本生成圖像的最先進(jìn)生成式AI模型之一，也是流行的 DALL-E圖像生成器的開(kāi)放訪問(wèn)替代方案，Stable Diffusion在內(nèi)置英特爾?高級(jí)矩陣擴(kuò)展（英特爾?AMX）的第四代英特爾至強(qiáng)可擴(kuò)展處理器上運(yùn)行的平均速度提高了3.8倍。這種加速是在不更改任何代碼的情況下實(shí)現(xiàn)的。此外，通過(guò)使用英特爾Extension for PyTorch with Bfloat16（一種用于機(jī)器學(xué)習(xí)的自定義格式），自動(dòng)混合精度可以再提速一倍，并將延遲減少到5秒——比初始基線32秒快了近6.5倍。用戶(hù)可在Hugging Face網(wǎng)站上一個(gè)基于英特爾CPU（第四代至強(qiáng)處理器）的實(shí)驗(yàn)性Stable Diffusion演示中進(jìn)行自行嘗試。

Stability AI創(chuàng)始人兼首席執(zhí)行官Emad Mostaque表示：“在Stability AI，我們希望讓每個(gè)人都能構(gòu)建自己的AI技術(shù)。英特爾已經(jīng)使Stable Diffusion模型能夠高效運(yùn)行在他們的異構(gòu)產(chǎn)品上——從第四代Sapphire Rapids CPU一直到像Gaudi這樣的加速器，因此是實(shí)現(xiàn)AI民主化的一個(gè)絕佳合作伙伴。我們期待在下一代語(yǔ)言、視頻和代碼模型等方面與他們合作?！?br style="padding: 0px; margin: 0px auto;"/>
OpenVINO進(jìn)一步加速了Stable Diffusion推理。結(jié)合使用第四代至強(qiáng)CPU，它的速度幾乎比第三代英特爾?至強(qiáng)?可擴(kuò)展CPU提高了2.7倍。Optimum Intel是OpenVINO支持的一個(gè)工具，用于加速英特爾架構(gòu)上的端到端管道，它將平均延遲再降低3.5倍，總共降低近10倍。