5月7日，以“數(shù)據(jù)覺醒，構(gòu)建AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施”為主題的2024創(chuàng)新數(shù)據(jù)基礎(chǔ)設(shè)施論壇在柏林舉行。華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士發(fā)表題為“數(shù)據(jù)覺醒時(shí)代，華為重新定義數(shù)據(jù)存儲”主題演講，他表示，具備極致性能、數(shù)據(jù)韌性、全新數(shù)據(jù)范式、高擴(kuò)展性、綠色節(jié)能、數(shù)據(jù)編織能力的數(shù)據(jù)存儲是AI時(shí)代存儲演進(jìn)的必由之路。


數(shù)據(jù)存儲的新要求

AI大模型集群規(guī)模已邁入萬卡、十萬卡時(shí)代，集群規(guī)模增加帶來更加頻繁的故障和訓(xùn)練中斷，重復(fù)的CheckPoint數(shù)據(jù)寫入、斷點(diǎn)續(xù)訓(xùn)導(dǎo)致算力資源閑置，集群可用度不足50%。此外，到2026年，全球數(shù)據(jù)中心的耗電量預(yù)計(jì)將達(dá)到2022年的2.3倍，相當(dāng)于日本一個(gè)國家全年的耗電量，其中數(shù)據(jù)中心一半以上的電力消耗都將被AI占據(jù)。

AI時(shí)代呼喚新一代數(shù)據(jù)存儲。過去的數(shù)據(jù)存儲主要關(guān)注性能、可靠、數(shù)據(jù)范式三個(gè)方面；面向未來，AI存儲還應(yīng)增加三個(gè)維度：高擴(kuò)展性、綠色節(jié)能與數(shù)據(jù)編織。數(shù)據(jù)覺醒時(shí)代，華為將重新定義數(shù)據(jù)存儲，聚焦于六個(gè)方面的創(chuàng)新，持續(xù)引領(lǐng)：

極致性能：超越傳統(tǒng)存儲10倍的性能，支持PB級帶寬以及億級IOPS，極大提升生成式AI全流程效率；

數(shù)據(jù)韌性：通過架構(gòu)和技術(shù)創(chuàng)新，實(shí)現(xiàn)99.9999%高可靠性，通過內(nèi)置防勒索引擎，實(shí)現(xiàn)偵測準(zhǔn)確率提升至99.99%，并將AI訓(xùn)練過程中CheckPoint恢復(fù)時(shí)間縮至1分鐘以內(nèi)；

全新數(shù)據(jù)范式：使能多維“張量”格式的數(shù)據(jù)，通過智能檢索引擎，具備快速的張量數(shù)據(jù)檢索能力；通過內(nèi)嵌知識庫，利用RAG技術(shù)消除AI大模型幻覺；

高擴(kuò)展性：存儲集群支持EB級容量橫向擴(kuò)展；每個(gè)引擎可支持多GPU、DPU或NPU縱向擴(kuò)展，以支持近存計(jì)算；

綠色節(jié)能：通過存儲介質(zhì)應(yīng)用創(chuàng)新和整機(jī)硬件創(chuàng)新，實(shí)現(xiàn)小于1Watt/TB的存儲能效和1PB/U的存儲密度；

數(shù)據(jù)編織：基于存儲元數(shù)據(jù)管理及檢索能力，實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視、可管，并支持10倍的數(shù)據(jù)流動效率提升。

基于以上創(chuàng)新，華為推出全新A系列高性能存儲OceanStor A800，專為AI而生，可有效提升AI集群可用度30%。性能方面，OceanStor A800帶寬是友商同類產(chǎn)品的4倍，IOPS達(dá)友商的8倍；支持EB級容量擴(kuò)展，最大支持?jǐn)U容至4096張算力卡，512個(gè)存儲控制器；從空間能耗來看，密度高達(dá)1PB/U，能耗低至0.7Watt/TB；結(jié)合向量化索引、張量格式數(shù)據(jù)、RAG知識庫，使能全新數(shù)據(jù)范式；數(shù)據(jù)韌性方面，勒索攻擊偵測準(zhǔn)確率從99.9%提升至99.99%；通過數(shù)據(jù)編織能力，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理。


數(shù)據(jù)爆炸來臨

國產(chǎn)替代加速

在新興技術(shù)驅(qū)動下，存儲主要面對的是云計(jì)算、大數(shù)據(jù)和人工智能等大規(guī)模數(shù)據(jù)應(yīng)用場景。相較于傳統(tǒng)存儲，源于大型互聯(lián)網(wǎng)數(shù)據(jù)中心的“軟件定義存儲”技術(shù)，天生具有的可擴(kuò)展性以及靈活性，數(shù)據(jù)存儲行業(yè)為新基建時(shí)代帶來了革命性的數(shù)據(jù)儲存手段。

伴隨著信息產(chǎn)業(yè)的迅猛發(fā)展和普及，數(shù)據(jù)存儲技術(shù)已成為現(xiàn)代信息產(chǎn)業(yè)架構(gòu)中不可或缺的底層基座。然而，日益增長的數(shù)據(jù)存儲需求，要求數(shù)據(jù)存儲技術(shù)在介質(zhì)、架構(gòu)、協(xié)議、應(yīng)用與運(yùn)維模式等數(shù)據(jù)存儲行業(yè)方面不斷發(fā)展演進(jìn)。

當(dāng)前數(shù)據(jù)資源已成為關(guān)鍵生產(chǎn)要素，更多的產(chǎn)業(yè)通過利用物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、電商等結(jié)構(gòu)或非結(jié)構(gòu)化數(shù)據(jù)資源來提取有價(jià)值信息;而海量數(shù)據(jù)的處理與分析均要求構(gòu)建大數(shù)據(jù)中心。

近年來，伴隨著互聯(lián)網(wǎng)的快速發(fā)展以及在各行業(yè)的滲透，互聯(lián)網(wǎng)行業(yè)的IDC需求仍是推動中國數(shù)據(jù)中心(IDC)業(yè)務(wù)市場規(guī)模絕對值增長的主要驅(qū)動力，數(shù)據(jù)存儲行業(yè)市場始終保持市場規(guī)模量級的增長。


1、大數(shù)據(jù)時(shí)代來臨，數(shù)據(jù)量和數(shù)據(jù)價(jià)值陡升，催生存儲需求

隨著半導(dǎo)體和云計(jì)算的發(fā)展解決計(jì)算成本和計(jì)算能力問題，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)在算法效率上實(shí)現(xiàn)突破，以人工智能、物聯(lián)網(wǎng)等為代表的萬物智能應(yīng)用將使各行各業(yè)的數(shù)據(jù)量以遠(yuǎn)超摩爾定律的速率爆發(fā)增長。

目前近六成的企業(yè)已成立數(shù)據(jù)分析相關(guān)部門，超過 1/3 的企業(yè)已實(shí)際應(yīng)用大數(shù)據(jù)。隨著數(shù)據(jù)集中、數(shù)據(jù)挖掘、商業(yè)智能、協(xié)同作業(yè)等大數(shù)據(jù)處理技術(shù)的日趨成熟，數(shù)據(jù)價(jià)值呈指數(shù)上升趨勢，數(shù)據(jù)逐漸成為企業(yè)越來越重要的無形資產(chǎn)，因此使得存儲行業(yè)快速升溫。

預(yù)計(jì)未來大數(shù)據(jù)引出的存儲增量需求主要有三方面，一是數(shù)據(jù)量擴(kuò)大引起的擴(kuò)容需求，二是數(shù)據(jù)分析和處理產(chǎn)生的倍增數(shù)據(jù)存儲需求，三是數(shù)據(jù)價(jià)值被發(fā)掘后，企業(yè)會對數(shù)據(jù)的安全保障投入更大的精力，進(jìn)而產(chǎn)生更多的容災(zāi)需求和備份需求。


2、國家實(shí)行信息化安全戰(zhàn)略，極大促進(jìn)國內(nèi)數(shù)據(jù)存儲廠商的發(fā)展

近年來隨著互聯(lián)網(wǎng)+、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算的快速發(fā)展，數(shù)據(jù)逐漸成為用戶的核心信息資產(chǎn)。2013 年“美國棱鏡門”事件和“RSA 后門”事件的影響持續(xù)發(fā)酵，個(gè)人隱私意識和企業(yè)數(shù)據(jù)安全意識不斷提升，國家已將核心 IT 產(chǎn)品自主可控提升到戰(zhàn)略高度，近年來相繼出臺了一系列鼓勵信息產(chǎn)業(yè)自主可控的法律法規(guī)和產(chǎn)業(yè)政策，隨著國家對信息基礎(chǔ)設(shè)施的重視程度日益提高，相關(guān)市場的空間日益擴(kuò)大，信息產(chǎn)業(yè)核心基礎(chǔ)設(shè)施的國產(chǎn)化替代趨勢正在加快。


3、中高端市場增速明顯，國產(chǎn)化替代空間較大

近年中國外部存儲市場為例，進(jìn)入高端市場排名的廠商中，國外廠商占據(jù) 56.5%的市場份額，國內(nèi)廠商以華為、曙光、DCN、宏杉為代表，占據(jù) 39.4%的市場份額；進(jìn)入中端市場排名的廠商中，國外廠商占據(jù) 38.0%的市場份額，國內(nèi)廠商以華為、浪潮、宏杉、同有、宇視、曙光、聯(lián)想、DCN 為代表，占據(jù) 53.0%的市場份額。因此，中國存儲市場的國產(chǎn)化程度仍有較大的提升空間。

近年來國內(nèi)中高端存儲市場發(fā)展較快，市場規(guī)模在不斷擴(kuò)大，且國產(chǎn)化替代仍有較大空間，在政策面的大力支持下，國內(nèi)廠商正在逐步擴(kuò)大自身的市場份額。公司在中高端存儲產(chǎn)品方面擁有完全的自主知識產(chǎn)權(quán)且已形成成熟豐富的產(chǎn)品組合，因此有望在未來中高端存儲市場領(lǐng)域進(jìn)一步擴(kuò)大自身銷售規(guī)模。

分布式存儲“漸當(dāng)大任”

面向非結(jié)構(gòu)化數(shù)據(jù)量爆炸式增長和存儲需求的持續(xù)升級，各廠商紛紛推出分布式存儲新品，其高性能、大容量、綠色低碳等特質(zhì)，將加速海量非結(jié)構(gòu)化數(shù)據(jù)進(jìn)入各行各業(yè)的生產(chǎn)決策系統(tǒng)，提升生產(chǎn)決策效率和業(yè)務(wù)體驗(yàn)。

與傳統(tǒng)的集中式存儲技術(shù)不同，分布式存儲沒有將數(shù)據(jù)存儲在某個(gè)特定節(jié)點(diǎn)上，而是通過網(wǎng)絡(luò)將各個(gè)節(jié)點(diǎn)分散的存儲資源匯聚成一個(gè)虛擬的存儲設(shè)備，將數(shù)據(jù)分散在各處。相較于集中存儲，分布式存儲成本低，擴(kuò)展性好，弱化了關(guān)系數(shù)據(jù)模型，可以得到高并發(fā)和高性能。

眾所周知，傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲應(yīng)用的需要。隨著各行業(yè)數(shù)字化轉(zhuǎn)型的加速，越來越多的數(shù)據(jù)被生產(chǎn)出來，分布式存儲成為企業(yè)應(yīng)對海量數(shù)據(jù)挑戰(zhàn)的重要助力。

而且，不同類型的數(shù)據(jù)需要用不同的分布式存儲系統(tǒng)去處理。圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，由于個(gè)體相互之間沒有關(guān)聯(lián)，體積大，采用二級制，通常使用分布式文件系統(tǒng)進(jìn)行存儲；自描述的數(shù)據(jù)結(jié)構(gòu)和內(nèi)容混在一起的半結(jié)構(gòu)化數(shù)據(jù)，比較簡單的可以用分布式鍵值系統(tǒng)存儲，較為復(fù)雜的一般采用分布式表格系統(tǒng)來存儲區(qū)；結(jié)構(gòu)化數(shù)據(jù)由分布式數(shù)據(jù)庫存儲。

分布式云存儲技術(shù)在數(shù)據(jù)存儲領(lǐng)域得到了廣泛應(yīng)用，并為云計(jì)算技術(shù)的迅速發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)。在云環(huán)境下，分布式存儲系統(tǒng)能夠?qū)崿F(xiàn)計(jì)算資源和存儲資源的單獨(dú)橫向擴(kuò)展，計(jì)算資源不足時(shí)直接擴(kuò)容計(jì)算節(jié)點(diǎn)，存儲空間不足時(shí)只需擴(kuò)容存儲節(jié)點(diǎn)，極大地節(jié)省硬件資源降低成本。


市場需求強(qiáng)烈，廠商紛紛推出分布式存儲方案

面對著市場上對于分布式存儲產(chǎn)品的需求，不少廠商已經(jīng)在布局該賽道，其中不乏騰訊云、字節(jié)跳動和天翼云等國內(nèi)云計(jì)算大廠，紛紛推出相應(yīng)產(chǎn)品賦能企業(yè)加速數(shù)字化進(jìn)程。

作為騰訊云的分布式存儲服務(wù)，騰訊云COS具有高擴(kuò)展性、低成本、高可靠性和安全性等特點(diǎn)，在架構(gòu)上，騰訊云COS推出新一代同城多活存儲系統(tǒng)，利用EC編碼技術(shù)，將數(shù)據(jù)分塊、分機(jī)房存儲，將存儲的可靠性提升了10倍，并通過新一代高可用機(jī)制，保障機(jī)房故障時(shí)，能夠讓讀寫請求正常執(zhí)行，使得業(yè)務(wù)訪問可用性提升了10倍。

在智能分層存儲領(lǐng)域，騰訊云COS此次也推出了新的探索，其在標(biāo)準(zhǔn)層與低頻層的基礎(chǔ)上，將歸檔層、深度歸檔層也加入智能分層存儲的納管范圍內(nèi)，實(shí)現(xiàn)了更大范圍、更完善的數(shù)據(jù)自動分層，從而幫助用戶選擇更合理、與業(yè)務(wù)更匹配的存儲類型，進(jìn)一步降本增效。

另外一家互聯(lián)網(wǎng)廠商字節(jié)跳動也“不甘人后”，推出了自研分布式存儲系統(tǒng)ByteGraph。針對非結(jié)構(gòu)化數(shù)據(jù)，ByteGraph支持?jǐn)?shù)據(jù)模型，支持Gremlin查詢語言，支持靈活豐富的寫入和查詢接口，讀寫吞吐可擴(kuò)展到千萬QPS，延遲毫秒級。另外，ByteGraph主要用于在線OLTP場景，而在離線場景下，非結(jié)構(gòu)式數(shù)據(jù)的分析和計(jì)算需求也逐漸顯現(xiàn)。

目前，ByteGraph支持了頭條、抖音、 TikTok、西瓜、火山等幾乎字節(jié)跳動全部產(chǎn)品線，遍布全球機(jī)房。