中商情報網(wǎng)訊：海量數(shù)據(jù)從生產(chǎn)到發(fā)揮價值，需要經(jīng)過采集、處理、分析等環(huán)節(jié)，其中大數(shù)據(jù)采集與預(yù)處理作為大數(shù)據(jù)生命周期的第一環(huán)節(jié)，是釋放數(shù)字價值的前提。

市場規(guī)模分析

在政策和技術(shù)的雙重驅(qū)動下，我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模快速增長。數(shù)據(jù)顯示，我國大數(shù)據(jù)市場規(guī)模由2016年的277億元增長至2020年的713億元，復(fù)合年均增長率為26.7%，預(yù)計2022年我國大數(shù)據(jù)市場規(guī)模將達(dá)1049億元。

數(shù)據(jù)來源：中商產(chǎn)業(yè)研究院整理

未來發(fā)展趨勢

1.大數(shù)據(jù)行業(yè)應(yīng)用的深入促進(jìn)大數(shù)據(jù)采集需求日益增長

數(shù)據(jù)采集是大數(shù)據(jù)在各行各業(yè)應(yīng)用并且創(chuàng)造價值的前提。隨著大數(shù)據(jù)的行業(yè)應(yīng)用不斷深入，物聯(lián)網(wǎng)、智能家居、數(shù)字政務(wù)等領(lǐng)域的大數(shù)據(jù)技應(yīng)用逐漸成熟，數(shù)據(jù)采集的需求也將被逐步激發(fā)，帶動數(shù)據(jù)采集軟件及服務(wù)的市場規(guī)模日益增長。

2.大數(shù)據(jù)采集環(huán)節(jié)更加注重異構(gòu)數(shù)據(jù)源兼容性

隨著數(shù)據(jù)量的指數(shù)增長，數(shù)據(jù)的存儲、計算、部署等方式都在同步變化，各行業(yè)的業(yè)務(wù)系統(tǒng)也變得越來越復(fù)雜。日益復(fù)雜的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)架構(gòu)形成了數(shù)據(jù)結(jié)構(gòu)、存取方式、形式不同的異構(gòu)數(shù)據(jù)源，對大數(shù)據(jù)采集的異構(gòu)兼容性提出了更高的要求。工信部發(fā)布的《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》中明確提出，以構(gòu)建穩(wěn)定高效產(chǎn)業(yè)鏈為主要目標(biāo)，在數(shù)據(jù)生成采集環(huán)節(jié)，著重提升產(chǎn)品的異構(gòu)數(shù)據(jù)源兼容性、大規(guī)模數(shù)據(jù)集采集與加工效率。

3.大數(shù)據(jù)采集的安全與隱私保護(hù)需求持續(xù)上漲

近年來，我國大數(shù)據(jù)的安全與隱私保護(hù)需求持續(xù)上漲，大數(shù)據(jù)采集過程中的安全流通和隱私計算技術(shù)也愈發(fā)得到重視。隨著大數(shù)據(jù)的不斷發(fā)展和應(yīng)用，越來越多的安全問題隨之浮現(xiàn)。在數(shù)據(jù)采集過程中，第三方可能在采集傳輸數(shù)據(jù)過程中截獲、偽造數(shù)據(jù)，不但造成了用戶隱私、敏感數(shù)據(jù)泄露的嚴(yán)重后果，同時也影響了政府、企業(yè)后臺數(shù)據(jù)分析的準(zhǔn)確性。因此，在大數(shù)據(jù)采集及預(yù)處理過程中，除了假流量數(shù)據(jù)清洗、正常數(shù)據(jù)補(bǔ)全、無效數(shù)據(jù)剔除外，還存在數(shù)據(jù)格式化、數(shù)據(jù)隔離、數(shù)據(jù)加密、數(shù)據(jù)脫敏和攻擊識別等需求。