在大數(shù)據(jù)應(yīng)用需求的驅(qū)動(dòng)下，計(jì)算技術(shù)體系正在重構(gòu)，從“以計(jì)算為中心”向“以數(shù)據(jù)為中心”轉(zhuǎn)型，在新的計(jì)算技術(shù)體系下，一些基礎(chǔ)理論和核心技術(shù)問題亟待破解。本文提出新型大數(shù)據(jù)系統(tǒng)技術(shù)發(fā)展的十大趨勢(shì)。

趨勢(shì)一：數(shù)據(jù)與應(yīng)用進(jìn)一步分離，實(shí)現(xiàn)數(shù)據(jù)要素化。

數(shù)據(jù)一開始是依附于具體應(yīng)用的。數(shù)據(jù)庫技術(shù)的出現(xiàn)使得數(shù)據(jù)與應(yīng)用實(shí)現(xiàn)了第一次分離。數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中，不再依賴具體的應(yīng)用而存在。數(shù)據(jù)要素化的需求將推動(dòng)數(shù)據(jù)與應(yīng)用進(jìn)一步分離，數(shù)據(jù)不再依賴于具體的業(yè)務(wù)場景，數(shù)據(jù)以獨(dú)立的形態(tài)存在于數(shù)據(jù)庫中，并通過數(shù)據(jù)服務(wù)為不同的業(yè)務(wù)場景提供服務(wù)。例如，人口數(shù)據(jù)庫可以為全部的涉及人口信息的業(yè)務(wù)場景提供服務(wù)。

趨勢(shì)二：數(shù)聯(lián)網(wǎng)成為數(shù)字化時(shí)代的新型信息基礎(chǔ)設(shè)施。

將形成一套完整的數(shù)聯(lián)網(wǎng)基礎(chǔ)軟件理論、系統(tǒng)軟件架構(gòu)、關(guān)鍵技術(shù)體系，包括：針對(duì)數(shù)聯(lián)網(wǎng)軟件以數(shù)據(jù)為中心的特點(diǎn)，需要從復(fù)雜網(wǎng)絡(luò)和復(fù)雜系統(tǒng)等復(fù)雜性理論出發(fā)，研究數(shù)聯(lián)網(wǎng)軟件的結(jié)構(gòu)組成、行為模式和外在性質(zhì)；針對(duì)數(shù)聯(lián)網(wǎng)軟件的數(shù)據(jù)傳存算一體化需求，需要采用數(shù)據(jù)互操作技術(shù)和軟件定義思想，研究數(shù)聯(lián)網(wǎng)軟件運(yùn)行機(jī)理、體系結(jié)構(gòu)與關(guān)鍵機(jī)制；針對(duì)數(shù)聯(lián)網(wǎng)軟件跨層級(jí)、跨地域、跨系統(tǒng)運(yùn)行帶來的可靠性、可用性、安全性等質(zhì)量挑戰(zhàn)，需要以數(shù)據(jù)驅(qū)動(dòng)為手段，研究數(shù)聯(lián)網(wǎng)環(huán)境下保障服務(wù)質(zhì)量與保護(hù)質(zhì)量的原理、機(jī)制與方法。

趨勢(shì)三：從單域到跨域數(shù)據(jù)管理，促進(jìn)數(shù)據(jù)要素的共享與協(xié)同。

以數(shù)據(jù)為中心的計(jì)算的核心目標(biāo)是數(shù)據(jù)價(jià)值的最大化，關(guān)鍵要打破"數(shù)據(jù)孤島"，實(shí)現(xiàn)數(shù)據(jù)要素的高效共享與協(xié)同。傳統(tǒng)數(shù)據(jù)管理局限在單一企業(yè)、業(yè)務(wù)、數(shù)據(jù)中心等內(nèi)部，未來大數(shù)據(jù)管理將從傳統(tǒng)的單域模式發(fā)展到跨域模式，跨越空間域、管轄域和信任域。但跨空間域會(huì)造成網(wǎng)絡(luò)時(shí)延較高且不穩(wěn)定；跨管轄域會(huì)造成數(shù)據(jù)與應(yīng)用異構(gòu)，數(shù)據(jù)管理復(fù)雜度大大提升；跨信任域則要求具備容忍各類惡意錯(cuò)誤的能力?？缬驇淼倪@些變化將為大數(shù)據(jù)技術(shù)帶來新的機(jī)遇和挑戰(zhàn)。

趨勢(shì)四：大數(shù)據(jù)管理與處理系統(tǒng)體系結(jié)構(gòu)異構(gòu)化日趨明顯。

體系結(jié)構(gòu)創(chuàng)新進(jìn)入"黃金十年"，圍繞不同數(shù)據(jù)處理特征的新型加速器（GPU、TPU、APU等各種xPU）層出不窮，存儲(chǔ)器件快速發(fā)展，高速固態(tài)硬盤（solid state disk，SSD）、新型非易失內(nèi)存、新型計(jì)算網(wǎng)絡(luò)等成為大數(shù)據(jù)處理系統(tǒng)的重要硬件配置，計(jì)算與存儲(chǔ)的融合趨勢(shì)明顯。為了最大限度地發(fā)揮數(shù)據(jù)管理能力，大數(shù)據(jù)管理系統(tǒng)在存儲(chǔ)、網(wǎng)絡(luò)、計(jì)算等硬件上最大化挖掘新型硬件的處理能力。在處理上針對(duì)不同數(shù)據(jù)處理需求，配置不同計(jì)算與存儲(chǔ)硬件成為大數(shù)據(jù)處理系統(tǒng)的主流架構(gòu)。數(shù)據(jù)驅(qū)動(dòng)的計(jì)算架構(gòu)快速發(fā)展，以數(shù)據(jù)流為中心的系統(tǒng)結(jié)構(gòu)成為重要的系統(tǒng)設(shè)計(jì)理念。

趨勢(shì)五：擴(kuò)展性優(yōu)先設(shè)計(jì)到性能優(yōu)先設(shè)計(jì)。

數(shù)據(jù)規(guī)模急劇增長，大數(shù)據(jù)處理需求越來越走向深度價(jià)值挖掘，數(shù)據(jù)處理計(jì)算愈發(fā)密集，數(shù)據(jù)管理與處理的成本成為大數(shù)據(jù)管理與處理系統(tǒng)的重要考量因素，傳統(tǒng)“擴(kuò)展性優(yōu)先”的大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)將會(huì)被“以性能優(yōu)先”的系統(tǒng)設(shè)計(jì)代替。Spark、Flink等系統(tǒng)在大數(shù)據(jù)處理生態(tài)系統(tǒng)中的占有率明顯體現(xiàn)了這一趨勢(shì)，圖計(jì)算（圖加速器、圖計(jì)算框架等）、深度學(xué)習(xí)框架（Tensorflow、PyTorch等）等領(lǐng)域?qū)Ｓ么髷?shù)據(jù)處理系統(tǒng)的崛起也是這一系統(tǒng)設(shè)計(jì)理念在技術(shù)生態(tài)上的表現(xiàn)。智能化數(shù)據(jù)管理、近似計(jì)算等新興管理和處理方法成為性能優(yōu)先設(shè)計(jì)的重要技術(shù)手段。

趨勢(shì)六：近數(shù)處理成為突破大數(shù)據(jù)處理系統(tǒng)性能瓶頸的重要途徑。

存算一體類體系結(jié)構(gòu)技術(shù)快速發(fā)展，新型SSD等新型存儲(chǔ)贏家功能愈發(fā)豐富，分布式計(jì)算系統(tǒng)邊緣能力迅速發(fā)展。以上3種體系結(jié)構(gòu)技術(shù)發(fā)展為大數(shù)據(jù)近數(shù)處理提供了良好的發(fā)展契機(jī)。近數(shù)處理體現(xiàn)在“存儲(chǔ)上移”（如在GPU、現(xiàn)場可編程門陣列（field-programmable gate array，F(xiàn)PGA）等計(jì)算設(shè)備上集成HBM）、"算力下沉"（如在DRAM內(nèi)存或者SSD存儲(chǔ)設(shè)備上集成處理能力）、“分布擴(kuò)展”（如在云、邊、端分布式處理數(shù)據(jù)，降低數(shù)據(jù)處理中心壓力）3個(gè)方面。

趨勢(shì)七：從單域單模態(tài)分析到多域多模態(tài)融合，實(shí)現(xiàn)廣譜關(guān)聯(lián)計(jì)算。

傳統(tǒng)大數(shù)據(jù)分析技術(shù)大多僅聚焦于單一來源、單一模態(tài)的數(shù)據(jù)，而實(shí)際應(yīng)用中往往要對(duì)來自不同來源、不同模態(tài)（如文本、圖像、音視頻等）的數(shù)據(jù)進(jìn)行聯(lián)合分析，從而實(shí)現(xiàn)不同來源與不同模態(tài)數(shù)據(jù)之間的信息互補(bǔ)。此外，諸多領(lǐng)域的大數(shù)據(jù)具有重要的時(shí)空屬性，當(dāng)前研究對(duì)這類信息的利用還不夠充分。因此，探究能夠跨模態(tài)關(guān)聯(lián)、跨時(shí)空關(guān)聯(lián)的廣譜關(guān)聯(lián)技術(shù)是大數(shù)據(jù)分析處理的一個(gè)重要趨勢(shì)。

趨勢(shì)八：從聚焦關(guān)聯(lián)到探究因果，實(shí)現(xiàn)分析結(jié)果可解釋。

如何讓大數(shù)據(jù)分析模型更加穩(wěn)定且具有可解釋性，從而使其分析結(jié)果對(duì)于用戶而言變得更加可信、更加可用最好還能具備一定的可回溯性，是大數(shù)據(jù)分析面臨的巨大挑戰(zhàn)。雖然因果推斷與可解釋性分析技術(shù)取得了一定進(jìn)展，但總體來說尚處于起步階段，離實(shí)際應(yīng)用還有很長一段距離。因此，從關(guān)聯(lián)到因果也是未來大數(shù)據(jù)分析技術(shù)的重要研究方向。

趨勢(shì)九：高能效大數(shù)據(jù)技術(shù)是可持續(xù)發(fā)展的關(guān)鍵。

全球大數(shù)據(jù)量的持續(xù)高速增長，以及“碳達(dá)峰、碳中和”目標(biāo)的提出，要求大數(shù)據(jù)技術(shù)棧必須走低碳高效、可持續(xù)發(fā)展的路線。例如云數(shù)據(jù)管理系統(tǒng)以資源共享、節(jié)能高效為主要特點(diǎn)，將是未來大數(shù)據(jù)管理的主要基礎(chǔ)形態(tài)；在云數(shù)據(jù)管理基礎(chǔ)上的全國一體化高能效大數(shù)據(jù)管理，由于算力和數(shù)據(jù)要素的大規(guī)模調(diào)度與流通，可以進(jìn)一步成為未來大數(shù)據(jù)管理的主要方向，形成低碳發(fā)展新格局。

趨勢(shì)十：大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范和以開源社區(qū)為核心的軟硬件生態(tài)系統(tǒng)將成為發(fā)展的重點(diǎn)。

隨著大數(shù)據(jù)在各個(gè)領(lǐng)域應(yīng)用的迅速普及，標(biāo)準(zhǔn)化需求將不斷增長，與大數(shù)據(jù)流動(dòng)融合、質(zhì)量評(píng)估，以及與行業(yè)、領(lǐng)域應(yīng)用密切相關(guān)的大數(shù)據(jù)標(biāo)準(zhǔn)將成為發(fā)展重點(diǎn)。開源社區(qū)在大數(shù)據(jù)軟硬件生態(tài)建設(shè)中的地位不斷加強(qiáng)，對(duì)開源社區(qū)的主導(dǎo)權(quán)爭奪將成為各國技術(shù)、產(chǎn)品和市場競爭的重點(diǎn)。