国产精品久久精品牛牛影视-国产精品久久精品视-国产精品久久九九-国产精品久久久-国产精品久久久99

芯片采購網(wǎng)專注于整合國內(nèi)外授權(quán)IC代理商現(xiàn)貨資源，芯片庫存實時查詢，行業(yè)價格合理，采購方便IC芯片，國內(nèi)專業(yè)芯片采購平臺。

嚴(yán)貴海在中國計算機(jī)學(xué)會芯片會議上DPU主題報告

在DPU在概念誕生之初，人們爭論它應(yīng)該如何定義，但后來發(fā)現(xiàn)，只有定義不能解釋 DPU能做什么，有什么作用，如何更好地與現(xiàn)有系統(tǒng)合作。本文將討論DPU發(fā)展中的四個關(guān)鍵問題：DPU是什么？DPU能標(biāo)準(zhǔn)化嗎？DPU工業(yè)化面臨哪些挑戰(zhàn)？還有中國計劃嗎？有些問題目前還很難給出確切的答案，但拋磚引玉，希望能引起大家的關(guān)注。

一、DPU是什么？

DPU它是一種新開發(fā)的專用處理器，但對于DPU釋意不像以前的處理器那么容易不言而喻。比如GPU，聽名字就知道是什么，名字就是定義。數(shù)字信號處理器也是類似的DSP，深度學(xué)習(xí)處理器NPU等。其實，CPU這也是一個解釋不清楚的概念。大約50年前，關(guān)于中央的含義沒有太多爭論。但是CPU需要做什么，系統(tǒng)中的角色是什么，真的很清楚——這其實是首要問題。所謂之下，所謂的定義就沒那么重要了。簡言之，DPU什么是參考結(jié)構(gòu)，什么樣的負(fù)載可以處理，如何集成到現(xiàn)有的計算系統(tǒng)中DPU研發(fā)要解決的關(guān)鍵問題。

DPU是基礎(chǔ)設(shè)施層的數(shù)據(jù)處理單元。有鑒于此，Intel也把自己的DPU稱之為“IPU所以所謂的基礎(chǔ)設(shè)施層不同于應(yīng)用層Epson代理提供物理或虛擬化資源，甚至提供基本服務(wù)的邏輯層。事實上，這個概念很容易理解。從我們先進(jìn)計算系統(tǒng)的宏觀邏輯水平來看，它本身被人為地分為基礎(chǔ)設(shè)施層（IaaS），平臺層（PaaS），軟件層（SaaS），上層為應(yīng)用層。如果看微觀，會更清晰。基礎(chǔ)層主要包括網(wǎng)絡(luò)、存儲、服務(wù)器等與硬件資源交互、抽象硬件功能的組件。從優(yōu)化技術(shù)的重點來看，基礎(chǔ)層組件越多，性能優(yōu)先，機(jī)器依賴就越多（Machine-dependent）上層優(yōu)化越以生產(chǎn)效率為導(dǎo)向，通過層層封裝，屏蔽底層差異，對用戶透明。

DPU數(shù)據(jù)處理單元面向基礎(chǔ)設(shè)施層

那么，現(xiàn)有的數(shù)據(jù)中心嗎？CPU、GPU、路由器和開關(guān)不能繼續(xù)作為基礎(chǔ)設(shè)施層的數(shù)據(jù)處理單元嗎？計算系統(tǒng)的研究在很大程度上是優(yōu)化的研究。現(xiàn)有的基礎(chǔ)設(shè)施不是不可能的，而是不夠的優(yōu)化。如果沒有新技術(shù)的發(fā)明和引進(jìn)，需求和供給之間的矛盾將越來越突出。

DPU首先要解決的是網(wǎng)絡(luò)數(shù)據(jù)包處理的問題。傳統(tǒng)上，網(wǎng)卡處理了兩層網(wǎng)絡(luò)的數(shù)據(jù)幀CPU上運(yùn)行的OS處理網(wǎng)絡(luò)數(shù)據(jù)包的收發(fā)問題。當(dāng)網(wǎng)絡(luò)帶寬相對較低時，這種費用并不是一個大問題，甚至中斷費用也是可以接受的。然而，隨著核心網(wǎng)絡(luò)和匯聚網(wǎng)絡(luò)朝著100G、200G接入網(wǎng)絡(luò)的發(fā)展也達(dá)到了50G、100G時，CPU不能提供足夠的計算能力來處理數(shù)據(jù)包。我們發(fā)現(xiàn)了一種叫做性能帶寬增速比失衡的現(xiàn)象CPU由于摩爾定律的放緩，性能增長也有所放緩，但網(wǎng)絡(luò)帶寬的增長來自于豐富的應(yīng)用、數(shù)據(jù)中心規(guī)模的擴(kuò)大和數(shù)字進(jìn)展的驅(qū)動，因此增長速度更快，進(jìn)一步加劇了服務(wù)器節(jié)點CPU計算負(fù)擔(dān)。

另一個例子是云計算場景中的核心應(yīng)用程序，虛擬機(jī)之間的數(shù)據(jù)轉(zhuǎn)發(fā)問題，即OVS。一般來說，20個VM如果使用需要消耗的計算能力Xeon的多核CPU處理它大約需要5個核的計算能力——這確實是一個很大的開支。

此外，目前的系統(tǒng)結(jié)構(gòu)不是為了處理網(wǎng)絡(luò)數(shù)據(jù)，而是為了更有效地管理本地資源，支持多用戶、多任務(wù)、本地安全、適當(dāng)并發(fā)，因此必須劃分執(zhí)行和訪問不同特權(quán)指令的權(quán)限，并采用復(fù)雜的中斷機(jī)制。這些機(jī)制對高帶寬網(wǎng)絡(luò)、隨機(jī)訪問、高并發(fā)度收發(fā)的場景效率不高。因此，現(xiàn)有技術(shù)開辟了用戶態(tài)訪問機(jī)制，直接繞過操作系統(tǒng)的內(nèi)核態(tài)，用輪詢代替中斷IO操作。這些基于當(dāng)前體系的修補(bǔ)權(quán)宜之計，本質(zhì)上是新場景下經(jīng)典技術(shù)的不適應(yīng)。

為了更好的理解DPU在經(jīng)典計算系統(tǒng)模型的幫助下，系統(tǒng)可分為三個部分：1）數(shù)據(jù)平面（Data Plane），定義為數(shù)據(jù)包分析和處理的數(shù)據(jù)通路，代表計算和數(shù)據(jù)密集的功能部分；2）控制平面（Control Plane），定義是為輸入輸出數(shù)據(jù)流提供和配置數(shù)據(jù)平面的算法集合，代表資源調(diào)度、系統(tǒng)配置、鏈路建設(shè)等控制密集的功能部分。此外，行業(yè)通常會增加第三個層次，即3)管理平面（Mgmt. Plane），周期性或偶發(fā)性的部分應(yīng)用，如系統(tǒng)監(jiān)控、故障隔離、在線修復(fù)等。此外，行業(yè)通常會增加第三個層次，即3)管理平面（Mgmt. Plane），代表系統(tǒng)監(jiān)控、故障隔離、在線維修等周期性或偶然的部分應(yīng)用。事實上，這也是在軟件定義網(wǎng)絡(luò)SDN一種方法學(xué)下的劃分。如果比較一個城市的路網(wǎng)基礎(chǔ)設(shè)施SDN，因此，交錯的道路是其數(shù)據(jù)平面，其密度和寬度決定了網(wǎng)絡(luò)的流量上限；所有交通燈及其控制系統(tǒng)都是其控制平面，其控制算法的質(zhì)量和部署位置的合理性決定了交通流量的實際容量；各種速度測量點、流量監(jiān)控、臨時交通控制、事故擁堵疏浚等是其管理平面。有了這套基礎(chǔ)設(shè)施，各種用戶可以應(yīng)用各種車輛(相當(dāng)于用戶的應(yīng)用)進(jìn)行運(yùn)輸服務(wù)。

對于不同的平面，可并行性、性能、靈活性、可靠性等屬性通常有很大的不同。對于數(shù)據(jù)平面，突出的需求是性能。通過開發(fā)數(shù)據(jù)級、線程級、任務(wù)級平行度和高度定制的專用計算單元，所有優(yōu)化設(shè)計都是以性能為導(dǎo)向的。對于控制平面，主要要求是通用靈活，方便用戶作為控制數(shù)據(jù)平面的起點。平面管理的功能主要是安全、可靠、易用，便于系統(tǒng)狀態(tài)監(jiān)控和維護(hù)，便于支持自動化運(yùn)行和維護(hù)機(jī)制的實施。

為什么要從這三個平面開始？DPU系統(tǒng)中的角色呢？因為這三個邏輯平面反映了DPU在設(shè)計過程中需要注意的內(nèi)容。有人把DPU對給予的簡單理解CPU減負(fù)，把DPU作為網(wǎng)卡的變種，它只是一個被動設(shè)備DPU它被認(rèn)為是一個簡單的算法硬件載體，以頭腦簡單，四肢發(fā)達(dá)的形象，屬于簡單追求強(qiáng)數(shù)據(jù)平面、弱控制面的設(shè)計。典型的如數(shù)據(jù)加密、圖像轉(zhuǎn)碼專用卡等，AI加速卡等，這是異構(gòu)計算的1.0時代”。

如果重新審視系統(tǒng)功能的載體分布，就會看到DPU事實上，它越來越不像一個簡單的加速器，而是與CPU一個全方位配合的關(guān)鍵組件。傳統(tǒng)的經(jīng)典計算系統(tǒng)，我們稱之為類型I（Type-I）主機(jī)負(fù)責(zé)所有管理、控制和數(shù)據(jù)表面的功能；異構(gòu)計算發(fā)展的第一個牛鼻是加速數(shù)據(jù)密集和計算密集的算法，因此數(shù)據(jù)表面的計算負(fù)載主要卸載，但控制和管理很少涉及，我們稱之為類型II（Type-II）。典型的表征是從Host該計算設(shè)備只能在端部找到，但對于設(shè)備的狀態(tài)，啟動、關(guān)閉、任務(wù)分配等都比較不方便。隨著智能網(wǎng)卡等產(chǎn)品的出現(xiàn)，除了加強(qiáng)設(shè)備端數(shù)據(jù)面的優(yōu)勢外，還出現(xiàn)了完整的控制面功能，我們稱之為類型III（Type- III）。例如ARM管理板卡上的資源采用輕量級操作系統(tǒng)；這也是目前常見的類型。還有最后一類，Type-IV，是DPU承擔(dān)所有數(shù)據(jù)面、控制面和管理面的功能HOST側(cè)反不那么重要，被認(rèn)為是DPU最終形式，即完全以DPU為中心構(gòu)建計算系統(tǒng)。阿里云不久前宣布CIPU（Could Infrastrucutre Procesing Unit）宣稱替代CPU可以說是新一代云計算的核心硬件DPU在舞臺的中心，雖然有很多爭議，但這可能是DPU發(fā)展方向。

再來看看DPU具體能做什么？我們把DPU發(fā)揮作用的場景分為網(wǎng)絡(luò)、存儲、計算和安全四個方向。這四個方向?qū)嶋H上是依賴的。在這張圖中，相鄰的部分代表了一定的依賴；計算部分涉及PaaS內(nèi)容多，網(wǎng)絡(luò)部分偏I(xiàn)aaS層，存儲，安全I(xiàn)aaS和PaaS層多。這個分類圖中覆蓋的場景越多，目前就越多DPU制造商的目標(biāo)。

DPU功能場景

為了實現(xiàn)這一功能，我們可以開發(fā)第二代架構(gòu)DPU體現(xiàn)產(chǎn)品結(jié)構(gòu)。在這個架構(gòu)中，有幾個創(chuàng)新的功能單元，比如NOE，是傳統(tǒng)TOE的升級版；DOE，專門用于加速數(shù)據(jù)查詢，以及DOMS，在管理片上緩存數(shù)據(jù)是一種高效的結(jié)構(gòu)。其它創(chuàng)新結(jié)構(gòu)也包括，F(xiàn)lashNOC電影中的互聯(lián)網(wǎng)技術(shù)也有很多特定的方面IO的DMA單元等。

最后，如果說DPU事實上，發(fā)展的最大驅(qū)動力來自需求方。數(shù)據(jù)中心的架構(gòu)發(fā)展趨勢已經(jīng)從20年前的本地部署集群，到十年前的云資源，再到云原生階段。基礎(chǔ)設(shè)施層變得越來越厚，硬件資源的池化越來越強(qiáng)化，上升為XaaS即一切都可以服務(wù)化。K8S系統(tǒng)成為新的操作系統(tǒng)DevOps開發(fā)、運(yùn)維一體化……在提高生產(chǎn)率的同時，也直接催生了計算能力的需求，尤其是IaaS和PaaS層的計算能力需求——這也是DPU的主戰(zhàn)場。

二、DPU能標(biāo)準(zhǔn)化嗎？

在回答DPU在標(biāo)準(zhǔn)化之前，有必要明確標(biāo)準(zhǔn)化的確切含義，以及為什么要標(biāo)準(zhǔn)化。DPU標(biāo)準(zhǔn)化涉及兩個方面：DPU影響架構(gòu)是否能標(biāo)準(zhǔn)化DPU研發(fā)成本問題；DPU影響應(yīng)用能否標(biāo)準(zhǔn)化DPU應(yīng)用生態(tài)問題。

現(xiàn)在有一種誤解：一般認(rèn)為DPU它是一種特殊的處理器，因為它是特殊的，所以不可避免地使用定制來實現(xiàn)，一旦定制，那么標(biāo)準(zhǔn)化就得出武斷的結(jié)論：DPU沒有工業(yè)價值！

事實上，專業(yè)化、定制化和標(biāo)準(zhǔn)化三個概念之間沒有直接的因果關(guān)系。

專業(yè)化強(qiáng)調(diào)應(yīng)用場景，價值的專業(yè)化取決于需求的剛性。定制是技術(shù)實現(xiàn)的路徑選擇，往往是創(chuàng)新和核心技術(shù)的發(fā)源地。標(biāo)準(zhǔn)化是通過建立或融入工業(yè)生態(tài)，創(chuàng)造規(guī)模效益，降低邊際成本，實現(xiàn)創(chuàng)新技術(shù)的價值實現(xiàn)。

比如，GPU這無疑是一種特殊處理器，因為人們絕對需要圖形圖像的信息交互；GPU光柵操作處理器通過定制實現(xiàn)（ROP）、紋理處理器（TPC）高度定制的功能單元和大規(guī)模的數(shù)據(jù)集同步并行處理技術(shù)都是定制的像素級海量數(shù)據(jù)處理技術(shù)；最后，通過OpenGL，DirectX等圖形操作API，CUDA標(biāo)準(zhǔn)化一般編程框架。因此，專用并不比通用低人一等，定制甚至解決了一些應(yīng)用剛需的技術(shù)選擇。

去年，我們在中國計算機(jī)學(xué)會的通信上發(fā)表了一篇文章《DPU：以數(shù)據(jù)為中心的專用處理器之一反映了幾種處理器的特征分布。從功能導(dǎo)向分為計算密集型 vs. IO密集，從結(jié)構(gòu)設(shè)計劃分為控制和數(shù)據(jù)；從中我們可以看到，目前DPU分布區(qū)確實有一定的空白。簡單來說，當(dāng)其他三個地區(qū)都有很好的產(chǎn)業(yè)化格局時，DPU該地區(qū)不應(yīng)該工業(yè)化。

我們團(tuán)隊在DPU標(biāo)準(zhǔn)化工作也做出了一點貢獻(xiàn)。首先，組織編寫行業(yè)第一本書DPU這本白皮書更全面地描繪了技術(shù)白皮書DPU功能集，以及DPU應(yīng)用場景，出了一個更通用的場景DPU參考模型的設(shè)計。今年，在過去的基礎(chǔ)上，我們組織編寫了第二本技術(shù)白皮書，但重點是DPU參考設(shè)計遷移DPU作為后續(xù)細(xì)分應(yīng)用設(shè)計基準(zhǔn)測試程序的參考。

我認(rèn)為，DPU標(biāo)準(zhǔn)化是一個過程，而不是目的。標(biāo)準(zhǔn)化的過程在很大程度上與市場化相互作用。因此，標(biāo)準(zhǔn)化的目的是市場化，市場化的進(jìn)展將反過來促進(jìn)標(biāo)準(zhǔn)化。

三、DPU工業(yè)化面臨的挑戰(zhàn)

DPU它主要在基礎(chǔ)層和平臺層發(fā)揮作用，這決定了現(xiàn)階段DPU優(yōu)化主要是性能導(dǎo)向。這實際上是一塊特別硬的骨頭。現(xiàn)在有一些DPU設(shè)計過于依賴于一般核的使用。雖然靈活性得到了保證，但客戶往往無法支付性能。性能好，靈活性差，客戶會嘗試；相反，根本沒有機(jī)會。

在這里，我將介紹一個更具個人經(jīng)驗的挑戰(zhàn)——產(chǎn)品適配。DPU需要適應(yīng)不同的CPU平臺，不同的操作系統(tǒng)。適配說起來容易，做起來難，面臨工作量指數(shù)爆炸的適配困境。例如，馭數(shù)DPU中的NOE功能是DPU行業(yè)內(nèi)低延遲性能最好X86上的TCP和UDP的1/2 RTT回環(huán)延遲可達(dá)1.2us甚至更低。要達(dá)到這樣的極致，除了硬件卸載，還需要 YUSUR HADOS 的InstantA NOE SDK 針對不同CPU深度優(yōu)化架構(gòu)。因此，我們正在適應(yīng)鵬鵬CPU OpenEuler 在操作系統(tǒng)時，需要解決和優(yōu)化很多問題ARM架構(gòu)和X86架構(gòu)的差異化，如ARM架構(gòu)上的指令閱讀和寫作混亂的問題最終實現(xiàn)了坤鵬CPU上TCP和UDP的1/2 RTT達(dá)到1.6us行業(yè)領(lǐng)先的低延遲性能。然而，當(dāng)我們認(rèn)為它可以很容易地適應(yīng)坤鵬時CPU 在麒麟操作系統(tǒng)中，出現(xiàn)了許多新的問題，如解決麒麟中斷處理的差異，以及新一輪的性能優(yōu)化。

鑒于此，我們提出了一套編譯、發(fā)布和測試自動多生態(tài)環(huán)境的平臺（ADIP），將適配工作系統(tǒng)分解為兩個四個階段的流水線Host側(cè)軟件適配和DPU側(cè)軟件適配。這個開發(fā)集成平臺已經(jīng)支持了控數(shù)DPU在多個國產(chǎn)CPU和OS目前，適應(yīng)工作仍在快速完善的過程中。雖然我們我們的ADIP流程自動化程度有待提高，但對于流程階段的劃分，可以有效地指導(dǎo)100人的工程師團(tuán)隊合作開發(fā)。

編譯、發(fā)布和測試多生態(tài)環(huán)境自動化系統(tǒng)平臺：HADOS ADIP

以上內(nèi)容僅表明我們正在開發(fā)中DPU在應(yīng)對這一挑戰(zhàn)時，我們分享了我們提出的工程解決方案。其實，DPU還面臨著一些其他挑戰(zhàn)，一些是國內(nèi)集成電路設(shè)計行業(yè)面臨的共同問題，如芯片制造供應(yīng)鏈問題、高水平研發(fā)人員短缺等有DPU這條軌道的特點挑戰(zhàn)，如需求多樣化、需求多樣化和DPU設(shè)計功能不匹配（Mismatch），DPU軟件生態(tài)不成熟等問題，雖然道阻長，但行則即將到來！

四、DPU是否有中國計劃？

DPU是否有適合我們自己的發(fā)展道路或中國計劃？這也是我們一直在思考的問題，但還沒有定論。DPU不分國界DPU工業(yè)化可能仍然需要找到適合中國國情的途徑。

在計算系統(tǒng)的發(fā)展過程中，決定一類產(chǎn)品/技術(shù)商業(yè)化成功的重要因素有三個。第一個是性能，它取決于創(chuàng)新結(jié)構(gòu)、算法發(fā)明、創(chuàng)新技術(shù)采用等。二是生產(chǎn)率三是成本

首先，DPU一方面，性能問題是設(shè)計問題，DPU結(jié)構(gòu)是否優(yōu)秀，功能是否完善；另一方面，問題是DPU芯片制造問題。從我們DPU從設(shè)計的功能和指標(biāo)來看，我們自主研究DPU和已經(jīng)公布的一些DPU與產(chǎn)品相比，可以說是不落后不落后，甚至在一些單一指標(biāo)上領(lǐng)先，如延遲。但是，我們的優(yōu)勢是局部技術(shù)優(yōu)勢，NVIDIA，Marvell所有產(chǎn)品都借鑒了前代相關(guān)產(chǎn)品的功能模塊，結(jié)構(gòu)更加成熟，采用了更加先進(jìn)(如7)nm）從綜合產(chǎn)品實力的角度來看，工藝仍有一定的優(yōu)勢。因此，現(xiàn)在DPU整體格局是典型的西強(qiáng)東弱。

然而，中國目前的計算能力需求是世界上最強(qiáng)勁的。服務(wù)器需求增長率居世界第一。國家層面還包括新基礎(chǔ)設(shè)施中計算基礎(chǔ)設(shè)施的宏大布局、今年2月啟動的東西計算戰(zhàn)略布局、運(yùn)營商開始廣泛投資的計算網(wǎng)絡(luò)建設(shè)等。這不僅為DPU為整個信息技術(shù)和計算技術(shù)的發(fā)展提供了機(jī)遇。中國人擅長摸著石頭過河。我們堅信，甚至相信，期待與全行業(yè)同事合作，探索一套中國計劃，引領(lǐng)DPU這種新技術(shù)的發(fā)展。