日韩欧美精品一区第二区,国产精品亚洲一区二区毛片

行走在技術的最前沿飛槳的分布式訓練技術到底有多強呢？

2021-04-19 15:56:51 來源：中華網(wǎng)科技

要說誰是近幾年人工智能這條街上最靚的仔，那莫過于深度學習，特別是“大數(shù)據(jù)”、“大模型”、“大算力”不絕于耳。隨著產(chǎn)業(yè)應用對AI模型效果的要求越來越高，數(shù)據(jù)和參數(shù)規(guī)模不斷增長，分布式訓練即使用多臺機器共同完成大數(shù)據(jù)大模型的訓練任務，已經(jīng)成為開發(fā)者們必須關注的技術。

各大深度學習框架也都在分布式訓練上頻頻發(fā)力，秀肌肉顯成效。作為我國首個開源開放、自主研發(fā)、功能完備的產(chǎn)業(yè)級深度學習平臺，飛槳在分布式訓練上保持強勢輸出，不僅具備業(yè)內(nèi)最早支持萬億級稀疏參數(shù)模型訓練的能力，近期又創(chuàng)新性的提出了4D混合并行策略，以訓練千億級稠密參數(shù)模型。

那么，飛槳的分布式訓練技術到底有多強呢？

飛槳的分布式訓練技術在對外提供之前就已經(jīng)在百度內(nèi)部業(yè)務廣泛應用，早在2018年飛槳的純CPU參數(shù)服務器模式，就可以支持萬億參數(shù)規(guī)模模型的訓練，來解決搜索推薦場景面臨的數(shù)據(jù)量大、特征維度高且稀疏化的問題。

隨著模型網(wǎng)絡越來越復雜，對算力要求越來越高，在數(shù)據(jù)量不變的情況下，CPU計算性能差的弱勢便暴露無遺。面對這一問題，飛槳引入了純GPU參數(shù)服務器來提升計算性能，把100臺CPU機器才能訓練的模型只用1臺多卡GPU設備即可完成訓練，不僅節(jié)約了成本，還保障了集群的穩(wěn)定性和擴展性。

此次技術升級之后，飛槳“越戰(zhàn)越勇”。考慮到在純GPU的參數(shù)服務器下，當模型網(wǎng)絡層比較復雜時，GPU 利用率很難被打滿，飛槳框架2.0版又創(chuàng)新性地推出了業(yè)內(nèi)首個通用異構參數(shù)服務器功能，可以同時使用不同的硬件進行混合異構訓練，

兼容了多款CPU、AI專用芯片（如百度昆侖XPU）、GPU（如V100、P40、K40），讓用戶可以在硬件異構集群中部署分布式訓練任務，實現(xiàn)對不同算力芯片高效利用，為用戶提供更高吞吐、更低資源消耗的訓練能力。

飛槳分布式訓練不僅支持參數(shù)服務器模式訓練萬億級稀疏參數(shù)模型，對于NLP 和 CV 這類擁有復雜網(wǎng)絡、稠密參數(shù)特點的模型訓練，也同樣得心應手。其優(yōu)勢在百度“語義理解技術與平臺文心ERNIE”上大有體現(xiàn)，文心ERNIE采用了分布式訓練中的集合通信模式，通過較少節(jié)點間的通信輪數(shù)完成全局節(jié)點的模型參數(shù)傳輸，大大提升通信效率，讓同步并行訓練的多GPU擴展能力得到極大突破。當前飛槳集合通信模式已經(jīng)可以支持文心ERNIE 2300億參數(shù)規(guī)模的訓練，其提出的Sharding-DP策略更是助力文心ERNIE的多項任務分數(shù)刷新GLUE榜單。

文心ERNIE作為百度在各大榜單刷分霸榜，搶占高地的“利器”，其在性能上的優(yōu)勢得益于飛槳的給力支持。文心ERNIE的千億級模型計算復雜，訓練需占用T級顯存資源，想用更少的機器高效訓練，必須采取一系列優(yōu)化措施。飛槳對此創(chuàng)新性地提出了4D混合并行策略，進一步優(yōu)化訓練性能和顯存占比，再次走到了技術的前沿。

4D混合并行策略能夠結合多種并行策略的優(yōu)點，將分布式訓練技術與業(yè)務緊密結合。飛槳研發(fā)人員正是通過模型并行策略、分組參數(shù)切片組合、流水線并行策略和數(shù)據(jù)并行策略的多層疊加，發(fā)揮合力作用，誕生了業(yè)內(nèi)第一個4D混合并行策略。通過測試驗證，如此創(chuàng)新性提出的4D混合并行策略的訓練速度的確高于3D混合并行策略，效果也十分明顯。

自飛槳設計之初就開始潛心研究分布式訓練技術以應對大規(guī)模參數(shù)模型的訓練任務。如今飛槳已經(jīng)開始研究下一代分布式技術，來同時兼容超大規(guī)模稠密參數(shù)和稀疏參數(shù)模型的訓練。

隨著產(chǎn)業(yè)智能化基礎技術底座飛槳輸出應用到各行各業(yè)的實際業(yè)務場景中,在城市、工業(yè)、能源、通信等領域發(fā)揮了重要價值。相信百度還將在技術上不斷創(chuàng)新進步，探索分布式訓練技術等的邊界，擴展AI賦能的領域，為智能化時代的發(fā)展做出貢獻。（辛文）

標簽：飛槳分布式訓練技術