華為加入開(kāi)源大軍,開(kāi)源了首個(gè)大模型。6月30日,華為宣布開(kāi)源盤古70億參數(shù)的稠密模型和720億參數(shù)的混合專家模型(盤古Pro MoE 72B)。此外,基于昇騰的模型推理技術(shù)也同步開(kāi)源。華為表示,此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關(guān)鍵舉措,將推動(dòng)大模型技術(shù)的研究與創(chuàng)新發(fā)展,加速推進(jìn)人工智能在千行百業(yè)的應(yīng)用與價(jià)值創(chuàng)造。據(jù)了解,華為最新開(kāi)源的Pro MoE 72B大模型,在參數(shù)量?jī)H為720億,激活160億參數(shù)量的情況下,通過(guò)動(dòng)態(tài)激活專家網(wǎng)絡(luò)的創(chuàng)新設(shè)計(jì),實(shí)現(xiàn)了以小打...