亚洲五月天一区二区三区-日本午夜福利视频在线-日本欧美一区二区不卡免费-日韩深夜视频在线观看

文心4.5系列模型開源:多模態(tài)協(xié)同優(yōu)化與海光DCU技術(shù)適配

來(lái)源:愛(ài)集微 #海光DCU#
1642

6月30日,文心4.5系列模型正式開源,涵蓋激活參數(shù)規(guī)模分別為47B和3B的混合專家(MoE)模型(最大的模型總參數(shù)量為424B),以及0.3B的稠密參數(shù)模型。

在海光信息“深算智能”戰(zhàn)略引領(lǐng)下,海光DCU率先展開文心4.5系列模型的深度技術(shù)合作,基于飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署的適配工作。

文心4.5是百度自主研發(fā)的新一代原生多模態(tài)基礎(chǔ)大模型,通過(guò)多個(gè)模態(tài)聯(lián)合建模實(shí)現(xiàn)協(xié)同優(yōu)化,多模態(tài)理解能力優(yōu)秀;具備更精進(jìn)的語(yǔ)言能力,理解、生成、邏輯、記憶能力全面提升,去幻覺(jué)、邏輯推理、代碼能力顯著提升。

依托GPGPU架構(gòu)的生態(tài)優(yōu)勢(shì),與編程開發(fā)軟件棧DTK的領(lǐng)先特性,海光DCU支撐文心4.5預(yù)訓(xùn)練的模型FLOPs利用率(MFU)達(dá)47%,在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平,充分驗(yàn)證海光DCU高通用性、高兼容度及自主可控的技術(shù)優(yōu)勢(shì)。

責(zé)編: 鄧文標(biāo)
來(lái)源:愛(ài)集微 #海光DCU#
THE END

*此內(nèi)容為集微網(wǎng)原創(chuàng),著作權(quán)歸集微網(wǎng)所有,愛(ài)集微,愛(ài)原創(chuàng)

愛(ài)集微

微信:

郵箱:laoyaoba@gmail.com


11.2w文章總數(shù)
12012.5w總瀏覽量
最新資訊
關(guān)閉
加載

PDF 加載中...