6月30日,文心4.5系列模型正式開源,涵蓋激活參數(shù)規(guī)模分別為47B和3B的混合專家(MoE)模型(最大的模型總參數(shù)量為424B),以及0.3B的稠密參數(shù)模型。
在海光信息“深算智能”戰(zhàn)略引領(lǐng)下,海光DCU率先展開文心4.5系列模型的深度技術(shù)合作,基于飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署的適配工作。
文心4.5是百度自主研發(fā)的新一代原生多模態(tài)基礎(chǔ)大模型,通過(guò)多個(gè)模態(tài)聯(lián)合建模實(shí)現(xiàn)協(xié)同優(yōu)化,多模態(tài)理解能力優(yōu)秀;具備更精進(jìn)的語(yǔ)言能力,理解、生成、邏輯、記憶能力全面提升,去幻覺(jué)、邏輯推理、代碼能力顯著提升。
依托GPGPU架構(gòu)的生態(tài)優(yōu)勢(shì),與編程開發(fā)軟件棧DTK的領(lǐng)先特性,海光DCU支撐文心4.5預(yù)訓(xùn)練的模型FLOPs利用率(MFU)達(dá)47%,在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平,充分驗(yàn)證海光DCU高通用性、高兼容度及自主可控的技術(shù)優(yōu)勢(shì)。