近日,科大訊飛在接受機(jī)構(gòu)調(diào)研時表示,訓(xùn)練成本是訊飛星火大模型的競爭優(yōu)勢,單次訓(xùn)練成本和DeepSeek V3在一個層次,而且后面優(yōu)化路徑也很明確,目前以昇騰910B為代表的國產(chǎn)硬件還不支持FP8精度訓(xùn)練以及DualPipe的實現(xiàn),隨著國產(chǎn)算力在底層能力上進(jìn)一步提升,訊飛星火的訓(xùn)練成本還有較大的下降空間。
基于此前在評語模型、強(qiáng)化學(xué)習(xí)方面的積累,科大訊飛在2024年10月就實現(xiàn)了蒙特卡洛樹搜索(MCTS)等算法創(chuàng)新并跑通了深度推理模型訓(xùn)練算法,因為只能使用國產(chǎn)算力,額外花費2個月完成華為昇騰910B算力的適配和優(yōu)化并大幅提升訓(xùn)練效率(訓(xùn)練效率相比A100從55%提升到85%),于今年1月15日完成了星火深度推理模型X1的訓(xùn)練和發(fā)布。
雖然當(dāng)前X1模型很?。▋H130億參數(shù)),但依靠科大訊飛算法和數(shù)據(jù)優(yōu)勢,星火X1已達(dá)到可以和OpenAI o1-preview對標(biāo)的水平;科大訊飛表示,隨著國產(chǎn)算力的逐步到位,模型參數(shù)增加后,公司完全有信心實現(xiàn)數(shù)學(xué)答題和過程思維鏈能力全面對標(biāo)甚至超過OpenAI o1。