今日，DeepSeek今日于AI開(kāi)源社區(qū)Hugging Face上發(fā)布了一個(gè)名為DeepSeek-Prover-V2-671B的新模型。據(jù)悉，DeepSeek-Prover-V2-671B使用了更高效的safetensors文件格式，并支持多種計(jì)算精度，方便模型更快、更省資源地訓(xùn)練和部署，參數(shù)達(dá)6710億，或?yàn)槿ツ臧l(fā)布的Prover-V1.5數(shù)學(xué)模型升級(jí)版本。
在模型架構(gòu)上，該模型使用了DeepSeek-V3架構(gòu)，采用MoE（混合專家）模式，具有61層Transformer層，7168維隱藏層。同時(shí)支持超長(zhǎng)上下文，最大位置嵌入達(dá)16.38萬(wàn)，使其能處理復(fù)雜的數(shù)學(xué)證明，并且采用了FP8量化，可通過(guò)量化技術(shù)減小模型大小，提高推理效率。
*此內(nèi)容為集微網(wǎng)原創(chuàng)，著作權(quán)歸集微網(wǎng)所有，愛(ài)集微，愛(ài)原創(chuàng)
微信：zyqjordan23
郵箱：zhangyq@ijiwei.com
集微網(wǎng)記者，關(guān)注IC產(chǎn)業(yè)，深度報(bào)道、企業(yè)報(bào)道
大摩：2050年全球人形機(jī)器人產(chǎn)值將達(dá)5萬(wàn)億美元，成本降至1.5萬(wàn)美元是關(guān)鍵轉(zhuǎn)折點(diǎn)
53分鐘前
宇樹(shù)科技CEO王興興：智能機(jī)器人技術(shù)重心在于完成端到端大模型
1小時(shí)前
全球首個(gè)氮化鎵量子光源芯片發(fā)布，有望在2026年實(shí)現(xiàn)多場(chǎng)景技術(shù)驗(yàn)證
1小時(shí)前
美四大科技巨頭呼吁放開(kāi)AI出口管制
2小時(shí)前
三星供應(yīng)商Solus Advanced Materials將出售OLED材料部門
2小時(shí)前
中科海光發(fā)布旗艦C86-5G處理器：128核512線程，性能飆升
2小時(shí)前
PDF 加載中...
评论
文明上网理性发言，请遵守新闻评论服务协议
登录参与评论
0/1000