亚洲五月天一区二区三区-日本午夜福利视频在线-日本欧美一区二区不卡免费-日韩深夜视频在线观看

Arm CPU 精準適配阿里 Qwen3 開源模型,實現(xiàn)卓越端側(cè) AI 推理能力

來源:Arm社區(qū) #AI# #阿里巴巴#
6.1w

近日,阿里巴巴開源了新一代通義千問模型 Qwen3,Arm 率先成為首批成功適配該模型的計算平臺廠商。與此同時,Arm 面向人工智能 (AI) 框架開發(fā)者的開源計算內(nèi)核 Arm KleidiAI 與阿里巴巴開源的輕量級深度學(xué)習(xí)框架 MNN 已深度集成。得益于此,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型能夠在搭載 Arm 架構(gòu) CPU 的移動設(shè)備上無縫運行,為用戶提供卓越的端側(cè) AI 推理能力。

作為阿里巴巴最新開源的混合推理模型,Qwen3 在 AIME、LiveCodeBench 等權(quán)威評測集上斬獲了同尺寸開源模型 SOTA。其中,Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等三款模型兼具低功耗和高性能等優(yōu)勢,非常適合在移動端進行部署。

在 AI 模型快速迭代、日新月異的當下,開發(fā)者亟需一個具備可擴展性的通用技術(shù)底座,以便高效利用每一個新模型的優(yōu)勢。作為業(yè)界性能最強、能效最高的計算平臺,Arm 為開發(fā)者提供了無縫優(yōu)化其 AI 工作負載所需的卓越性能、能效、靈活性和可擴展性。Arm CPU 能滿足不斷發(fā)展的 AI 工作負載需求,是開發(fā)者的理想之選,它不僅能在模型推出時迅速實現(xiàn)適配與支持,還能隨著模型的演進,通過 Arm 異構(gòu)計算策略與 GPU、加速器及網(wǎng)絡(luò)技術(shù)的共生協(xié)作,實現(xiàn) AI 系統(tǒng)的最佳優(yōu)化。在此次阿里 Qwen3 模型推出后,運行結(jié)果顯示,Qwen3-0.6B、Qwen3-1.7B 及 Qwen3-4B 三款模型在基于 Arm 架構(gòu) CPU 的移動設(shè)備上,運行和響應(yīng)速度大幅提升,為終端用戶帶來了極致的 AI 推理能力。

雙方圍繞千問大模型持續(xù)緊密合作,今年三月,Arm 與阿里巴巴淘天集團在搭載基于 Arm Cortex-X925 的旗艦移動系統(tǒng)級芯片 (SoC) 的智能設(shè)備上,通過 KleidiAI 與 MNN 的集成,模型預(yù)填充(指 AI 模型在生成響應(yīng)之前先對提示詞輸入進行處理)性能提升了 57%,以及解碼(指處理提示詞后從 AI 模型生成文本的過程)性能提升了 28%。這一性能提升,使得運行在搭載 Arm CPU 上的通義千問 Qwen2-VL-2B-Instruct,其端側(cè)多模態(tài) AI 工作負載的性能顯著增進,帶來全新的用戶體驗!

展望未來,Arm 也將一如既往助力開發(fā)者在端側(cè)設(shè)備上提供更加復(fù)雜的多模態(tài)體驗,為新一輪智能計算浪潮奠定堅實基礎(chǔ),在 AI 的不斷演進中,實現(xiàn)體驗的持續(xù)躍升!



責(zé)編: 愛集微
來源:Arm社區(qū) #AI# #阿里巴巴#
THE END
關(guān)閉
加載

PDF 加載中...