近期，OpenAI開源其首個推理模型 gpt-oss-20b，這是一個思維鏈推理模型，可直接在搭載高通（Qualcomm）旗艦級驍龍?zhí)幚砥鞯腜C設(shè)備上運行。OpenAI的復(fù)雜模型此前一直局限于云端，現(xiàn)在OpenAI首次將其模型開放用于設(shè)備端推理。

通過對該模型的早期測試以及與高通AI Engine和Qualcomm AI Stack的集成優(yōu)化測試，結(jié)果顯示，該擁有200億參數(shù)的模型非常出色，能夠完全在設(shè)備上實現(xiàn)思維鏈推理。

高通表示，這一突破是關(guān)鍵轉(zhuǎn)折點，它預(yù)示著AI的未來發(fā)展方向——屆時即使是功能豐富的AI助手式推理也將在本地運行。隨著AI生態(tài)系統(tǒng)的成熟度不斷提升，合作伙伴和開發(fā)者可以通過驍龍?zhí)幚砥鲗崟r利用OpenAI等領(lǐng)先企業(yè)的開源創(chuàng)新。OpenAI的 gpt-oss-20b將使設(shè)備能夠利用設(shè)備端推理，在隱私和延遲方面提供優(yōu)勢，同時通過AI代理補充云解決方案。

開發(fā)者將能夠通過Hugging Face和Ollama等熱門平臺在搭載驍龍的設(shè)備上訪問該模型并利用其功能，更多部署細(xì)節(jié)即將在Qualcomm AI Hub上發(fā)布。

通過將Ollama的輕量級開源LLM服務(wù)框架與強大的驍龍平臺相結(jié)合，開發(fā)者和企業(yè)可以直接在搭載驍龍計算平臺的設(shè)備上運行 gpt-oss-20b，并運行網(wǎng)頁搜索和其他一些開箱即用的默認(rèn)功能。用戶還可以探索Ollama上的Turbo模式，探索該模型的更多功能。

未來幾年，隨著移動內(nèi)存占用的不斷增長以及軟件堆棧的效率不斷提高，設(shè)備端AI能力有望快速提升，從而為私密、低延遲、個性化的代理體驗打開大門。（校對/李梅）