人工智能將徹底改變處理器芯片研究
—大模型研討課的總結(jié)
陳云霽（處理器芯片全國重點(diǎn)實(shí)驗(yàn)室主任）
從2024年10月31日至2025年1月2日，我組織處理器芯片全國重點(diǎn)實(shí)驗(yàn)室的一批優(yōu)秀青年科研人員，舉辦了十期大模型研討課。由處理器芯片全國重點(diǎn)實(shí)驗(yàn)室來講授人工智能的前沿技術(shù)大模型，聽起來好像是少林和尚來教武當(dāng)太極拳，有點(diǎn)怪。但我認(rèn)為，辦大模型研討課，對(duì)于處理器芯片全國重點(diǎn)實(shí)驗(yàn)室來說，是極其必要的。
誠然，已經(jīng)有越來越多的芯片研究者開始關(guān)注人工智能。但總的來說，大部分芯片研究者是把人工智能僅僅當(dāng)作芯片在科學(xué)計(jì)算、事務(wù)處理、數(shù)據(jù)庫之外的又一個(gè)應(yīng)用負(fù)載。然而，人工智能對(duì)于處理器芯片發(fā)展的意義遠(yuǎn)遠(yuǎn)不止于此。人工智能正在催生科學(xué)研究的新范式，也必將徹底改變處理器芯片的發(fā)展。尤其是在大模型出現(xiàn)后，諾貝爾獎(jiǎng)得主G. Hinton說：“有時(shí)我認(rèn)為這（人工智能）就像外星人登陸了，而人們還沒有意識(shí)到。[1]”所以，我希望通過這次研討課，能讓實(shí)驗(yàn)室的老師和同學(xué)們更多地了解人工智能最前沿的大模型，更早地感受大模型即將帶來的時(shí)代變革。這對(duì)于一個(gè)代表中國參與處理器芯片國際科技競爭的全國重點(diǎn)實(shí)驗(yàn)室來說，極其重要。
非常欣慰的是，這次的大模型研討課取得了很好的效果，吸引了上千名參與者。參與者中不僅有我們實(shí)驗(yàn)室各個(gè)課題組的老師同學(xué)，還有中科院軟件所、中科院自動(dòng)化所、清華、北大、字節(jié)跳動(dòng)、騰訊等機(jī)構(gòu)的同行。這一方面說明講課的青年科研人員們很優(yōu)秀。他們不僅有一線的大模型實(shí)戰(zhàn)經(jīng)驗(yàn)，也有科學(xué)史的宏大時(shí)空觀，因此能將大模型從基礎(chǔ)理論到前沿技術(shù)，從模型設(shè)計(jì)到實(shí)際應(yīng)用，層層遞進(jìn)、系統(tǒng)性地呈現(xiàn)給大家，使得課程內(nèi)容豐富且深入。我自己在出差的旅途中，也經(jīng)常會(huì)在B站上觀看課程的錄像[2]，每次觀看都有新的收獲（包括對(duì)DeepSeek進(jìn)展最初的了解）。另一方面也說明來聽課的老師和同學(xué)很有前瞻眼光，敏銳地意識(shí)到了人工智能和大模型給處理器芯片帶來的新機(jī)遇，愿意主動(dòng)學(xué)習(xí)，擁抱變化。這種前瞻眼光，是搶占智能時(shí)代處理器芯片科技制高點(diǎn)的寶貴憑借。
PART ONE
人工智能正在改變科學(xué)研究的范式
科學(xué)研究的范式是指科研共同體廣泛采用的科研模式。在人類開展科學(xué)研究的漫長歷程中，最本質(zhì)性的變革莫過于范式變革。范式的變革必定會(huì)催生大量具體的重大科研成果，甚至推動(dòng)生產(chǎn)力和生產(chǎn)關(guān)系的巨變。按照李國杰院士在《智能化科研（AI4R）：第五科研范式》[3]一文中的歸納，在已有的四大科研范式（實(shí)驗(yàn)、理論、計(jì)算和數(shù)據(jù)）的基礎(chǔ)上，第五范式——智能化科研正在出現(xiàn)。
圖1. 科學(xué)研究的五大范式
從某種意義上講，第五范式的出現(xiàn)可能是科學(xué)史上最大的一次變革：科學(xué)研究不再以人為單一中心，而是以人-機(jī)為雙中心。機(jī)器不再僅僅是人類科研的輔助工具，而是與人類形成了一種緊密協(xié)作的關(guān)系（或許類似于人類起導(dǎo)師的作用，機(jī)器起研究生的作用）：人類負(fù)責(zé)提出科學(xué)問題、設(shè)定研究方向，機(jī)器提供建議；機(jī)器閱讀文獻(xiàn)、制定實(shí)驗(yàn)方案，人類進(jìn)行修正和調(diào)整；具體實(shí)驗(yàn)的過程通過具身智能體來完成，人類給予指導(dǎo)；人類提出數(shù)據(jù)分析的大致思路，機(jī)器具體完成海量數(shù)據(jù)中的規(guī)律挖掘；人類編制論文的提綱，機(jī)器完成具體寫作。
近來，孫凝暉院士提出了人-機(jī)雙中心科研的OOHV流程。該流程是觀察（Observe）、模擬（Orient）、猜想（Hypothesis）和實(shí)驗(yàn)（Verify）四個(gè)步驟的循環(huán)。每個(gè)步驟都可以在人類的指導(dǎo)下由人工智能來具體實(shí)施。這種人機(jī)協(xié)作不僅提升了科研效率，還拓展了科學(xué)研究的邊界，使人類能夠探索更復(fù)雜、更宏大、更交叉的科學(xué)問題。
當(dāng)然，人-機(jī)雙中心科研范式還沒有在所有學(xué)科完全形成和全面應(yīng)用。在某些環(huán)節(jié)，機(jī)器已經(jīng)發(fā)揮了重要作用（如模擬）；而在另一些環(huán)節(jié)，機(jī)器還未起到?jīng)Q定性作用（如在實(shí)體空間中做實(shí)驗(yàn)）。但即便如此，人工智能的部分賦能已經(jīng)取得了非常顯著的成效。據(jù)統(tǒng)計(jì)，2022年數(shù)學(xué)、物理和工程科學(xué)等領(lǐng)域的論文中，人工智能的滲透率已達(dá)到12.4%-15.3%[4]。
最為典型的例子當(dāng)屬 AlphaFold[5]。它基于深度學(xué)習(xí)算法，能夠高精度預(yù)測超過100萬個(gè)物種的2.14億個(gè)蛋白質(zhì)結(jié)構(gòu)，解決了困擾結(jié)構(gòu)生物學(xué)50年的難題。它讓科研人員從繁瑣的結(jié)構(gòu)預(yù)測工作中解放出來，將更多精力投入到對(duì)生物學(xué)機(jī)制的深入理解和創(chuàng)新研究上。因此，AlphaFold獲得2024年諾貝爾化學(xué)獎(jiǎng)，可以說是實(shí)至名歸。
AlphaFold不是孤例。在物理學(xué)領(lǐng)域，DeepMind和瑞士等離子體中心合作提出將強(qiáng)化學(xué)習(xí)用于優(yōu)化托卡馬克內(nèi)部的核聚變等離子體控制[6]；在天文學(xué)領(lǐng)域，人工智能已經(jīng)應(yīng)用在海量天文觀測數(shù)據(jù)處理中，幫助人類發(fā)現(xiàn)新的天體和宇宙現(xiàn)象[7]；在材料科學(xué)領(lǐng)域，人工智能已經(jīng)應(yīng)用在模擬和預(yù)測新型材料的性質(zhì)中[8]。這些實(shí)例表明，人-機(jī)雙中心的新范式正推動(dòng)科學(xué)研究走向新的高度。因此，李國杰院士指出：“科研的智能化是一場科技上的革命。它帶來的機(jī)遇和挑戰(zhàn)將決定未來20年，中國在科技發(fā)展上是與國際先進(jìn)水平拉大差距還是迎頭趕上?！?/p>
PART TWO
處理器芯片研究尤其適合人工智能的介入
處理器芯片的研究屬于高技術(shù)研究，相較數(shù)理化天地生等傳統(tǒng)自然科學(xué)研究，一方面同屬廣義科學(xué)研究的一部分，另一方面又有很大不同。傳統(tǒng)自然科學(xué)更注重發(fā)現(xiàn)新原理、新機(jī)制和新規(guī)律，而高技術(shù)研究更強(qiáng)調(diào)發(fā)明新方案、新工具和新產(chǎn)品。這種特殊性使得處理器芯片研究尤其適合人工智能的介入[9]。
處理器芯片研究要發(fā)現(xiàn)的目標(biāo)非常明確清晰，就是要在工藝、成本、能耗等約束下，設(shè)計(jì)出速度盡可能高、應(yīng)用盡可能廣的芯片。其核心問題就是如何在龐大的高維空間中，找到精確滿足復(fù)雜約束條件的最優(yōu)解（或近似最優(yōu)解）。通過機(jī)器學(xué)習(xí)方法，人工智能可以構(gòu)建模型去自動(dòng)探索不同的芯片架構(gòu)、電路設(shè)計(jì)和工藝參數(shù)，快速篩選出速度最高的參數(shù)組合，從而顯著提升設(shè)計(jì)效率和質(zhì)量。處理器芯片研究領(lǐng)域豐富的數(shù)據(jù)資源（包括體系結(jié)構(gòu)文檔、邏輯設(shè)計(jì)代碼、物理設(shè)計(jì)代碼、性能測試結(jié)果等）又為機(jī)器學(xué)習(xí)模型的訓(xùn)練提供了高質(zhì)量的數(shù)據(jù)支撐。
尤其值得指出的是，對(duì)處理器芯片研究的核心問題——如何在龐大的高維空間中搜索最優(yōu)解，人工智能具備超越人類的潛力。人類大腦通常只能清晰分析由少數(shù)變量和公式組成的系統(tǒng)，難以直接搜索高維空間的理論最優(yōu)解。因此傳統(tǒng)芯片研究以人為中心，只能將高維空間分層分解為若干低維子問題，并在分解過程中基于人類直覺或者先驗(yàn)知識(shí)來降維和剪枝。例如，先將C語言級(jí)別的體系結(jié)構(gòu)描述轉(zhuǎn)換為RTL級(jí)的邏輯設(shè)計(jì)，再將RTL級(jí)的邏輯設(shè)計(jì)轉(zhuǎn)換為基于布爾邏輯的網(wǎng)表，最后將網(wǎng)表轉(zhuǎn)換為CMOS電路。
傳統(tǒng)人為中心的芯片研究通過分層降維簡化問題，不可避免地會(huì)扼殺許多潛在的優(yōu)化機(jī)會(huì)，犧牲了全局最優(yōu)性，使我們不可能觸及芯片的理論最優(yōu)解（“芯片之神”）。而人工智能技術(shù)可以在此展現(xiàn)出獨(dú)特優(yōu)勢，突破人類經(jīng)驗(yàn)局限，在海量晶體管組成的高維設(shè)計(jì)中捕捉人類難以察覺的優(yōu)化路徑。
這就好像在AlphaGo[10]出現(xiàn)之前，人類只能根據(jù)直覺和定勢去搜索圍棋中的“妙手”；但AlphaGo出現(xiàn)之后，我們才知道人類搜索出來的“妙手”距離人工智能水平相差有多遠(yuǎn)。AlphaGo甚至為我們打開了一扇全新的大門，使得我們終于有機(jī)會(huì)去一窺圍棋的理論最優(yōu)（“圍棋之神”）。
PART THREE
基于大模型的處理器芯片研究
大模型是人工智能近七十年發(fā)展的最高成就，也是通向通用人工智能最具潛力的方向。因此，將大模型技術(shù)引入處理器芯片研究，是第五科研范式帶來的一次徹底的革命。這場革命不僅體現(xiàn)在設(shè)計(jì)效率的顯著提升，更在于它重新定義了芯片創(chuàng)新路徑——通過構(gòu)建覆蓋算法、架構(gòu)、電路到基礎(chǔ)軟件的人工智能自動(dòng)設(shè)計(jì)體系，芯片設(shè)計(jì)得以突破傳統(tǒng)人力密集型模式的限制，實(shí)現(xiàn)需求理解、架構(gòu)探索、代碼生成的全流程自動(dòng)化。這將改變處理器芯片國際學(xué)術(shù)界的基本游戲規(guī)則。
更重要的是，這場革命對(duì)我國處理器芯片產(chǎn)業(yè)將帶來前所未有的機(jī)遇。目前我國處理器芯片產(chǎn)業(yè)主要面臨工藝、資源、生態(tài)三重壁壘的限制，而大模型等人工智能技術(shù)，可能會(huì)成為“破壁者”。面對(duì)工藝壁壘，人工智能可以通過搜索和生成高質(zhì)量的芯片架構(gòu)和電路實(shí)現(xiàn)，實(shí)現(xiàn)超越工藝代際的性能補(bǔ)償。面對(duì)資源壁壘，人工智能替代人來設(shè)計(jì)處理器芯片，大幅降低人力和財(cái)力資源投入。面對(duì)生態(tài)壁壘，大模型通過實(shí)現(xiàn)跨指令集的程序自動(dòng)轉(zhuǎn)譯甚至支持自然語言編程，打破指令集為核心建立起來的壁壘。
然而，處理器芯片研究所需要的大模型，絕不是“參謀將軍”性質(zhì)的常規(guī)大語言模型。僅僅能夠回答一些處理器芯片相關(guān)的知識(shí)性問題，或?yàn)檠芯空咛峁┠＠鈨煽傻慕ㄗh，對(duì)學(xué)科和產(chǎn)業(yè)的發(fā)展意義有限。真正有價(jià)值的大模型，應(yīng)能夠從人類模糊、二義甚至不完整的需求規(guī)范出發(fā)，端到端地生成處理器芯片及其配套基礎(chǔ)軟件（包括操作系統(tǒng)、編譯器和庫）的代碼。
這顯然是一個(gè)極具挑戰(zhàn)的任務(wù)。從實(shí)用角度看，處理器芯片的代碼數(shù)通常以十萬行計(jì)，而其功能正確性要求必須無限逼近100%，因?yàn)榧词钩鲥e(cuò)概率僅為十億分之一，對(duì)于一個(gè)1GHz主頻的單發(fā)射處理器芯片來說，每秒鐘仍可能出錯(cuò)一次，這是絕對(duì)不可接受的。
由于硬件對(duì)規(guī)模和正確性的要求極高，處理器芯片大模型所面臨的挑戰(zhàn)，遠(yuǎn)比當(dāng)前軟件開發(fā)常用的Copilot[11]嚴(yán)峻得多。畢竟，軟件開發(fā)者對(duì)Copilot要求的僅僅是以90%以上的正確率生成100行左右的代碼。為此，處理器芯片全國重點(diǎn)實(shí)驗(yàn)室正在組織隊(duì)伍開展攻關(guān)，力爭取得突破。
PART FOUR
處理器芯片全國重點(diǎn)實(shí)驗(yàn)室的工作
作為全國首批20家標(biāo)桿全國重點(diǎn)實(shí)驗(yàn)室之一，處理器芯片全國重點(diǎn)實(shí)驗(yàn)室（以下簡稱“實(shí)驗(yàn)室”）依托中國科學(xué)院計(jì)算技術(shù)研究所，是我國處理器芯片基礎(chǔ)研究的“龍頭”、“領(lǐng)頭”和“源頭”。實(shí)驗(yàn)室長期從事人工智能和處理器芯片的交叉研究，前期不僅研制了國際上首個(gè)深度學(xué)習(xí)處理器芯片寒武紀(jì)1號(hào)，也在國際上首次實(shí)現(xiàn)了完全由人工智能自動(dòng)設(shè)計(jì)的通用處理器芯片啟蒙1號(hào)。
在上述交叉研究過程中，我們發(fā)現(xiàn)，實(shí)現(xiàn)處理器芯片大模型不能僅依賴主流的連接主義的技術(shù)路線，而是需要融合連接主義大模型的可擴(kuò)展性、符號(hào)主義形式化方法的精確性、行為主義反饋控制理論的收斂性等多種技術(shù)路線，取長補(bǔ)短，從而構(gòu)建處理器芯片自動(dòng)設(shè)計(jì)的技術(shù)體系。
基于人工智能奠基人Simon和Newell在1957年提出的“生成器-測試（Generator-Test）”通用問題求解框架[12]，我們提出了一種處理器芯片自動(dòng)設(shè)計(jì)新范式：即通過自動(dòng)驗(yàn)證、自動(dòng)生成與自動(dòng)修復(fù)組成的反饋控制過程。在這一過程中，基于連接主義的大模型生成器負(fù)責(zé)生成盡可能滿足設(shè)計(jì)需求的軟硬件設(shè)計(jì)，基于符號(hào)主義的形式化驗(yàn)證器檢查設(shè)計(jì)是否完全符合需求規(guī)范；若未能100%滿足需求，行為主義控制反饋器則驅(qū)動(dòng)生成器進(jìn)行調(diào)試與修復(fù)，進(jìn)入下一輪的“生成-驗(yàn)證-反饋”迭代。通過不斷地反饋迭代，逐步修正大模型生成的解，最終在龐大高維空間中找到精確滿足復(fù)雜約束的最優(yōu)解。
需要指出的是，上述新的芯片自動(dòng)設(shè)計(jì)體系，并不代表著人類的知識(shí)沒有價(jià)值。例如，整個(gè)自動(dòng)設(shè)計(jì)循環(huán)的最好的起點(diǎn)應(yīng)當(dāng)是人類前期設(shè)計(jì)的高質(zhì)量開源處理器芯片，因?yàn)閷?duì)超高維空間搜索問題，起點(diǎn)的質(zhì)量對(duì)于最終找到的解的質(zhì)量有著巨大的影響。在循環(huán)過程中，人類經(jīng)驗(yàn)對(duì)于加速循環(huán)的收斂迭代，也會(huì)起到重要的作用。
基于上述芯片自動(dòng)設(shè)計(jì)體系，實(shí)驗(yàn)室構(gòu)建了貫穿計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的垂直創(chuàng)新鏈條，全面覆蓋從底層硬件到上層軟件的四個(gè)關(guān)鍵層次（處理器芯片、操作系統(tǒng)、編譯器和高性能庫）的自動(dòng)設(shè)計(jì)。
圖3. 計(jì)算機(jī)系統(tǒng)四個(gè)關(guān)鍵層次自動(dòng)設(shè)計(jì)的成果
1
自動(dòng)生成處理器設(shè)計(jì)
我們提出了基于二元推測圖（BSD）的自動(dòng)電路設(shè)計(jì)基礎(chǔ)模型，并成功實(shí)現(xiàn)了國際首個(gè)人工智能全自動(dòng)設(shè)計(jì)的RISC-V處理器“啟蒙1號(hào)”，和首個(gè)自動(dòng)設(shè)計(jì)的超標(biāo)量處理器“啟蒙2號(hào)”。該工作發(fā)表于IJCAI2024[13]，被Nature新聞評(píng)價(jià)為“對(duì)中國芯片的好消息”[14]。
2
自動(dòng)生成優(yōu)化的操作系統(tǒng)配置
我們和中科院軟件所合作，提出了基于大模型的操作系統(tǒng)內(nèi)核配置自動(dòng)優(yōu)化方法，通過“觀察-剪枝-提議-執(zhí)行-糾錯(cuò)”的反饋回路，大幅縮減搜索空間，僅需一天即可生成優(yōu)化配置，性能最高提升25.6%，超越硬件廠商的手工優(yōu)化水平。該工作發(fā)表于ICML2024[15]。
3
自動(dòng)生成芯片配套的編譯工具鏈
我們提出利用大語言模型直接構(gòu)建端到端編譯器的技術(shù)路線，通過程序的文法信息引導(dǎo)大模型思維鏈，并結(jié)合編譯器領(lǐng)域知識(shí)，構(gòu)建了專用大模型，成功完成了AnsiBench、CoreMark等真實(shí)代碼編譯驗(yàn)證。初步的成果發(fā)表在EMNLP2024[16]。
4
自動(dòng)生成特定算法的高性能程序代碼
我們提出了全球首個(gè)基于大模型的高性能矩陣乘法代碼自動(dòng)生成框架。該框架在RISC-V平臺(tái)上的性能達(dá)到OpenBLAS的211%，在NVIDIA平臺(tái)上的性能達(dá)到cuBLAS的115%，顯著提升了生成代碼的性能與開發(fā)效率。該工作發(fā)表于AAAI2025[17]。
PART FIVE
總結(jié)
目前，以大模型為代表的人工智能在處理器芯片設(shè)計(jì)中的應(yīng)用已取得初步成果，但在性能、功耗和面積等多目標(biāo)之間實(shí)現(xiàn)更優(yōu)的平衡，仍需依賴人類專家的干預(yù)和優(yōu)化。
處理器芯片全國重點(diǎn)實(shí)驗(yàn)室開設(shè)大模型研討課，就是希望培養(yǎng)人工智能和處理器芯片交叉研究的“破壁者”。假以時(shí)日，破壁者將使人工智能在無人類干預(yù)的情況下，實(shí)現(xiàn)處理器芯片乃至整個(gè)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)全自主設(shè)計(jì)與優(yōu)化：人類提出高層次目標(biāo)（如“設(shè)計(jì)一款能高效支持DeepSeek大模型的RISC-V處理器”），人工智能就可以在人類積累的先驗(yàn)知識(shí)基礎(chǔ)之上，完成芯片、編譯器、操作系統(tǒng)、高性能庫的設(shè)計(jì)工作，并能自動(dòng)建立評(píng)估、糾錯(cuò)、優(yōu)化的完整閉環(huán)不斷優(yōu)化。最終，人工智能設(shè)計(jì)的芯片將超越人類頂尖設(shè)計(jì)師設(shè)計(jì)的芯片。對(duì)于結(jié)構(gòu)復(fù)雜、組件繁多的通用CPU來說，人工智能的超越可能不是一蹴而就的事情；但是對(duì)領(lǐng)域?qū)Ｓ玫腘PU和GPU，我相信人工智能的超越將會(huì)在不那么遙遠(yuǎn)的未來。
致謝：感謝處理器芯片全國重點(diǎn)實(shí)驗(yàn)室學(xué)術(shù)委員會(huì)主任孫凝暉院士對(duì)本文的指導(dǎo)。感謝高云凱、郭崎、張蕊、承書堯、文淵博、趙家程、李玲等同志對(duì)本文編寫提供的幫助。
附：大模型研討課內(nèi)容
01
第一期：大模型概述與基礎(chǔ)結(jié)構(gòu)
趙永威從宏觀角度回顧了大模型的發(fā)展歷程，強(qiáng)調(diào)了大模型對(duì)計(jì)算機(jī)科學(xué)研究范式的深遠(yuǎn)影響，尤其是在自然語言處理（NLP）領(lǐng)域的創(chuàng)新性突破。
張蕊從技術(shù)層面詳細(xì)講解了大模型的基本結(jié)構(gòu)原理，重點(diǎn)介紹了Transformer架構(gòu)的核心設(shè)計(jì)及其在模型訓(xùn)練中的優(yōu)勢，為后續(xù)課程奠定了理論基礎(chǔ)。
02
第二期：Transformer架構(gòu)深入解析
張蕊進(jìn)一步深入探討了Transformer架構(gòu)的三種流派（編碼器-解碼器、僅編碼器、僅解碼器），分析了不同流派的結(jié)構(gòu)特點(diǎn)及其適用場景，特別是僅解碼器架構(gòu)成為主流的原因。她還結(jié)合實(shí)際案例，講解了大模型結(jié)構(gòu)設(shè)計(jì)中的難點(diǎn)，為后續(xù)課程的技術(shù)深入打下了堅(jiān)實(shí)基礎(chǔ)。
03
第三期：預(yù)訓(xùn)練與后訓(xùn)練
黃迪圍繞大模型的訓(xùn)練流程，詳細(xì)介紹了預(yù)訓(xùn)練的基礎(chǔ)知識(shí)、尺度定律（Scaling Law）以及大模型在規(guī)模增長中表現(xiàn)出的涌現(xiàn)現(xiàn)象。他還講解了后訓(xùn)練中的指令微調(diào)技術(shù)，特別是如何通過微調(diào)使模型更貼近實(shí)際應(yīng)用需求，為參與者理解大模型的訓(xùn)練過程提供了清晰的框架。
04
第四期：強(qiáng)化學(xué)習(xí)在大模型中的應(yīng)用
郭家明系統(tǒng)回顧了大模型的訓(xùn)練流程，并重點(diǎn)介紹了強(qiáng)化學(xué)習(xí)在后訓(xùn)練和微調(diào)中的應(yīng)用。他詳細(xì)講解了人類偏好強(qiáng)化學(xué)習(xí)（RLHF）和AI反饋強(qiáng)化學(xué)習(xí)（RLAIF），以及自提升技術(shù)（如自對(duì)弈微調(diào)SPIN和自獎(jiǎng)勵(lì)機(jī)制），為大模型在缺乏人工反饋時(shí)的自主優(yōu)化提供了創(chuàng)新思路。
05
第五期：大模型的推理機(jī)制
藍(lán)思明圍繞大語言模型的推理過程，深入講解了解碼策略（如貪心搜索、束搜索、采樣和對(duì)比解碼）以及提示詞設(shè)計(jì)的重要性。他還介紹了上下文學(xué)習(xí)（ICL）和思維鏈推理（CoT）等技術(shù)，展示了如何通過優(yōu)化推理機(jī)制提升大模型的實(shí)際應(yīng)用性能。
06
第六期：長上下文推理與智能體
彭少輝探討了長上下文推理的重要性，并介紹了提升長上下文推理能力的三種方法：位置外推、位置內(nèi)插和提示壓縮。他還深入講解了大語言模型在智能體領(lǐng)域的應(yīng)用，特別是ReAct框架如何結(jié)合內(nèi)部推理與外部反饋，實(shí)現(xiàn)復(fù)雜任務(wù)的協(xié)同處理。
07
第七期：大模型變體
嚴(yán)彥陽介紹了混合專家模型（MoE）和視覺大模型。他詳細(xì)講解了混合專家模型的設(shè)計(jì)理念及其在多任務(wù)學(xué)習(xí)中的優(yōu)勢，并深入探討了基于Transformer架構(gòu)的視覺大模型和基于擴(kuò)散模型的生成式模型，展示了這些模型在圖像生成和編輯任務(wù)中的卓越表現(xiàn)。
08
第八期：多模態(tài)大模型
張子豪聚焦于多模態(tài)大模型，特別是視覺-語言模型（VLM）。他詳細(xì)介紹了對(duì)比學(xué)習(xí)的基本原理及其在模型訓(xùn)練中的應(yīng)用，并回顧了ALBEF、Flamingo、BLIP、LLaVA等前沿模型的設(shè)計(jì)思路與應(yīng)用場景。此外，他還探討了3D視覺技術(shù)的最新進(jìn)展，特別是神經(jīng)輻射場（NeRF）和文生三維技術(shù)（DreamFusion）的突破。
09
第九期：大模型系統(tǒng)軟件
文淵博從系統(tǒng)軟件的角度，深入講解了大模型訓(xùn)練和推理的優(yōu)化技術(shù)。他介紹了分布式訓(xùn)練策略（如數(shù)據(jù)并行）和計(jì)算效率優(yōu)化方法（如FlashAttention），并詳細(xì)分析了大模型推理中的鍵值緩存（KV Cache）優(yōu)化和訪存帶寬瓶頸問題，為參與者提供了對(duì)底層技術(shù)的深刻理解。
10
第十期：大模型的典型應(yīng)用
黃迪圍繞代碼大模型，回顧了代碼生成技術(shù)的發(fā)展歷程，并詳細(xì)講解了如何根據(jù)模型能力與代碼數(shù)據(jù)規(guī)模進(jìn)行微調(diào)，以實(shí)現(xiàn)智能化程序編寫。
高云凱以具身智能為主題，介紹了大模型的分層架構(gòu)與端到端架構(gòu)的研究進(jìn)展，展示了具身智能在機(jī)器人控制和交互任務(wù)中的應(yīng)用潛力。
感謝大家對(duì)處理器芯片全國重點(diǎn)實(shí)驗(yàn)室大模型研討課的關(guān)注和支持！誠邀您掃描下方二維碼，填寫調(diào)查問卷，提出您寶貴的意見！
引言：
[1]MIT Technology Review: Geoffrey Hinton tells us why he’s now scared of the tech he helped build.
https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/
[2]https://space.bilibili.com/494117284/lists/4188342?type=season
[3]李國杰. 智能化科研（AI4R）：第五科研范式[J]. 中國科學(xué)院院刊, 2024,39(1):1-9.
[4]Hajkowicz S, Naughtin C, Sanderson C, et al. Artificial intelligence for science–Adoption trends and future development pathways[J]. 2022
[5]Jumper J, Evans R, Pritzel A, et al. Highly accurate protein structure prediction with AlphaFold[J]. nature, 2021, 596(7873): 583-589
[6]Degrave J, Felici F, Buchli J, et al. Magnetic control of tokamak plasmas through deep reinforcement learning[J]. Nature, 2022, 602(7897): 414-419
[7]Fluke C J, Jacobs C. Surveying the reach and maturity of machine learning and artificial intelligence in astronomy[J]. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 2020, 10(2): e1349
[8]Szymanski N J, Rendy B, Fei Y, et al. An autonomous laboratory for the accelerated synthesis of novel materials[J]. Nature, 2023, 624(7990): 86-91
[9]陳云霽, 郭崎. AI for Technology：技術(shù)智能在高技術(shù)領(lǐng)域的應(yīng)用實(shí)踐與未來展望[J]. 中國科學(xué)院院刊, 2024,39(1):34-40.
[10]Silver D, Huang A, Maddison C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. nature, 2016, 529(7587): 484-489
[11]Chen M, Tworek J, Jun H, et al. Evaluating large language models trained on code[J]. arXiv preprint arXiv:2107.03374, 2021
[12]Simon H. & Newell A. Human problem solving. Prentice-Hall, 1972
[13]Cheng S, Jin P, Guo Q, et al. Automated CPU design by learning from input-output examples[C]//Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence. 2024: 3843-3853.
[14]https://www.nature.com/articles/d41586-024-01292-1
[15]Chen H, Wen Y, Cheng L, et al. AutoOS: Make Your OS More Powerful by Exploiting Large Language Models[C]//Forty-first International Conference on Machine Learning.
[16]Zhang S, Zhao J, Xia C, et al. Introducing Compiler Semantics into Large Language Models as Programming Language Translators: A Case Study of C to x86 Assembly[C]//Findings of the Association for Computational Linguistics: EMNLP 2024. 2024: 996-1011.
[17]Zhou Q, Wen Y, Chen R, et al. QiMeng-GEMM: Automatically Generating High-Performance Matrix Multiplication Code by Exploiting Large Language Models[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2025
處理器芯片全國重點(diǎn)實(shí)驗(yàn)室依托中國科學(xué)院計(jì)算技術(shù)研究所，是中國科學(xué)院批準(zhǔn)正式啟動(dòng)建設(shè)的首批重點(diǎn)實(shí)驗(yàn)室之一，并被科技部遴選為首批 20個(gè)標(biāo)桿全國重點(diǎn)實(shí)驗(yàn)室，2022年5月開始建設(shè)。實(shí)驗(yàn)室學(xué)術(shù)委員會(huì)主任為孫凝暉院士，實(shí)驗(yàn)室主任為陳云霽研究員。實(shí)驗(yàn)室近年來獲得了處理器芯片領(lǐng)域首個(gè)國家自然科學(xué)獎(jiǎng)等6項(xiàng)國家級(jí)科技獎(jiǎng)勵(lì)；在處理器芯片領(lǐng)域國際頂級(jí)會(huì)議發(fā)表論文的數(shù)量長期列居中國第一；在國際上成功開創(chuàng)了深度學(xué)習(xí)處理器等熱門研究方向；直接或間接孵化了總市值數(shù)千億元的國產(chǎn)處理器產(chǎn)業(yè)頭部企業(yè)。
