中山大學集成電路學院

熱烈祝賀

CONGRATULATION

北京時間4月29日晚，CCFA類國際會議IJCAI 2025公布文章錄用結果。集成電路學院2023級研究生丁心雨同學以第一作者身份完成的兩篇學術論文成功被會議接收，題目分別為《Block Circulant Adapter for Large Language Models》和《Parameter-Efficient Fine-Tuning with Circulant and Diagonal Vectors》。

丁心雨同學的指導老師王中風教授和廖思宇老師（預聘助理教授）是共同作者，廖老師對相關科研工作提供了大力支持，并給出了許多具體的指導意見。

論文一：Block Circulant Adapter for Large Language Models

這篇文章提出了一種基于頻域表征的高效大語言模型適配器微調方法。通過借鑒分塊循環(huán)矩陣的訓練范式，并利用快速傅里葉變換算法將可訓練參數(shù)投影到頻域空間，該方法在保持與當前最先進頻域微調算法相當性能的前提下，實現(xiàn)了計算復雜度和空間復雜度的顯著降低。

研究首次揭示了循環(huán)矩陣在訓練過程中存在的穩(wěn)定性問題，并據(jù)此設計了一種啟發(fā)式訓練策略，實驗驗證了該方法的收斂穩(wěn)定性。在LLAMA2-7B模型上的實驗表明，相較于現(xiàn)有最優(yōu)頻域微調方法，本方法在保持可比微調性能的同時，將浮點運算量降低了兩個數(shù)量級。

圖1： 基于頻域表征的微調示意圖

論文二：Parameter-Efficient Fine-Tuning with Circulant and Diagonal Vectors

此論文提出了一種基于特殊矩陣分解結構的高效微調方法，在保證模型性能的同時顯著降低了計算和存儲開銷?；诂F(xiàn)有矩陣理論中關于稠密矩陣可分解為交錯循環(huán)矩陣與對角矩陣乘積的結論，該研究創(chuàng)新性地將該分解形式應用于模型微調過程，通過靈活調節(jié)分解矩陣數(shù)量來實現(xiàn)訓練參數(shù)量的精確控制。實驗驗證表明，在Roberta-base模型上，該方法僅需傳統(tǒng)LoRA方法約1/6的參數(shù)量即可達到相當?shù)奈⒄{效果。

圖2：基于交錯的循環(huán)矩陣

與對角矩陣微調方法示意圖

結語

SUNMMARY

中山大學集成電路學院成立于2021年春天，它持續(xù)深化融合創(chuàng)新，強化集成電路與人工智能交叉學科建設。近期學院研究生取得了一系列突出的科研成果，彰顯了學院在前沿領域的創(chuàng)新實力。學院始終以服務國家戰(zhàn)略需求為導向，通過構建“理論-設計-工藝-智能微系統(tǒng)集成”全鏈條培養(yǎng)體系，著力提升學生的集成電路分析力、創(chuàng)造力和智能化實踐能力，致力培養(yǎng)具有國際視野、能攻克“卡脖子”難題的領軍人才。