7月6日-8日,由上海交通大學(xué)安泰經(jīng)濟(jì)與管理學(xué)院主辦、上海財(cái)經(jīng)大學(xué)信息管理與工程學(xué)院協(xié)辦的首屆智能計(jì)算與決策研討會(huì)在上海舉辦。上海市有關(guān)部門領(lǐng)導(dǎo)、上海交通大學(xué)領(lǐng)導(dǎo)、國(guó)內(nèi)外專家學(xué)者和高校師生等匯聚一堂,共同探討了智能計(jì)算領(lǐng)域的最新前沿和發(fā)展趨勢(shì)。
7月7日上午,研討會(huì)開幕式暨上海交通大學(xué)智能計(jì)算研究院揭牌成立儀式舉行。上海市委組織部部務(wù)委員、市人才局副局長(zhǎng)譚樸珍,上海市經(jīng)濟(jì)和信息化委員會(huì)副主任張宏韜,上海市人才局規(guī)劃研究處副處長(zhǎng)吳能武,斯坦福大學(xué)講席教授、上海交通大學(xué)訪問(wèn)講席教授葉蔭宇,耶魯大學(xué)教授、美國(guó)藝術(shù)與科學(xué)學(xué)院院士陳曉紅,北京大學(xué)講席教授、歐洲科學(xué)院外籍院士鄧小鐵,紐約大學(xué)斯特恩商學(xué)院Andre Meyer冠名終身教授陳溪,普林斯頓大學(xué)電子計(jì)算機(jī)工程系終身副教授王夢(mèng)迪,上海交通大學(xué)校長(zhǎng)、中國(guó)科學(xué)院院士丁奎嶺,校務(wù)委員會(huì)專職副主任顧鋒,文科建設(shè)處處長(zhǎng)吳文鋒,安泰經(jīng)濟(jì)與管理學(xué)院院長(zhǎng)陳方若,黨委書記姜文寧,副院長(zhǎng)、中銀科技金融學(xué)院執(zhí)行院長(zhǎng)劉少軒,黨委副書記郭非,副院長(zhǎng)朱慶華,特聘教授、智能計(jì)算研究院院長(zhǎng)葛冬冬,特聘教授何斯邁,國(guó)內(nèi)外專家學(xué)者和高校師生等出席開幕式。
譚樸珍在致辭中表示,人工智能要實(shí)現(xiàn)跨越發(fā)展,關(guān)鍵在人才。上海始終將發(fā)展人工智能作為優(yōu)先戰(zhàn)略,通過(guò)舉辦世界人工智能大會(huì)、實(shí)施積極和開放的人才政策,瞄準(zhǔn)高價(jià)值科技工作,助力全球人工智能人才聚集發(fā)展。他指出,智能計(jì)算研究院是上海交通大學(xué)深化人工智能領(lǐng)域研究、吸引集聚高層次人才的重要載體,期待研究院加快建成世界一流智能優(yōu)化算法研究中心和產(chǎn)學(xué)研示范基地,為上海人工智能產(chǎn)業(yè)發(fā)展和人才集聚提供強(qiáng)有力支撐。他表示,市委組織部、市人才工作局將一如既往支持人工智能領(lǐng)域人才經(jīng)濟(jì)融合發(fā)展,為廣大優(yōu)秀人才提供全方位的貼心服務(wù)和高品質(zhì)的發(fā)展環(huán)境。
顧鋒代表上海交通大學(xué)致辭。他介紹了學(xué)?!叭瞬艔?qiáng)?!敝鲬?zhàn)略,希望通過(guò)打造智能計(jì)算研究院這一平臺(tái)聚集優(yōu)化算法領(lǐng)域的領(lǐng)袖級(jí)學(xué)者和青年才俊,充分發(fā)揮在人工智能領(lǐng)域具有的學(xué)科、人才和區(qū)位優(yōu)勢(shì),更好地服務(wù)對(duì)接國(guó)家戰(zhàn)略需求和上海三大先導(dǎo)產(chǎn)業(yè)發(fā)展任務(wù)。他希望智能計(jì)算研究院一一是心懷“國(guó)之大者”,繼續(xù)攻堅(jiān)克難,為實(shí)現(xiàn)我國(guó)在人工智能領(lǐng)域的高水平科技自立自強(qiáng)做出更大貢獻(xiàn);二是加強(qiáng)資源整合,積極與兄弟學(xué)院和機(jī)構(gòu)開展合作,加強(qiáng)向基礎(chǔ)研究機(jī)構(gòu)汲取力量,主動(dòng)服務(wù)不同學(xué)科的交叉研究,高效利用各類資源;三是促進(jìn)國(guó)際交流,保持和發(fā)揚(yáng)研究院開放合作的研究態(tài)勢(shì),擴(kuò)大國(guó)際科技交流合作,為我國(guó)構(gòu)建形成具有全球競(jìng)爭(zhēng)力的開放創(chuàng)新生態(tài)貢獻(xiàn)力量。
陳方若代表上海交通大學(xué)安泰經(jīng)濟(jì)與管理學(xué)院致辭。他強(qiáng)調(diào)了大數(shù)據(jù)、人工智能作為第四次工業(yè)革命的核心,對(duì)社會(huì)和經(jīng)濟(jì)產(chǎn)生了深遠(yuǎn)的影響。他表示,生產(chǎn)力特別是新質(zhì)生產(chǎn)力的概念中不只有技術(shù)、也應(yīng)有管理,只有兩者結(jié)合,才能發(fā)揮更大作用。他強(qiáng)調(diào),人工智能是學(xué)校重要的發(fā)展方向之一,希望智能計(jì)算研究院加強(qiáng)和人工智能學(xué)院等單位的深度合作,推動(dòng)取得更多研究成果。此外,他介紹了學(xué)院“縱橫交錯(cuò)、知行合一”的發(fā)展戰(zhàn)略,表示將持續(xù)服務(wù)國(guó)家重大戰(zhàn)略,積極做出自身貢獻(xiàn),爭(zhēng)取早日實(shí)現(xiàn)成為一所扎根中國(guó)的世界級(jí)商學(xué)院建設(shè)愿景。
葉蔭宇作主題為“Classical Mathematical Optimization Methods Could Help AI Training”的演講。他指出,隨著大語(yǔ)言模型(LLMs)的不斷發(fā)展,快速微調(diào)模型以適應(yīng)不同任務(wù)成為亟待解決的問(wèn)題。盡管常用的Adam算法表現(xiàn)良好,但其需要占用大量?jī)?nèi)存和顯卡資源。受坐標(biāo)下降法啟發(fā)提出的BAdam算法,在保持性能的同時(shí)可以顯著降低內(nèi)存使用,使得在單枚消費(fèi)級(jí)GPU上微調(diào)大模型成為可能。此外,一種僅使用少量學(xué)習(xí)率參數(shù)進(jìn)行預(yù)處理的Adam-mini算法,可以減少50%的內(nèi)存使用和33%的模型訓(xùn)練時(shí)間,特別適用于降低預(yù)訓(xùn)練(pre-training)任務(wù)的資源消耗。這些新算法在提升大模型訓(xùn)練效率和資源利用率方面展現(xiàn)出巨大的潛力。
陳曉紅作主題為“STEEL: Singularity-aware Reinforcement Learning”的演講。她指出,在離線強(qiáng)化學(xué)習(xí)中,離線數(shù)據(jù)集生成過(guò)程和目標(biāo)策略之間的分布可能存在顯著差異,特別是在狀態(tài)和動(dòng)作空間連續(xù)的情況下。提出的算法STEEL在貝爾曼完備性和分布魯棒性假設(shè)下,通過(guò)最小化Bellman誤差,利用最大均值差異(MMD)來(lái)控制奇異性。數(shù)值試驗(yàn)表現(xiàn)證明了該算法在實(shí)際數(shù)據(jù)和模擬環(huán)境中的優(yōu)異性能,并提供了有限樣本遺憾保證,證明了STEEL算法在應(yīng)對(duì)離線強(qiáng)化學(xué)習(xí)分布失配問(wèn)題中的有效性。
陳溪作主題為“Proof of Learning via Incentive-Security”的演講。他表示,隨著深度學(xué)習(xí)的發(fā)展,模型和參數(shù)的規(guī)模不斷擴(kuò)大,分布式訓(xùn)練成為必要的解決方案。與此同時(shí),確保模型分布式訓(xùn)練過(guò)程的公平性和可信度變得越來(lái)越重要。學(xué)習(xí)證明(Proof-of-Learning)通過(guò)激勵(lì)機(jī)制和安全措施,隨機(jī)選擇和驗(yàn)證訓(xùn)練過(guò)程中的某些階段,防止作弊行為的發(fā)生。為了確保驗(yàn)證者的誠(chéng)實(shí)行為,這一方法引入了“捕捉旗幟”(Capture-the-Flag)的概念,即在訓(xùn)練過(guò)程中設(shè)置隨機(jī)標(biāo)志,并激勵(lì)驗(yàn)證者去尋找這些標(biāo)志,從而提升驗(yàn)證的效率和安全性。
王夢(mèng)迪作主題為“大模型時(shí)代——控制與智能”的演講。她表示,隨著大語(yǔ)言模型的發(fā)展,確保AI系統(tǒng)的可控性成為關(guān)鍵問(wèn)題?;谌祟惙答伒膹?qiáng)化學(xué)習(xí)(RLHF)雖然可以對(duì)齊大模型但面臨著獎(jiǎng)勵(lì)黑客等問(wèn)題。雙層強(qiáng)化學(xué)習(xí)算法通過(guò)同時(shí)對(duì)齊數(shù)據(jù)分布和策略,實(shí)現(xiàn)了63%的性能提升。Maxmin-RLHF和SPAC等方法則通過(guò)多目標(biāo)對(duì)齊和自我對(duì)抗機(jī)制,顯著提升了模型的泛化能力和推理速度。此外,生成式AI通過(guò)預(yù)訓(xùn)練大數(shù)據(jù)和梯度引導(dǎo)直接生成新目標(biāo)函數(shù)的最優(yōu)解,在高維復(fù)雜優(yōu)化問(wèn)題上展現(xiàn)了巨大的潛力??煽卮竽P褪菍?shí)現(xiàn)通用人工智能(AGI)的關(guān)鍵,對(duì)未來(lái)AI發(fā)展具有重要意義。
開幕式上,上海交通大學(xué)智能計(jì)算研究院正式揭牌成立。丁奎嶺和葉蔭宇共同為研究院揭牌,譚樸珍、顧鋒、吳能武、陳方若、姜文寧、劉少軒、郭非、朱慶華、葛冬冬、何斯邁等共同見證。隨后,丁奎嶺向葛冬冬頒發(fā)研究院院長(zhǎng)聘書。上海交通大學(xué)智能計(jì)算研究院應(yīng)時(shí)代發(fā)展所需成立,掛靠安泰經(jīng)濟(jì)與管理學(xué)院建設(shè),以推動(dòng)我國(guó)關(guān)鍵工業(yè)軟件、管理軟件國(guó)產(chǎn)化、類CUDA庫(kù)函數(shù)生態(tài)建設(shè)和為國(guó)家重大項(xiàng)目智能計(jì)算提供全國(guó)產(chǎn)化的技術(shù)替代方案為目標(biāo),旨在培養(yǎng)頂尖智能計(jì)算人才,推動(dòng)智能計(jì)算技術(shù)的發(fā)展與應(yīng)用。
葛冬冬作任職表態(tài)發(fā)言。他首先代表研究院,對(duì)上海市、上海交通大學(xué)、安泰經(jīng)濟(jì)與管理學(xué)院等各級(jí)領(lǐng)導(dǎo)對(duì)研究院成立給予的關(guān)心、支持和幫助表示感謝,同時(shí)對(duì)從全球各地趕來(lái)參會(huì)的專家和師生表示崇高的敬意,并表態(tài)將充分利用研究院和研討會(huì)的平臺(tái),在決策與優(yōu)化的基石性工具和優(yōu)化算法的建設(shè)方面,努力把團(tuán)隊(duì)發(fā)展成為引領(lǐng)智能計(jì)算領(lǐng)域發(fā)展的風(fēng)向標(biāo)。此外,他特別表達(dá)了對(duì)導(dǎo)師葉蔭宇幾十年如一日專注科研事業(yè)、關(guān)心培養(yǎng)年輕力量的感恩和崇敬之情。最后,他希望本次論壇能夠通過(guò)思維火花的碰撞,產(chǎn)出有效的科研成果,產(chǎn)生真正的學(xué)術(shù)影響力。
開幕式由吳文鋒、朱慶華共同主持。
7月7日下午的主題研討會(huì)由何斯邁主持。北卡羅來(lái)納大學(xué)教堂山分校助理教授陳冠廷、弗羅里達(dá)大學(xué)副教授劉泓成、中國(guó)人民大學(xué)副教授祁琦、康奈爾大學(xué)助理教授朱睿豪、英屬哥倫比亞大學(xué)助理教授巴聞嘉、佐治亞理工學(xué)院助理教授朱明西等先后作主旨演講。
7月8日全天的主題研討會(huì)由葛冬冬主持。香港中文大學(xué)(深圳)教授王子卓、英屬哥倫比亞大學(xué)副教授Christopher Thomas Ryan、倫敦大學(xué)學(xué)院助理教授張孟珍鈺、紐約大學(xué)助理教授付潤(rùn)姍、香港城市大學(xué)助理教授李夢(mèng)龍、英屬哥倫比亞大學(xué)助理教授李佳錦、新加坡國(guó)立大學(xué)助理教授馮一凡、上海交通大學(xué)副教授鄧琪、副教授劉慧康、北京大學(xué)助理教授李彤陽(yáng)、上海財(cái)經(jīng)大學(xué)助理教授郭加熠等先后作主旨演講。
在上海交通大學(xué)安泰經(jīng)濟(jì)與管理學(xué)院紀(jì)念管理學(xué)院恢復(fù)建院40周年之際,首屆智能計(jì)算與決策研討會(huì)的舉行和上海交通大學(xué)智能計(jì)算研究院的成立,標(biāo)志著學(xué)院在加強(qiáng)經(jīng)管理論與人工智能、大數(shù)據(jù)等數(shù)字技術(shù)的連接方面又邁出了堅(jiān)實(shí)的一步。研究院將以智能計(jì)算賦能數(shù)字轉(zhuǎn)型,聚安泰智慧開啟嶄新篇章,努力實(shí)現(xiàn)在優(yōu)化算法的研究和應(yīng)用方面取得突破性進(jìn)展,并力爭(zhēng)在2030年左右建成世界一流的智能優(yōu)化算法研究中心和產(chǎn)學(xué)研示范基地,助力學(xué)院建設(shè)成為扎根中國(guó)的世界級(jí)商學(xué)院,助力上海建設(shè)智能計(jì)算領(lǐng)域的領(lǐng)頭羊和人工智能的國(guó)際高地。
來(lái)源:上海交通大學(xué)