近日，第15屆 ACM云計算大會（SoCC，ACM Symposium on Cloud Computing）在美國西雅圖微軟全球總部召開。上海交通大學(xué)電子信息與電氣工程學(xué)院自動化系2021級博士研究生隋奕帆關(guān)于無服務(wù)計算的論文“Pre-Warming is Not Enough: Accelerating Serverless Inference With Opportunistic Pre-Loading”獲評SoCC 2024會議最佳論文獎（Best Paper Award），論文通訊作者為自動化系李建勛教授。這是自2010年首屆 SoCC 舉辦以來，中國大陸研究團隊首次獲此殊榮。

研究成果

無服務(wù)計算是一種新型云計算技術(shù)，它讓用戶能夠以按需付費的方式，輕松地擴展他們的機器學(xué)習(xí)應(yīng)用。用戶只需將機器學(xué)習(xí)代碼打包成一個個函數(shù)，這些函數(shù)就可以在云端容器中自動部署和運行。然而，無服務(wù)計算技術(shù)存在一個重要問題，即“冷啟動”問題：每次初始化函數(shù)時都會有一定的延遲。“冷啟動”問題嚴(yán)重阻礙了無服務(wù)計算提供低延遲運算。

為了避免冷啟動，學(xué)術(shù)界和工業(yè)界采用了一種名為“預(yù)熱”的策略，即通過提前讓容器保持活躍狀態(tài)來減少延遲。但是研究發(fā)現(xiàn)，對于機器學(xué)習(xí)推理任務(wù)而言，即使容器已經(jīng)預(yù)熱，加載機器學(xué)習(xí)庫和模型本身還是需要較長時間。

為了徹底解決這個問題，本研究提出了一種名為InstaInfer的技術(shù)。這項技術(shù)可以在容器預(yù)熱的同時，預(yù)先加載所有必要的機器學(xué)習(xí)庫和模型，從而實現(xiàn)幾乎無延遲的啟動。這意味著當(dāng)需要進行機器學(xué)習(xí)推理時，所有的準(zhǔn)備工作已經(jīng)就緒，可以立即開始處理數(shù)據(jù)，大幅提高處理速度。此外，該技術(shù)可以與任意現(xiàn)有預(yù)熱策略兼容，極大擴展了本技術(shù)的應(yīng)用范圍。

在實際測試中，本方法可以使加載時間縮短高達93%，處理速度提高8倍。這一成果顯著提升了無服務(wù)計算環(huán)境中機器學(xué)習(xí)推理任務(wù)的執(zhí)行效率，極大地減少了因冷啟動而導(dǎo)致的延遲。

會議信息

ACM云計算大會（ACM Symposium on Cloud Computing）是云計算領(lǐng)域的頂級會議，代表了當(dāng)前云計算領(lǐng)域在學(xué)術(shù)界、工業(yè)界和開源社區(qū)的最前沿水平。SoCC 會議伴隨著云計算的興起而成立，至今已經(jīng)舉辦到第15屆。該會議每年吸引全球頂級研究機構(gòu)和知名大公司投稿，對系統(tǒng)創(chuàng)新性、完整性和有效性等方面都有著極高要求。本次SoCC大會共有209篇論文投稿，63篇被接收，其中3篇論文獲得最佳論文獎。