人工智能進入黃金時代，正改變各行各業(yè)以及我們的日常生活。
今日隨著人工智能應(yīng)用的普及，稀疏化進入人工智能行業(yè)的主流玩家視野。稀疏化計算能幫助人工智能突破硬件算力極限，有望實現(xiàn)十倍、甚至百倍的人工智能應(yīng)用加速，并大幅降低計算成本。
墨芯人工智能從誕生起，即墨芯是稀疏化計算引領(lǐng)者，致力于提供云端和終端AI計算平臺和服務(wù)。墨芯獨創(chuàng)雙稀疏算法，運用企業(yè)優(yōu)勢，為客戶提供高品質(zhì)AI計算解決方案，攜手共創(chuàng)AI計算未來。為此，墨芯人工智能首席科學家嚴恩勖針對企業(yè)目前的發(fā)展歷程、研究成果、企業(yè)優(yōu)勢、未來發(fā)展等，與集微網(wǎng)分享了他的看法和觀點。以下為訪談內(nèi)容：
在AI報告中，集微網(wǎng)發(fā)現(xiàn)墨芯人工智能在稀疏化計算的商業(yè)進展令人矚目。墨芯是2018年成立的，當時稀疏化應(yīng)該是很小眾的，能和筆者分享一下，墨芯為什么選擇稀疏化這條技術(shù)路徑作為創(chuàng)業(yè)方向嗎？
【嚴恩勖】我之所以對稀疏化這么感興趣，是因為它具有巨大潛力和想象空間。稀疏化計算能夠幫助人工智能突破目前硬件能夠達到的算力極限，給社會帶來的進步是激動人心的。
2008年，我還在念本科研究機器學習的時候，就對稀疏化算法技術(shù)感興趣了。我在卡內(nèi)基梅隆大學讀博士發(fā)表的第一篇論文就是關(guān)于稀疏化，這也成為我博士期間的研究方向。在稀疏化領(lǐng)域，我獨創(chuàng)了雙稀疏算法，堅信它能夠讓AI前沿技術(shù)變成現(xiàn)實，可以解決目前世界上一些嚴峻挑戰(zhàn)。
其實在當時，我們就用稀疏化在CPU上做AI加速了。過去，算法優(yōu)化是最常用的AI加速方法，而稀疏化是算法優(yōu)化中，我用過最好用的加速方案。尤其當AI模型越來越大的時候，稀疏化幾乎是唯一一個可以實現(xiàn)十倍、百倍AI訓練和推理加速的方案。
但如何將技術(shù)從理論變成現(xiàn)實？這是一個難點。雖然我的大部分職業(yè)生涯都在學術(shù)領(lǐng)域，但其實從初中開始，我就想創(chuàng)業(yè)了。初中時候，我就能自學完大學的數(shù)學課程，于是意識到教育資源并不稀缺，我曾想做一個教育平臺幫助更多的人，更自主便捷地獲取他們想要的教育資源，而不用在傳統(tǒng)教育體制中卷來卷去。后來這件事因為我去美國讀博而沒有繼續(xù)。但我個人的熱情在于將學術(shù)和現(xiàn)實相結(jié)合，真的去解決一些現(xiàn)實中的問題，用科技為社會帶來更多的機會和進步。
2018年，我遇到了在卡內(nèi)基梅隆大學的校友，也就是墨芯人工智能的創(chuàng)始人王維先生，他也是我們的CEO。王維先生是擁有15年經(jīng)驗的硅谷數(shù)模混合電路專家，曾任CPU高速鏈路架構(gòu)師。他擁有數(shù)年硅谷半導體創(chuàng)業(yè)經(jīng)驗，曾任Intel、高通核心架構(gòu)師，參與開發(fā)了五代Intel CPU處理器，累計量產(chǎn)超50億片。
最重要的是，王維先生和我都堅信稀疏化是AI計算的未來，于是決定一起創(chuàng)業(yè)，將稀疏化算法升級到計算層面，用我們掌握的技術(shù)，為人工智能帶來一些讓我們驕傲的改變。墨芯現(xiàn)在的核心團隊，無論是首席架構(gòu)師或工程VP等，都有一個共同的信念：“稀疏化一定能夠改變AI的未來”。
集微網(wǎng)了解到墨芯基于Antoum??的首個高稀疏倍率AI計算卡S4即將發(fā)布。能否分享一下在墨芯創(chuàng)業(yè)的過程中，從稀疏算法到稀疏計算，將高倍率稀疏計算卡變成現(xiàn)實，您遇到的困難和挑戰(zhàn)是什么？墨芯是怎么解決的？
【嚴恩勖】墨芯人工智能專注于稀疏化，并將稀疏化從算法升級到計算層面，這樣才能實現(xiàn)高倍率稀疏算法。
當時我們遇到的一個主要挑戰(zhàn)是，要實現(xiàn)高倍率稀疏化計算，CPU和GPU都不是理想的硬件。因為要實現(xiàn)墨芯稀疏化技術(shù)的理想加速效果，現(xiàn)有的硬件必須既要能實現(xiàn)高倍率稀疏化，又要能夠支持大規(guī)模并行計算?，F(xiàn)有GPU的硬件架構(gòu)無法實現(xiàn)高倍率稀疏化，而CPU盡管能支持高倍率稀疏加速，但由于其內(nèi)核數(shù)量的限制無法實現(xiàn)大規(guī)模并行計算，它也不是支持稀疏化計算的最理想的硬件。
為此，我們需要從算法和軟件出發(fā)，設(shè)計相應(yīng)的硬件和架構(gòu)。因此墨芯堅持軟硬協(xié)同開發(fā)，構(gòu)建了持續(xù)多層次優(yōu)化稀疏運算的底層算法能力，架構(gòu)保證可編程性、高度可拓展性及快速迭代能力。墨芯的首個計算卡產(chǎn)品S4就是這些理念的具體體現(xiàn)。
那么，墨芯的稀疏化計算方案可以應(yīng)用于哪些行業(yè)哪些場景？目前取得了哪些進展呢？
【嚴恩勖】墨芯的稀疏化計算產(chǎn)品和解決方案，可廣泛應(yīng)用于互聯(lián)網(wǎng)、運營商、生物醫(yī)藥等數(shù)據(jù)中心人工智能應(yīng)用場景。目前墨芯人工智能首個高倍率稀疏化計算卡S4就是專注于數(shù)據(jù)中心AI推理應(yīng)用。
今年是AI芯片的商業(yè)落地年，可否和我們分享一下，墨芯今年在產(chǎn)業(yè)化上的最新進展？
【嚴恩勖】2021年最后一天，墨芯首個芯片Antoum??成功回片。目前已在多個客戶和生態(tài)合作伙伴測試環(huán)境下跑通多個主流AI模型，性能測試令人滿意。
今年6月13日，墨芯加入浪潮元腦，我們和浪潮一起共建稀疏化生態(tài)。墨芯以領(lǐng)先的稀疏化計算技術(shù)和產(chǎn)品，廣闊的生態(tài)潛能，融合資源與算法，共創(chuàng)全棧AI解決方案，為各行各業(yè)AI應(yīng)用提供強大算力引擎和生態(tài)支撐，為企業(yè)降本增效，并加速產(chǎn)業(yè)的人工智能化進程。
在接下來的時間里，我們還將與大家分享更多的產(chǎn)業(yè)化進展。比如在需要將大模型落地的場景，稀疏化計算具有特別優(yōu)勢。實測數(shù)據(jù)顯示，S4運行主流AI模型ResNet-50和BERT，性能為國際大廠主流 AI推理卡的6倍，功耗僅為后者的一半。
值得注意的是，S4能夠?qū)崿F(xiàn)“單卡推理大模型”，解決目前大模型普遍需要分布式部署，落地難、成本高的痛點。在最近的一次測試中，S4在單卡支持大模型T5-8B時，內(nèi)存占用率僅為7.8%，這也意味著S4具有更多的想象空間，最大可以支持千億參數(shù)級別的大模型。
集微網(wǎng)注意到稀疏化目前已經(jīng)有了一些產(chǎn)業(yè)化應(yīng)用，和其他行業(yè)玩家相比，墨芯稀疏化技術(shù)的核心優(yōu)勢是什么？
【嚴恩勖】總體而言，墨芯的計算解決方案具備高性能、高能效比、高精度和高性價比個優(yōu)勢。在一些對算力和能效比要求特別高、對功耗又非常敏感的應(yīng)用場景中，墨芯的計算方案尤其具有優(yōu)勢。這意味著客戶在不用大幅提高服務(wù)器運維成本的情況下，就能夠獲得大幅性能提升。
具體而言，我們的優(yōu)勢有以下三個：
一是在業(yè)界，我們的解決方案率先支持高倍率稀疏計算，且不影響精度。這意味著墨芯的計算卡能夠突破單卡算力極限，在性能表現(xiàn)上為客戶帶來驚喜；
二是我們對大模型友好，不僅可以單卡支持大模型，為客戶提供高性能的同時，還可以保持低功耗和高精度、高能效比。這在很多場景是非常有競爭力的，如互聯(lián)網(wǎng)和生命科學領(lǐng)域。
三是我們支持大規(guī)模并行計算。根據(jù)目前潛在客戶的反饋，稀疏化計算是極富有競爭力的AI計算解決方案。
我們認為稀疏化計算解決方案的優(yōu)勢是既能夠突破算力極限，又具有良好的通用靈活性，幫助企業(yè)能夠以極低的遷移成本，一鍵式地將稀疏計算功能添加到現(xiàn)有的計算設(shè)施中。
在目前的稀疏化技術(shù)發(fā)展中，有哪些趨勢性的研究方向令您眼前一亮？
【嚴恩勖】谷歌近年來對稀疏化的關(guān)注和研究令人稱道。谷歌人工智能主管Jeff Dean在2021年提出了名為Pathways的通用AI架構(gòu)，判斷稀疏化是下一代AI架構(gòu)的關(guān)鍵詞之一。特別值得注意的是，在谷歌研發(fā)的下一代transformer模型家族中，谷歌去年底發(fā)布的一篇論文中提出的Scaling Transformers尤其印證了墨芯“稀疏化是AI計算的未來”的這一判斷。
谷歌提到，大的transformer模型在許多任務(wù)上表現(xiàn)令人印象深刻，但其訓練甚至微調(diào)都成本高昂。不僅如此，它的解碼速度很慢，不易使用，落地就非常困難。谷歌便想到利用稀疏化來解決這個問題。
谷歌提出的Scaling Transformers，他們認為在目前的硬件設(shè)備條件下，稀疏化是最快的一種方式，可以使得每一個終端都跑得起高性能的大模型。稀疏化技術(shù)的引入，只選擇重要的參數(shù)進行運算，使得擴大后的稀疏模型在保留標準transformer模型精度的前提下，運行速度大幅提升。在這篇論文中，谷歌也使用了其他類型的稀疏化算法技術(shù)來達到這一結(jié)果，谷歌認為稀疏化能與最先進的（AI加速）技術(shù)競爭。
這和我們判斷非常一致。稀疏化計算大有可為，是AI計算的未來。
能否最后和我們分享下，您從科學家的身份到創(chuàng)業(yè)者的身份，遇到的最大的挑戰(zhàn)是什么？最有成就感的事情是什么？
【嚴恩勖】我遇到最大的挑戰(zhàn)是，不同于做學術(shù)、做計算解決方案，不僅需要你在你擅長的領(lǐng)域做到極具競爭力，在其他的地方也需要滿足客戶的需求，并做到足夠優(yōu)秀。最有成就感的事情，就是看到自己研發(fā)的計算解決方案真的能夠在行業(yè)領(lǐng)域得到認可同時在現(xiàn)實中滿足可客戶需求，幫助客戶解決棘手問題，用科技為社會帶來更多的機遇，帶來更快的進步。
