稀疏化 AI芯力量墨芯S4計(jì)算卡性能表現(xiàn)亮眼，獲最具投資價(jià)值獎

作者：慕容素娟 2022-07-16

來源：愛集微 #墨芯# #集微峰會#

4.7w

2022年7月15日，墨芯人工智能參展廈門半導(dǎo)體峰會，首席科學(xué)家嚴(yán)恩勖發(fā)表演講，展示墨芯如何用稀疏化推動AI計(jì)算前沿和最新的產(chǎn)業(yè)進(jìn)展。16日墨芯獲評“最具投資價(jià)值獎”。

上圖：墨芯聯(lián)合創(chuàng)始人兼工程VP蘆勇代表墨芯領(lǐng)獎

中圖：國家大基金總裁丁文武與蘆勇臺上合影

下圖：中國“芯力量”｜“最具投資價(jià)值獎”獎杯

集微峰會被譽(yù)為“半導(dǎo)體業(yè)風(fēng)向標(biāo)”，設(shè)特色“芯力量”展區(qū)和EDA展區(qū)。墨芯位于“芯力量”展區(qū)核心位置——76號展臺。

墨芯作為稀疏化計(jì)算引領(lǐng)者，致力于提供云端和終端AI計(jì)算平臺和服務(wù)，打造軟硬協(xié)同的新一代智能計(jì)算平臺。團(tuán)隊(duì)攜首個(gè)芯片Antoum?和人工智能推理計(jì)算卡S4參展。

墨芯人工智能S4計(jì)算卡基于墨芯首顆芯片Antoum?，是全球首款高達(dá)32倍稀疏率的AI計(jì)算卡。S4專注于數(shù)據(jù)中心AI推理應(yīng)用，可廣泛應(yīng)用于互聯(lián)網(wǎng)、運(yùn)營商、金融、制造、醫(yī)療、交通、能源、生物醫(yī)藥等眾多AI推理場景。S4在第三方浪潮服務(wù)器上，運(yùn)行多個(gè)主流AI模型，實(shí)測性能是國際大廠主流AI推理卡T4的6倍。近年來新興的NLP模型——T5，曾被稱為“全新NLP SOTA預(yù)訓(xùn)練模型”，以其高參數(shù)量，讓許多計(jì)算卡“望而卻步”。S4在單機(jī)單卡環(huán)境下就能運(yùn)行T5-8B模型，算力穩(wěn)定在190 SPS左右。

值得注意的是，S4運(yùn)行T5時(shí)內(nèi)存占比只有約7.8%，讓人對它能夠支持的模型參數(shù)具有很大想象空間。相較于當(dāng)前國際大廠主流推理卡單卡只能支持百億參數(shù)級別的模型，S4計(jì)算卡可以支持千億參數(shù)級別的模型。

S4不僅運(yùn)行大模型性能測試表現(xiàn)優(yōu)秀，運(yùn)行其他經(jīng)典AI模型，如圖像分類識別模型ResNet-50、自然語言處理領(lǐng)軍模型BERT的性能數(shù)據(jù)也很亮眼。

下圖為S4運(yùn)行BERT模型在單機(jī)單卡環(huán)境，不影響精度的前提下，性能達(dá)13213 SPS，為國際大廠主流AI推理卡的6倍以上，功耗僅為后者一半。

基于創(chuàng)新稀疏化計(jì)算技術(shù)的AI推理計(jì)算卡S4的亮眼性能吸引業(yè)內(nèi)人士紛紛前來咨詢。

峰會首日的另一亮點(diǎn)來自于業(yè)內(nèi)領(lǐng)先公司的現(xiàn)場演講。

墨芯人工智能首席科學(xué)家嚴(yán)恩勖發(fā)表了《AI步入大模型時(shí)代，稀疏化是AI計(jì)算的未來》演講。

自2018年BERT大模型問世以來，AI進(jìn)入大模型時(shí)代。目前大模型的熱門方向包括NLP、CV、多模態(tài)等，目前以GPT-3、Switch Transformer為代表的大模型已經(jīng)進(jìn)入商業(yè)化部署。尤其是多模態(tài)AI大模型推動AI從弱人工智能向通用人工智能演進(jìn)。

但是大模型由于參數(shù)量巨大，對算力的需求前所未有，而現(xiàn)有的硬件算力升級效率放緩，以至于很難滿足大模型的算力需求。而墨芯作為稀疏化計(jì)算的引領(lǐng)者，試圖用稀疏化計(jì)算平臺來解決這個(gè)算力瓶頸。不僅如此，還能解決大模型帶來的高能耗、高成本的問題。

稀疏化計(jì)算是指在原有AI計(jì)算的大量矩陣運(yùn)算中，將無效元素剔除，讓神經(jīng)網(wǎng)絡(luò)模型消減冗余，以顯著加快計(jì)算速度，降低計(jì)算成本。稀疏化計(jì)算解決方案具有四個(gè)核心價(jià)值：高算力，低功耗，高精度，高性價(jià)比。

稀疏化如何做到？嚴(yán)恩勖總結(jié)為以下2點(diǎn)：

1、軟硬協(xié)同設(shè)計(jì)：業(yè)界大部分的公司要么是側(cè)重硬件公司，要么是側(cè)重軟件算法公司，業(yè)界要么是選擇配合現(xiàn)有的硬件設(shè)計(jì)一些次優(yōu)化的算法，或者是配合當(dāng)前算法設(shè)計(jì)一些次優(yōu)化的硬件，這些都無法帶來數(shù)量級算力提升。墨芯采用軟硬協(xié)同設(shè)計(jì)，因?yàn)槲ㄓ羞@樣，才能提高數(shù)量級算力提升。

2、獨(dú)創(chuàng)稀疏化算法：雙稀疏算法是指神經(jīng)網(wǎng)絡(luò)的權(quán)重稀疏化+激活稀疏化。使用雙稀疏化允許開發(fā)人員在使用相同的內(nèi)存、計(jì)算量和能耗的條件下，處理更大的矩陣乘積。雙稀疏化算法具有高算力、低功耗、高能效比等優(yōu)點(diǎn)。