2022年7月5日，墨芯人工智能首次發(fā)布SparseOne?? S100在浪潮服務(wù)器中的測(cè)試數(shù)據(jù)， S100是全球首個(gè)高稀疏率AI計(jì)算卡，運(yùn)行多個(gè)AI主流模型，性能表現(xiàn)為國(guó)際大廠(chǎng)主流AI推理卡的6倍。更重要的是，它不僅性能優(yōu)秀，能效比、功耗和精度同樣能給業(yè)界帶來(lái)驚喜，并具有良好的通用性。
墨芯人工智能是稀疏化計(jì)算的全球引領(lǐng)者，以稀疏化算法為核心，打造云端和終端AI計(jì)算加速方案，可廣泛應(yīng)用于數(shù)據(jù)中心、互聯(lián)網(wǎng)、運(yùn)營(yíng)商、生命科學(xué)等場(chǎng)景，推動(dòng)稀疏化計(jì)算生態(tài)建設(shè)。浪潮是墨芯人工智能的戰(zhàn)略投資者和生態(tài)合作伙伴。
S100單卡力挑T5-8B
可支持千億級(jí)別大模型
該報(bào)告在以下測(cè)試環(huán)境中進(jìn)行，測(cè)試結(jié)果僅對(duì)被測(cè)系統(tǒng)當(dāng)時(shí)的狀態(tài)有效。
測(cè)試環(huán)境
報(bào)告中的實(shí)測(cè)數(shù)據(jù)顯示，與國(guó)際大廠(chǎng)主流AI推理卡對(duì)比，S100運(yùn)行多個(gè)AI主流模型如T5、BERT和ResNet-50，性能為后者6倍。
值得注意的是，這是墨芯首次披露S100運(yùn)行能夠?qū)崿F(xiàn)單卡推理大模型，突破單卡難以滿(mǎn)足高算力需求的瓶頸，有效解決業(yè)界對(duì)大模型，普遍采取多機(jī)多卡分布式的方式，完成推理所帶來(lái)的時(shí)間長(zhǎng)、功耗高、成本高等問(wèn)題。
近年來(lái)新興的NLP模型——T5，曾被稱(chēng)為“全新NLP SOTA預(yù)訓(xùn)練模型”，以其高參數(shù)量，讓許多計(jì)算卡“望而卻步”。但在本次測(cè)試中，S100在單機(jī)單卡環(huán)境下就能運(yùn)行T5-8B模型，算力高達(dá)141.8 SPS。
除了高算力的優(yōu)勢(shì)，相較于當(dāng)前國(guó)際大廠(chǎng)主流推理卡單卡只能支持百億參數(shù)級(jí)別的模型，墨芯S100可以支持千億參數(shù)級(jí)別的模型。
S100不僅運(yùn)行大模型性能測(cè)試表現(xiàn)優(yōu)秀，運(yùn)行其他經(jīng)典AI模型，如自然語(yǔ)言處理領(lǐng)軍模型BERT、圖像分類(lèi)識(shí)別模型ResNet-50的性能數(shù)據(jù)也很亮眼，為國(guó)際大廠(chǎng)主流AI推理卡的6倍以上。
S100運(yùn)行BERT模型，SST-2數(shù)據(jù)集，在單機(jī)單卡環(huán)境下，不影響精度的前提下，性能達(dá)12176 SPS。
S100運(yùn)行ResNet-50模型，ImageNet數(shù)據(jù)集，在單機(jī)單卡環(huán)境下，不影響精度的前提下，性能達(dá)28260 FPS。
在主頻800 MHz的測(cè)試環(huán)境中，S100運(yùn)行ResNet-50模型時(shí)算力達(dá)33197 FPS。浪潮內(nèi)測(cè)主頻為700 MHz。
所有測(cè)試均是在實(shí)際環(huán)境中，意味著S100計(jì)算卡能夠直接投入實(shí)際場(chǎng)景的使用，“實(shí)戰(zhàn)能力”超群，擁有極高的應(yīng)用價(jià)值。這意味著，S100不僅能夠提供高性能，還能同時(shí)滿(mǎn)足高能效比、低功耗和高精度，為企業(yè)大幅降低部署成本和運(yùn)維成本。
稀疏化計(jì)算:不止于快
S100超高性能的秘密武器是稀疏化計(jì)算。簡(jiǎn)單來(lái)說(shuō)，稀疏化的原理是指，在AI矩陣運(yùn)算中，將無(wú)效元素剔除，極大加快計(jì)算速度，降低計(jì)算成本。它在需要海量數(shù)據(jù)處理的AI加速計(jì)算中優(yōu)勢(shì)尤為突出，能在提供高性能的同時(shí)，為企業(yè)提供高能效比、高精度和低功耗，為企業(yè)降本增效。
2021年8月，谷歌人工智能主管Jeff Dean在一次TED演講中表示，稀疏化是下一代AI架構(gòu)中最重要的趨勢(shì)之一。他認(rèn)為當(dāng)前模型密集且效率低下，而谷歌的研發(fā)方向會(huì)把模型變得稀疏而高效。
如果說(shuō)谷歌現(xiàn)在是稀疏化算法的推動(dòng)者、稀疏化架構(gòu)的倡導(dǎo)者，那么墨芯已是稀疏化產(chǎn)業(yè)實(shí)踐者。早在2018年，墨芯即致力于稀疏計(jì)算的4產(chǎn)業(yè)化進(jìn)程，采用軟硬協(xié)同的設(shè)計(jì)創(chuàng)新方法，將稀疏化算法升級(jí)到計(jì)算層面，實(shí)現(xiàn)高性能和高能效。
現(xiàn)在，根據(jù)潛在客戶(hù)的反饋，稀疏化計(jì)算成為極富有競(jìng)爭(zhēng)力的AI計(jì)算解決方案，因?yàn)樗饶軌蛲黄扑懔O限，又具有良好的通用靈活性，企業(yè)能夠能以極低的遷移成本，一鍵式地將稀疏計(jì)算功能添加到現(xiàn)有的計(jì)算設(shè)施中。
因此，墨芯的稀疏化計(jì)算解決方案具有廣闊的生態(tài)前景。墨芯人工智能創(chuàng)始人兼CEO王維表示，墨芯將構(gòu)建涵蓋軟件、硬件、應(yīng)用的AI計(jì)算平臺(tái)，與研究人員、開(kāi)發(fā)者、軟件開(kāi)發(fā)商等合作伙伴一起，為各行各業(yè)用戶(hù)提供高性能AI計(jì)算服務(wù)，共同構(gòu)筑場(chǎng)景豐富、生機(jī)勃勃的稀疏化生態(tài)。
