清華系公司聯(lián)合，單4090讓安全大模型進(jìn)入千億時(shí)代

作者：愛(ài)集微 2024-09-13

來(lái)源：量子位 #ai大模型# #安全大模型# #長(zhǎng)亭科技#

3.1w

AI大行其道的時(shí)代，網(wǎng)絡(luò)安全正面臨前所未有的威脅。

化身黑客的AI學(xué)會(huì)了自動(dòng)化攻擊，還有相當(dāng)高的成功率，伊利諾伊大學(xué)香檳分校研究團(tuán)隊(duì)的最新研究顯示：GPT-4能夠在閱讀CVE漏洞描述后，學(xué)會(huì)利用漏洞攻擊，成功率高達(dá)87%。

既然攻擊方都與時(shí)俱進(jìn)，用上AI新技術(shù)來(lái)搞破壞。

防御方自然也不會(huì)坐以待斃，也在積極把AI大模型納入自己的反制招數(shù)里，最近就有這樣一件大事：

今年剛剛完成10億融資的新生代網(wǎng)絡(luò)安全領(lǐng)軍企業(yè)長(zhǎng)亭科技，聯(lián)手同為清華系的AI Infra廠(chǎng)商趨境科技，共同發(fā)布新一代安全大模型解決方案，此次合作將長(zhǎng)亭問(wèn)津（ChaitinAI）安全大模型參數(shù)規(guī)模提升至超過(guò)千億，安全能力全方位大幅提升。

至此網(wǎng)絡(luò)安全行業(yè)邁入千億大模型時(shí)代。

AI攻防戰(zhàn)，千億大模型帶來(lái)什么改變

從百億到千億，大模型參數(shù)規(guī)模升級(jí)，究竟能給網(wǎng)絡(luò)安全帶來(lái)什么改變？

網(wǎng)絡(luò)安全領(lǐng)域有兩個(gè)核心的指標(biāo)：攻擊識(shí)別準(zhǔn)確率、檢測(cè)時(shí)延。

在一個(gè)企業(yè)的網(wǎng)絡(luò)系統(tǒng)里，每天都有各種各樣的訪(fǎng)問(wèn)/調(diào)用請(qǐng)求，需要識(shí)別每一個(gè)請(qǐng)求是正常的業(yè)務(wù)還是惡意的攻擊。加入大模型后，能夠協(xié)助系統(tǒng)進(jìn)行更快速、更準(zhǔn)確的攻擊判斷。

舉個(gè)栗子。

經(jīng)常會(huì)收到的欺詐郵件就是一種惡意攻擊，一旦點(diǎn)擊其中的鏈接或者下載文件之后，電腦就會(huì)被攻擊。

加入了大模型之后，在大家收到郵件的同時(shí)，大模型就會(huì)對(duì)郵件進(jìn)行內(nèi)容識(shí)別，根據(jù)多條線(xiàn)索來(lái)進(jìn)行多個(gè)步驟的惡意攻擊研判，在判定為惡意郵件后，秒級(jí)自動(dòng)向用戶(hù)告警，并提醒用戶(hù)盡量避免點(diǎn)擊鏈接和下載附件。

在長(zhǎng)亭科技30萬(wàn)+自有的多類(lèi)型攻擊樣本測(cè)評(píng)中，某國(guó)內(nèi)頭部大模型攻擊識(shí)別率為48.3%，而通過(guò)長(zhǎng)亭聯(lián)合趨境科技發(fā)布的千億參數(shù)的安全大模型解決方案，可以把成績(jī)提升到92.1%。

在另一個(gè)基于真實(shí)攻擊流量構(gòu)建的私有數(shù)據(jù)集的測(cè)試中，問(wèn)津（ChaitinAI）也成功把成績(jī)從65.5%提升到95.8%。

再拿對(duì)安全要求更高的金融企業(yè)舉例，交易行為和數(shù)據(jù)對(duì)安全性要求極高，擁有復(fù)雜的網(wǎng)絡(luò)環(huán)境，同時(shí)由于在系統(tǒng)里的各種交易行為活動(dòng)量大，通常會(huì)有海量的日志數(shù)據(jù)，而對(duì)應(yīng)的攻擊手段也非常多樣。

某金融企業(yè)在一次網(wǎng)絡(luò)環(huán)境中出現(xiàn)異常行為時(shí)，問(wèn)津（ChaitinAI）安全大模型同樣秒級(jí)響應(yīng)。

首先從海量日志數(shù)據(jù)中迅速提取對(duì)應(yīng)的數(shù)據(jù)行為并進(jìn)行標(biāo)準(zhǔn)化處理，根據(jù)行為模式研判屬于APT攻擊（Advanced Persistent Threat，高級(jí)長(zhǎng)期威脅），同時(shí)提取攻擊行為相關(guān)的關(guān)鍵資產(chǎn)，掃描其中的安全漏洞，明確威脅行為來(lái)源。隨后再對(duì)攻擊行為流量、文件等進(jìn)行分析，成功揪出背后偽裝成合法軟件的惡意工具包。

問(wèn)津（ChaitinAI）在這次攻擊行為中給出了精確的事件研判報(bào)告和處理對(duì)策，整個(gè)流程僅需3分鐘，MTTD （平均檢測(cè)時(shí)間）和MTTR （平均響應(yīng)時(shí)間），從原來(lái)的三十分鐘到數(shù)小時(shí)，減少到10分鐘以?xún)?nèi)，幫助該企業(yè)安全團(tuán)隊(duì)迅速定位和決策，成功阻斷了APT攻擊的進(jìn)?步滲透和破壞。

像這樣的提升，接下來(lái)還有……這么多：

事件研判處理建議采納率提升

安全報(bào)告的內(nèi)容生成質(zhì)量評(píng)分提升

對(duì)于代碼的問(wèn)題發(fā)現(xiàn)和檢測(cè)的準(zhǔn)確率提升

漏洞修復(fù)建議的采納率提升

對(duì)于違法、有害、暴力、色情等不良內(nèi)容的識(shí)別能力更強(qiáng)。即對(duì)不良內(nèi)容的識(shí)別準(zhǔn)確率、召回率提升

同一目標(biāo)的滲透測(cè)試任務(wù)，大模型驅(qū)動(dòng)的智能滲透測(cè)試的漏洞發(fā)現(xiàn)數(shù)量以及可真實(shí)利用數(shù)量提升

基于不同場(chǎng)景選擇合適工具/策略的準(zhǔn)確率提升

綜合的輸出健壯性和穩(wěn)定性，不同場(chǎng)景下輸出質(zhì)量的波動(dòng)率降低

Scaling Law的威力，在垂直領(lǐng)域大模型上再一次得到驗(yàn)證：

參數(shù)規(guī)模的數(shù)量級(jí)提升，會(huì)體現(xiàn)在模型的通用性、泛化能力上。再落實(shí)到應(yīng)用場(chǎng)景上，就不只是單點(diǎn)的指標(biāo)突破，而是全方位提升了。

接下來(lái)的問(wèn)題就是，過(guò)去安全行業(yè)怎么不用千億大模型，是因?yàn)椴幌矚g嗎？

破解效果、效率和成本的不可能三角

其實(shí)主要涉及安全檢測(cè)效果、用戶(hù)響應(yīng)效率和私有部署成本，三者之間的矛盾。

安全行業(yè)對(duì)于檢測(cè)效果的追求永無(wú)止境，任何一個(gè)小小的安全漏洞很可能帶來(lái)巨大的損失。安全大模型依然遵循Scaling Law，千億參數(shù)的模型相比于百億參數(shù)，安全效果進(jìn)一步升級(jí)。

同時(shí)，網(wǎng)絡(luò)安全防護(hù)是24小時(shí)一刻也不能松懈的任務(wù)，需要不斷調(diào)用大模型進(jìn)行推理。一旦檢測(cè)到攻擊事件，接下來(lái)的響應(yīng)速度也非常關(guān)鍵。

此外，對(duì)于安全行業(yè)來(lái)說(shuō)，數(shù)據(jù)的隱私性也極其重要，使用大模型需要在本地部署，并用特定數(shù)據(jù)進(jìn)行訓(xùn)練。而訓(xùn)練和維護(hù)一個(gè)千億參數(shù)的模型，背后是巨大的計(jì)算資源和投入，成本動(dòng)輒需要數(shù)百萬(wàn)。

既要安全效果好、又要落地成本低、還要檢測(cè)效率高，安全大模型落地中的看似“不可能三角”，被長(zhǎng)亭和趨境聯(lián)手破解了。

AI Infra新秀入局，拉低部署門(mén)檻

這是一個(gè)掌握垂直行業(yè)場(chǎng)景的公司與大模型技術(shù)公司合作的典型案例。

長(zhǎng)亭科技是國(guó)內(nèi)頂尖的網(wǎng)絡(luò)信息安全公司之一，專(zhuān)注為企業(yè)級(jí)用戶(hù)提供智能、簡(jiǎn)單、省心的安全防護(hù)產(chǎn)品和解決方案。

趨境科技則是一家AI Infra新秀，專(zhuān)注于構(gòu)建和開(kāi)發(fā)先進(jìn)的大模型推理加速平臺(tái)，為企業(yè)和開(kāi)發(fā)者提供高效、低成本的大語(yǔ)言模型推理服務(wù)。

趨境科技在不久前，聯(lián)合清華KVCache.AI團(tuán)隊(duì)發(fā)布開(kāi)源項(xiàng)目“KTransformers （https://github.com/kvcache-ai/ktransformers）”，利用 MoE 模型和長(zhǎng)文本注意力算子的稀疏特性，采用異構(gòu)劃分策略，大幅度提升了超大模型和超長(zhǎng)文本的推理性能，降低了他們本地部署的門(mén)檻。

作為項(xiàng)目的首個(gè)展示案例，使用 KTransformers ，只需不到 12GB 的顯存和百余 GB 的內(nèi)存即可在本地運(yùn)行Mixtral 8x22B 和 DeepSeek-Coder-V2 等千億級(jí)大模型，達(dá)到數(shù)倍于 Llama.cpp 的性能。

這一技術(shù)使得千億大模型的本地使用成本降低了10倍以上。

另一方面，對(duì)于安全場(chǎng)景下同樣非常重要的長(zhǎng)文本推理能力 KTransformers 同樣可以實(shí)現(xiàn)大幅度優(yōu)化。

即便是長(zhǎng)達(dá) 1M 的超長(zhǎng)上下文，KTransformers 也可以在僅配備 24GB 顯存的設(shè)備上即可完成，生成速度達(dá)到 16.91 token/s，比 Llama.cpp 快 10 倍以上的同時(shí)維持了接近滿(mǎn)分的“大海撈針”。

項(xiàng)目在GitHub上開(kāi)源后，馬上被Hugging Face注意到，收獲了開(kāi)源項(xiàng)目負(fù)責(zé)人 Lysandre Debut 的點(diǎn)贊，同時(shí)還在國(guó)內(nèi)外社區(qū)里引起很多討論。

推出開(kāi)源版本的同時(shí)，趨境科技也推出了高性能 KTransformers 商業(yè)版引擎和基于此的推理服務(wù)平臺(tái)，通過(guò)高級(jí)內(nèi)核優(yōu)化和放置/并行策略，在開(kāi)源版的基礎(chǔ)上推理能力更強(qiáng)，速度更快，同時(shí)也增加了針對(duì)企業(yè)級(jí)的高并發(fā)策略，更適合團(tuán)隊(duì)/企業(yè)級(jí)用戶(hù)。