近日有消息稱,某頭部大廠的大模型訓(xùn)練被實(shí)習(xí)生入侵,注入了破壞代碼,導(dǎo)致其訓(xùn)練成果不可靠,可能需要重新訓(xùn)練。據(jù)稱遭到入侵的代碼注入了8000多張卡,帶來(lái)的損失可能超過(guò)千萬(wàn)美元。
傳言稱,該實(shí)習(xí)生利用了HF(huggingface)的漏洞,在公司的共享模型里寫(xiě)入破壞代碼,導(dǎo)致模型的訓(xùn)練效果忽高忽低,無(wú)法產(chǎn)生預(yù)期的訓(xùn)練效果。
知情人士透露,該大廠為字節(jié)跳動(dòng),“注入8000多張卡”“損失上千萬(wàn)美元”等描述不實(shí),太過(guò)夸大;受影響的業(yè)務(wù)也不是豆包大模型,而是商業(yè)化技術(shù)團(tuán)隊(duì)的模型訓(xùn)練任務(wù),影響了廣告部門(mén)的一些業(yè)務(wù)進(jìn)展,但不影響線上業(yè)務(wù)。目前,字節(jié)跳動(dòng)已對(duì)該實(shí)習(xí)生采取了辭退處理,并將此事通報(bào)給相關(guān)行業(yè)聯(lián)盟和該實(shí)習(xí)生所在的學(xué)校。
據(jù)了解,此事發(fā)生在今年6月,起因是該實(shí)習(xí)生對(duì)團(tuán)隊(duì)資源分配不滿,故使用攻擊代碼破壞團(tuán)隊(duì)的模型訓(xùn)練任務(wù)。