11月6日,由李開(kāi)復(fù)帶隊(duì)創(chuàng)辦的AI 2.0公司零一萬(wàn)物,正式開(kāi)源發(fā)布首款預(yù)訓(xùn)練大模型 Yi-34B。
據(jù)悉,零一萬(wàn)物此次開(kāi)源發(fā)布的Yi系列模型,包含34B和6B兩個(gè)版本。對(duì)比參數(shù)量和性能,Yi-34B相當(dāng)于只用了不及LLaMA2-70B一半、Falcon-180B五分之一的參數(shù)量;對(duì)比大模型標(biāo)桿GPT-4,在CMMLU、E-Eval、Gaokao 三個(gè)主要的中文指標(biāo)上,Yi-34B 也具有絕對(duì)優(yōu)勢(shì)。
“零一萬(wàn)物”消息指出,此次開(kāi)源的Yi-34B模型,將發(fā)布可支持200K 超長(zhǎng)上下文窗口(context window)版本,可以處理約40萬(wàn)漢字超長(zhǎng)文本輸入。相比之下,OpenAI的GPT-4上下文窗口只有32K,文字處理量約2.5萬(wàn)字。
零一萬(wàn)物創(chuàng)始人及CEO李開(kāi)復(fù)表示,“經(jīng)歷了近半年的厚積薄發(fā),以穩(wěn)定的節(jié)奏和全球齊平的研究工程能力,交出了第一張極具全球競(jìng)爭(zhēng)力的耀眼成績(jī)單。Yi-34B可以說(shuō)不負(fù)眾望,一鳴驚人?!?/span>
公開(kāi)消息,今年3月,李開(kāi)復(fù)宣布“擼起袖子”親自帶隊(duì),塔尖孵化了一家AI 2.0公司。經(jīng)過(guò)三個(gè)月籌辦期,該公司首度對(duì)外亮相,正式官宣“零一萬(wàn)物”新品牌。李開(kāi)復(fù)表示,零一即01,代表的是數(shù)字世界,從零到一,乃至宇宙萬(wàn)物,寓意“零一智能,萬(wàn)物賦能”的雄心。
李開(kāi)復(fù)同時(shí)擔(dān)任創(chuàng)新工場(chǎng)董事長(zhǎng)兼CEO。根據(jù)創(chuàng)新工場(chǎng)7月消息,零一萬(wàn)物團(tuán)隊(duì)已有數(shù)十名核心成員,集中在大模型技術(shù)、人工智能算法、自然語(yǔ)言處理、系統(tǒng)架構(gòu)、算力架構(gòu)、數(shù)據(jù)安全、產(chǎn)品研發(fā)等領(lǐng)域。已加入的聯(lián)創(chuàng)團(tuán)隊(duì)成員包含前阿里巴巴副總裁、前百度副總裁、前滴滴/百度首席算法負(fù)責(zé)人、前谷歌中國(guó)高管、前微軟/ SAP / Cisco 副總裁。(校對(duì)/趙碧瑩)