通義千問(wèn)開(kāi)源首個(gè)MoE模型
發(fā)布日期：2024-03-29 19:00:57
導(dǎo)讀 哈嘍,阿瀾今天發(fā)現(xiàn)不少朋友對(duì)于通義千問(wèn)開(kāi)源首個(gè)MoE模型,這個(gè)還不是很了解，那么現(xiàn)在讓我們一起來(lái)看看吧。
據(jù)阿里通義千問(wèn)官微，通義千...
哈嘍,阿瀾今天發(fā)現(xiàn)不少朋友對(duì)于通義千問(wèn)開(kāi)源首個(gè)MoE模型,這個(gè)還不是很了解，那么現(xiàn)在讓我們一起來(lái)看看吧。
據(jù)阿里通義千問(wèn)官微，通義千問(wèn)團(tuán)隊(duì)開(kāi)源首個(gè)MoE模型，名為Qwen1.5-MoE-A2.7B。它僅有27億個(gè)激活參數(shù)，但性能可與當(dāng)前公認(rèn)最先進(jìn)的70億參數(shù)模型(Mistral7B、Qwen1.5-7B等)相媲美。
以上就是關(guān)于【通義千問(wèn)開(kāi)源首個(gè)MoE模型】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！