通義千問(wèn)開(kāi)源千億級(jí)參數(shù)模型
發(fā)布日期：2024-04-28 15:00:09
導(dǎo)讀 哈嘍,阿瀾今天發(fā)現(xiàn)不少朋友對(duì)于通義千問(wèn)開(kāi)源千億級(jí)參數(shù)模型,這個(gè)還不是很了解，那么現(xiàn)在讓我們一起來(lái)看看吧。
通義千問(wèn)開(kāi)源1100億參數(shù)...
哈嘍,阿瀾今天發(fā)現(xiàn)不少朋友對(duì)于通義千問(wèn)開(kāi)源千億級(jí)參數(shù)模型,這個(gè)還不是很了解，那么現(xiàn)在讓我們一起來(lái)看看吧。
通義千問(wèn)開(kāi)源1100億參數(shù)模型Qwen1.5-110B，成為全系列首個(gè)千億級(jí)參數(shù)開(kāi)源模型。
通義千問(wèn)1100億參數(shù)模型延續(xù)了Qwen1.5系列的Transformer解碼器架構(gòu)，采用了分組查詢(xún)注意力方法(GQA)，使得模型在推理時(shí)更加高效。110B模型支持32K上下文長(zhǎng)度，具備優(yōu)秀的多語(yǔ)言能力，支持中、英、法、德、西、俄、日、韓、越、阿拉伯等多種語(yǔ)言。
以上就是關(guān)于【通義千問(wèn)開(kāi)源千億級(jí)參數(shù)模型】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！
標(biāo)簽：
免責(zé)聲明：本文由用戶(hù)上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！