由MLPerf聯(lián)合創(chuàng)始人支持的AILLM提供商將賭注押在成熟的AMDInstinctMIGPU上
隨著過(guò)去一年左右對(duì)企業(yè)級(jí)大型語(yǔ)言模型(LLM)的需求激增，Lamini開(kāi)啟了由AMDInstinctMIGPU提供支持的LLMSuperstation的大門。
該公司聲稱，去年在生產(chǎn)環(huán)境中，甚至在ChatGPT推出之前，它就已經(jīng)在100多個(gè)AMD本能GPU上秘密運(yùn)行了LLM。憑借其LLMSuperstation，它為更多潛在客戶在其基礎(chǔ)設(shè)施上運(yùn)行他們的模型打開(kāi)了大門。
這些平臺(tái)由AMDInstinctMI210和MI250加速器提供支持，而不是行業(yè)領(lǐng)先的NvidiaH100GPU。Lamini打趣道，通過(guò)選擇AMDGPU，企業(yè)“可以不再擔(dān)心52周的交貨時(shí)間”。
盡管Nvidia的GPU(包括H100和A100)是最常用于為ChatGPT等LLM提供動(dòng)力的GPU，但AMD自己的硬件具有可比性。
為您推薦的視頻...
例如，InstinctMI250可為AI工作負(fù)載提供高達(dá)362teraflops的計(jì)算能力，而MI250X則可提供383teraflops的計(jì)算能力。相比之下，根據(jù)TechRadarPro姊妹網(wǎng)站Tom'sHardware的說(shuō)法，NvidiaA100GPU提供高達(dá)312teraflops的計(jì)算能力。
Lamini首席技術(shù)官、MLPerf聯(lián)合創(chuàng)始人GregDiamos表示：“使用Lamini軟件，ROCm已在LLM方面實(shí)現(xiàn)了與CUDA相同的軟件。我們選擇InstinctMI250作為L(zhǎng)amini的基礎(chǔ)，因?yàn)樗\(yùn)行我們客戶所使用的最大模型。需求并集成微調(diào)優(yōu)化。
“我們使用MI250上的大HBM容量(128GB)來(lái)運(yùn)行更大的模型，而軟件復(fù)雜性比A100集群更低。”
標(biāo)簽：