Meta的新CodeLla70B瞄準(zhǔn)了Github的Copilot
MetaAI發(fā)布了其高級(jí)代碼生成模型的新版本CodeLla70B。作為最大的代碼生成開(kāi)源人工智能模型之一，新平臺(tái)比其前身進(jìn)行了重大升級(jí)，使其速度更快、更準(zhǔn)確。
CodeLla70B已經(jīng)接受了5000億個(gè)代碼標(biāo)記和代碼相關(guān)數(shù)據(jù)的訓(xùn)練，并擁有100,000個(gè)標(biāo)記的大型上下文窗口，使其能夠跨多種語(yǔ)言(包括C++、Python、PHP)處理和生成更長(zhǎng)、更復(fù)雜的代碼和爪哇。
CodeLla70B基于Lla2(世界上最大的通用大型語(yǔ)言模型(LLM)之一)，使用一種稱為自注意力的技術(shù)對(duì)代碼生成進(jìn)行了微調(diào)，該技術(shù)可以更好地理解代碼關(guān)系和依賴關(guān)系。
新模型的另一個(gè)亮點(diǎn)是CodeLla-70B-Instruct，這是一種經(jīng)過(guò)微調(diào)的變體，用于理解自然語(yǔ)言指令并相應(yīng)地生成代碼。
MetaAI首席執(zhí)行官馬克·扎克伯格表示：“事實(shí)證明，編碼能力對(duì)于人工智能模型更嚴(yán)格、更有邏輯地處理其他領(lǐng)域的信息也很重要。我對(duì)這里取得的進(jìn)步感到自豪，并期待著將這些進(jìn)步納入Lla3和未來(lái)的模型中。”
CodeLla70B可以在與Lla2和之前的CodeLla模型相同的許可證下免費(fèi)下載，允許研究人員和商業(yè)用戶使用和修改它。
盡管取得了這些改進(jìn)，Meta仍面臨著艱巨的挑戰(zhàn)，即試圖贏得目前使用GitHubCopilot的開(kāi)發(fā)人員的支持，GitHubCopilot是GitHub和OpenAI為開(kāi)發(fā)人員創(chuàng)建的第一大人工智能工具。許多開(kāi)發(fā)人員也對(duì)Meta及其數(shù)據(jù)收集過(guò)程持懷疑態(tài)度，而且很多人一開(kāi)始就不喜歡人工智能生成的代碼。這通常需要認(rèn)真調(diào)試，并生成非程序員樂(lè)于使用但不理解的代碼，從而導(dǎo)致出現(xiàn)問(wèn)題。
標(biāo)簽：