Meta的新CodeLla70B瞄準了Github的Copilot
MetaAI發(fā)布了其高級代碼生成模型的新版本CodeLla70B。作為最大的代碼生成開源人工智能模型之一，新平臺比其前身進行了重大升級，使其速度更快、更準確。
CodeLla70B已經(jīng)接受了5000億個代碼標記和代碼相關數(shù)據(jù)的訓練，并擁有100,000個標記的大型上下文窗口，使其能夠跨多種語言(包括C++、Python、PHP)處理和生成更長、更復雜的代碼和爪哇。
CodeLla70B基于Lla2(世界上最大的通用大型語言模型(LLM)之一)，使用一種稱為自注意力的技術對代碼生成進行了微調(diào)，該技術可以更好地理解代碼關系和依賴關系。
新模型的另一個亮點是CodeLla-70B-Instruct，這是一種經(jīng)過微調(diào)的變體，用于理解自然語言指令并相應地生成代碼。
MetaAI首席執(zhí)行官馬克·扎克伯格表示：“事實證明，編碼能力對于人工智能模型更嚴格、更有邏輯地處理其他領域的信息也很重要。我對這里取得的進步感到自豪，并期待著將這些進步納入Lla3和未來的模型中。”
CodeLla70B可以在與Lla2和之前的CodeLla模型相同的許可證下免費下載，允許研究人員和商業(yè)用戶使用和修改它。
盡管取得了這些改進，Meta仍面臨著艱巨的挑戰(zhàn)，即試圖贏得目前使用GitHubCopilot的開發(fā)人員的支持，GitHubCopilot是GitHub和OpenAI為開發(fā)人員創(chuàng)建的第一大人工智能工具。許多開發(fā)人員也對Meta及其數(shù)據(jù)收集過程持懷疑態(tài)度，而且很多人一開始就不喜歡人工智能生成的代碼。這通常需要認真調(diào)試，并生成非程序員樂于使用但不理解的代碼，從而導致出現(xiàn)問題。
標簽：