北京智譜華章科技有限公司的智譜CodeGeeX代碼大模型參與中國信通院組織的可信AI代碼大模型首輪評估,最終獲得4+級評級, 成為國內(nèi)首批通過該項評估的企業(yè)之一。
在信通院官方發(fā)布的評測中,給予了CodeGeeX代碼大模型較高評價:
“參與本次評估的智譜CodeGeeX代碼大模型在通用能力方面,其代碼解釋、代碼生成、代碼轉(zhuǎn)換等方面表現(xiàn)突出;在專用場景方面,其支持網(wǎng)站開發(fā)、桌面應(yīng)用開發(fā)、移動應(yīng)用開發(fā)、數(shù)據(jù)庫開發(fā)、人工智能開發(fā)等多個場景的能力;在應(yīng)用成熟度方面,其具備較完善的數(shù)據(jù)安全合規(guī)機制,在數(shù)據(jù)分類分級、模型服務(wù)可追溯性、風(fēng)險可控性及可維護(hù)性等方面均表現(xiàn)優(yōu)秀。”
CodeGeeX代碼大模型基于智譜GLM大模型通過代碼數(shù)據(jù)預(yù)訓(xùn)練和指令微調(diào)而成,支持超過100種編程語言,具備優(yōu)秀的模型特性、強大的代碼能力、全面的開發(fā)輔助能力。代碼補全能力支持上下文補全、跨文件補全等;研發(fā)問答能力用于代碼解釋、代碼翻譯、代碼注釋、代碼審查、代碼修復(fù)、生成單元測試等任務(wù),顯著提高開發(fā)效率?;诙鄟碓礄z索增強RAG技術(shù),可實現(xiàn)基于本地知識庫及開源代碼倉庫的問答,大幅提升準(zhǔn)確率。同時,模型具備Code Interpreter代碼解釋器能力,可以批量處理多種格式的文件、批量實現(xiàn)數(shù)據(jù)可視化、繪制數(shù)學(xué)函數(shù)圖等。
圖1:CodeGeeX代碼大模型的核心能力
目前,CodeGeeX插件產(chǎn)品的個人用戶已經(jīng)超過100萬+,企業(yè)版本也已經(jīng)廣泛應(yīng)用于科技、金融、醫(yī)療和制造等多個行業(yè),每天為程序員生成超過2000萬行代碼,顯著提高程序員的編程開發(fā)效率。CodeGeeX插件產(chǎn)品適配了VSCode、JetBrains IDEs全家桶、Visual Studio 2022、并獨家適配了Visual Studio 2019、HBuilderX和deepin-IDE。在不同場景下,都已成為程序員必備的智能編程助手。
背景信息:信通院可信AI代碼大模型評估介紹
通用能力、專用場景能力、應(yīng)用成熟度,可信AI代碼大模型評估圍繞為模型能力提升和企業(yè)選型提供規(guī)范性參考。
(一)通用能力:考察模型的代碼理解、代碼生成與補全、代碼轉(zhuǎn)換、單測生成、代碼診斷與優(yōu)化、研發(fā)問答六大能力,一方面采用由多語言、多任務(wù)組成的專用評測數(shù)據(jù)集進(jìn)行準(zhǔn)確度等客觀指標(biāo)的評分,另一方面結(jié)合多位編碼專家對可接受度指標(biāo)的主觀評分,綜合評估代碼大模型通用水平。
(二)專用場景能力:關(guān)注大模型所支持的專業(yè)場景數(shù),如網(wǎng)站開發(fā)場景、數(shù)據(jù)庫開發(fā)場景、大數(shù)據(jù)開發(fā)場景、人工智能開發(fā)場景等,以及相應(yīng)場景下模型的代碼生成和輔助編程的能力。
(三)應(yīng)用成熟度:關(guān)注大模型數(shù)據(jù)管理機制、模型及其服務(wù)管理機制,評估應(yīng)用實施階段的服務(wù)質(zhì)量。
圖2:可信AI代碼大模型評估內(nèi)容
分享到微信 ×
打開微信,點擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。