(資料圖片僅供參考)

國內(nèi)“千模大戰(zhàn)”下，誰是最聰明的大模型？近日，《麻省理工科技評論》從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢等維度全方位檢測大模型的能力，力圖評出“最聰明”的國產(chǎn)大模型。報告選取了“訊飛星火”“百度文心一言”“商湯商量”“阿里通義千問”作為中文大模型平臺的代表，展開系統(tǒng)、科學(xué)的評測。

報告顯示，在8個一級大類的600道題目的測試和盲評中，訊飛星火認(rèn)知大模型V2.0在6個大類中得分率排名第一，表現(xiàn)突出；以81.5分（百分制計）的成績在本次評測中登頂，榮獲“最聰明”的國產(chǎn)大模型稱號。

本次評測使用的測試集包含600道題目，覆蓋了語言專項、數(shù)學(xué)專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共8個一級大類，126個二級分類，290個三級標(biāo)簽，并針對問題的豐富性和多樣性做了優(yōu)化。

作為“最聰明”大模型的基礎(chǔ)能力，語言專項評測包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結(jié)、情感分析、語義判斷等61個二級分類，題型則以簡答為主。結(jié)果顯示，訊飛星火85.73%的得分率排名第一，明顯高于平均值。

數(shù)學(xué)專項評測，是“最聰明”大模型必不可少的評測維度。本次評測包含代數(shù)、幾何、解方程、復(fù)雜數(shù)學(xué)、統(tǒng)計學(xué)等9個二級分類，以選擇題為主。訊飛星火以77.75%的得分率名列第一，遠(yuǎn)高于56%的平均得分率。

邏輯思維也是“最聰明”大模型的重要體現(xiàn)，本次邏輯思維評測包含類比、常識推理、空間方位、演繹推理、邏輯謬誤檢測、因果推理等19個二級分類。在邏輯思維題目中，訊飛星火81.25%的得分率名列第一，明顯高于72.6%的平均值。

編程能力是大模型較高階的能力，評測包含ASCII、ASCII碼識別、Python、代碼、代碼修正、計算機(jī)6個二級分類。結(jié)果顯示，訊飛星火80%的得分率明顯高于71%的平均值。

（文章來源：上海證券報·中國證券網(wǎng)）

關(guān)鍵詞：