《麻省理工科技評論》中國從研發和商業化能力、外界態度以及發展趨勢等維度全方位檢測大模型的能力,力圖評出“最聰明”的國產大模型。選取了“訊飛星火”、“百度文心一言”、“商湯商量”、“阿里通義千問”作為中文大模型平臺的代表,展開系統、科學的評測。
 
  本次評測使用的測試集包含600道題目,覆蓋了語言專項、數學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個一級大類,126 個二級分類,290 個三級標簽,并針對問題的豐富性和多樣性做了優化。
 
  在題目類型上,為了兼顧定量、定性的評價與測試,設置了“單選”、“多選”、“填空”、“簡答”4個題型,分別有 145 道、138 道、136 道和 181 道。大模型評測體系使用盲評方式,客觀評估國產大模型的聰明程度。
 
  作為“最聰明”的大模型的基礎能力,語言專項評測包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結、情感分析、語義判斷等 61 個二級分類,題型則以簡答為主。結果顯示,訊飛星火 85.73%的得分率排名第一,明顯高于平均值。
000402631+ Z00402631
KEN5-FN/47409-/v01.03
Siemens 6FC3985-7AH 
KEN5/46678-/v03.24
KWD5/46763-/v03.20
Siemens 570.474.9002.01 E: E/6FX1147-4BB00
9301A-SIZG-PHJ-GZ-G 
KEN5/46678-
KW8/46754-/v03.10
T2-10AI-0-Bare
QLN65/0012 A3-102726.9oz-33/LE4-115
Siemens 1FT6044-4AF71-3EB0
KEN5-S10/47804-
6FC4401-0TA01-Z 
KWD5/46763-
6FL3001-4AB12
KEN5-ON/47426-
KW8/46754-
KW8/46754-
700-600-CAN12
R911173398
Siemens 6MA3110-0FB07
KW8/46754-
OPTItec Control Technology/Teco 32 10/12ft
FC/486DX / I - T /2722085/
Bosch Sm 10/20-C 054883-207 
Bosch Socket Contact 1928492555
6ES5242-1AA11
18341-A51116021
M 6DS1703-8RR
R151033554 48317.004 L = 540 mm
063991-102401
A20B-0007-0070 / 06B
462007.9410.00
0.652.960-46.2
LID 311C/315C P10 G10 245 059 17
0103-221-1-00
B1200 - C960 L7151
-102
5-VMK 32 NC
MEM500.100A
pH-Meter pH 161 T
AMT VGA OPTO 16 i - 16 o
AMT VGA OPTO 16i-16o
RMA12.1-32-DC024-050
M 6DS1607-8AB
CPJ-DR
 免責聲明：AMIKON我們銷售新產品和停產產品，特有渠道購買此類特色產品。阿米控不是本網站特色產品的授權分銷商、經銷商或代表。本網站上使用的所有產品名稱/產品圖片、商標、品牌和徽標均為其各自所有者的財產。帶有這些名稱,圖片、商標、品牌和徽標的產品描述、描寫或銷售僅用于識別目的，并不表示與任何權利人有任何關聯或授權。