,近日,清华大学新闻与传播学院教授、博士生导师沈阳所在团队发布了《大语言模型综合性能评估报告》,报告显示总得分率 GPT-4 第一,百度文心一言在三大维度 20 项指标中综合评分国内第一,超越 ChatGPT,其中中文语义理解排名第一,部分中文能力超越 GPT-4。
据了解,报告本次评估选取了 GPT-4、ChatGPT 3.5、文心一言、通义千问、讯飞星火、Claude、天工 7 个大语言模型,围绕生成质量、使用与性能、安全与合规三大维度,全面考察大语言模型上下文理解、中文语义理解、误导信息识别、逻辑推理、内容安全性、隐私保护等 20 项指标。综合来看,文心一言语义理解能力突出,特别是具备更好的中文理解能力,更懂中国文化,同时时效性强、内容安全把握细微,这源于其知识增强、检索增强和对话增强的技术创新。
在生成质量方面,基于对语义理解、输出表达、适应泛化的综合评测,文心一言得分率 76.98%,仅次于 GPT-4,领先于包括 ChatGPT 在内的其他大语言模型。其中,在部分中文语义理解方面,文心一言以 92% 的得分率排名榜首。
IT之家注意到,在安全合规方面,基于对内容安全性、偏见和公平性、隐私保护等综合评测,文心一言得分率 78.18%,与 GPT-4 并列排名第一。
广告声明:文内含有的对外跳转链接,用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
2023年8月10日,伴随着响亮的钟声,浙江华洋赛车股份有限公司在北京证券交易所成功挂牌上市,正式登陆资本市场。股票简称:华洋赛车,股票代码:834058,本次华洋赛车发行价格为16.5元/股,发行数...
2023-08-10 11:13
,2023雷军年度演讲将于8月14日晚7点举行,主题为“成长”,届时小米还将推出一系列新品,除了已经公布的小米MIXFold3折叠屏手机之外,小米平板6Max14也将在此次演讲中发布。 从命名来看,...
2023-08-10 10:27
日前,全国多地遭受了暴雨袭击,并引发山洪和内涝等自然灾害。不少车辆被水淹泡,有些车甚至被直接冲走,带来巨大财产损失。 据国家金融监督管理总局数据,截至8月8日10时,河北、北京等16个受灾地区的保险...
2023-08-10 10:17
8月8日,工业和信息化部公布的《对十四届全国人大一次会议第0483号建议的答复》提出,“支持北京、上海等地数据交易机构高质量建设,鼓励各类市场主体参与数据要素市场建设,探索多种形式的数据交易模式,推动...
2023-08-10 10:09
今日,上市公司瑞达期货发布相关公告表示,其控股股东股权结构变更完成。瑞达期货近日接到控股股东厦门市佳诺实业有限责任公司(以下简称“厦门佳诺”)函告,获悉厦门佳诺已办理完成股权结构变更的备案登记手续。 ...
2023-08-10 10:06