标签：基准
人类考92分的题，GPT-4只能考15分：测试一升级，大模型全都现原形了
机器之心报道编辑：张倩、泽南AutoGPT 的得分也凉凉。GPT-4 自诞生以来一直是位「优等生」，在各种考试（基准）中都能得高分。但现在，它在一份新的测试中只...
OpenAI忙着“宫斗”，手握2.2万块H100的竞争对手趁机发布新款大模型：1750亿参数，性能仅次于GPT-4
整理｜冬梅、核子可乐 OpenAI 事变余波未平，竞争对手 Inflection AI 乘机发布新模型。 Inflection AI 发布新模型：5000 块英伟达 H100 训练、1750 亿参数开...
Inflection AI推出Infection-2，性能仅次于GPT4
点击上方蓝字关注我们“ Inflection AI最新推出的AI模型Infection-2在多模态语言理解任务中表现出色，超越了业界巨头的竞争对手，仅次于OpenAI的GPT-4。该模型...
微软发布小型语言模型Orca 2，性能超对手
点击上方蓝字关注我们“ Microsoft发布了Orca 2，小型语言模型在复杂推理任务中表现出色，超越了大型模型。这为资源有限的企业提供了更好的选择。同时，其他公...
13B模型全方位碾压GPT-4？这背后有什么猫腻
机器之心报道编辑：陈萍你的测试集信息在训练集中泄漏了吗？一个参数量为 13B 的模型竟然打败了顶流 GPT-4？就像下图所展示的，并且为了确保结果的有效性，这...
老黄H100再破纪录，4分钟训完GPT-3！全新「特供版」H20、L20和L2曝光，性能史诗级缩水
新智元报道编辑：桃子 好困【新智元导读】英伟达H100再次刷榜了，不到4分钟就训完GPT-3，比6月成绩提升3倍。另外，特供版H20、L20和L2性能全都爆出。H100再次...
小心你的大模型被基准评估坑了，模型直接傻掉！人大高瓴揭秘大模型作弊
夕小瑶科技说 原创作者 | 谢年年、Python从 ChatGPT 横空出世到国内外「百模大战」打响以来，我们隔三差五就会看到某某大模型又超越多个模型，刷新SOTA，成功...
GPT-4 Turbo获八项测评满分；国内最大GPU智算中心落地；Anthropic将用谷歌TPU训练AI丨AIGC大事日报
11/09全球AIGC产业要闻1、阿里即将开源720亿参数大模型2、钉钉宣布智能化底座AI PaaS全量上线3、腾讯：国内最大规模GPU智算中心落地松江4、联想首次发布企业...
11.9丨AIGC大事日报
11/09全球AIGC产业要闻1、阿里即将开源720亿参数大模型2、钉钉宣布智能化底座AI PaaS全量上线3、腾讯联合松江落地国内最大规模GPU智算中心4、安谋科技发布“山...
大模型走捷径「刷榜」？数据污染问题值得重视
机器之心报道机器之心编辑部我直接看答案。生成式 AI 元年，大家的工作节奏快了一大截。特别是，今年大家都在努力卷大模型：最近国内外科技巨头、创业公司都...
别让大模型被基准评估坑了！测试集乱入预训练，分数虚高，模型变傻
明敏 发自 凹非寺量子位 | 公众号 QbitAI“别让大模型被基准评估给坑了”。这是一项最新研究的题目，来自人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄...
英伟达新超级计算机刷新纪录，8天完成ChatGPT训练
点击上方蓝字关注我们“ Nvidia的全新Eos AI超级计算机以前所未有的速度，在短短3.9分钟内完成了具有1750亿参数和10亿标记的GPT-3模型训练，创下了令人瞩目的...
用过GPT-4 Turbo以后，我们再也回不去了
机器之心报道编辑：泽南、陈萍GPT 变得好用了，但真的更聪明了吗？昨天，很多人彻夜未眠 —— 全球科技圈都把目光聚焦在了美国旧金山。短短 45 分钟时间里，Op...
给大模型评分的基准靠谱吗？Anthropic来了次大评估
选自Anthropic机器之心编译机器之心编辑部在大模型（LLM）盛行的当下，评估 AI 系统成为了重要的一环，在评估过程中都会遇到哪些困难，Anthropic 的一篇文章...
词表的选择如何影响语言模型训练？这可能是目前见过最好的词表选择研究
机器之心报道编辑：赵阳本文初步探讨了不同类型的词表对语言模型训练所产生的影响，研究者使用了 12 个小型的语言模型及 4 个中型的语言模型作为实验对象，并...
粤公网安备 44011502001135号