标签:基准

南开&山大&北理工团队开发trRosettaRNA:利用Transformer网络自动预测RNA 3D结构

将 ScienceAI设为星标第一时间掌握新鲜的 AI for Science 资讯编辑 | 萝卜皮RNA 3D 结构预测是一个长期存在的挑战。受最近蛋白质结构预测领域突破的启发,南...
阅读原文

人类考92分的题,GPT-4只能考15分:测试一升级,大模型全都现原形了

机器之心报道编辑:张倩、泽南AutoGPT 的得分也凉凉。GPT-4 自诞生以来一直是位「优等生」,在各种考试(基准)中都能得高分。但现在,它在一份新的测试中只...
阅读原文

OpenAI忙着“宫斗”,手握2.2万块H100的竞争对手趁机发布新款大模型:1750亿参数,性能仅次于GPT-4

整理|冬梅、核子可乐 OpenAI 事变余波未平,竞争对手 Inflection AI 乘机发布新模型。 Inflection AI 发布新模型:5000 块英伟达 H100 训练、1750 亿参数开...
阅读原文

Inflection AI推出Infection-2,性能仅次于GPT4

点击上方蓝字关注我们“ Inflection AI最新推出的AI模型Infection-2在多模态语言理解任务中表现出色,超越了业界巨头的竞争对手,仅次于OpenAI的GPT-4。该模型...
阅读原文

微软发布小型语言模型Orca 2,性能超对手

点击上方蓝字关注我们“ Microsoft发布了Orca 2,小型语言模型在复杂推理任务中表现出色,超越了大型模型。这为资源有限的企业提供了更好的选择。同时,其他公...
阅读原文

13B模型全方位碾压GPT-4?这背后有什么猫腻

机器之心报道编辑:陈萍你的测试集信息在训练集中泄漏了吗?一个参数量为 13B 的模型竟然打败了顶流 GPT-4?就像下图所展示的,并且为了确保结果的有效性,这...
阅读原文

老黄H100再破纪录,4分钟训完GPT-3!全新「版」H20、L20和L2曝光,性能史诗级缩水

新智元报道编辑:桃子 好困【新智元导读】英伟达H100再次刷榜了,不到4分钟就训完GPT-3,比6月成绩提升3倍。另外,特供版H20、L20和L2性能全都爆出。H100再次...
阅读原文

小心你的大模型被基准评估坑了,模型直接傻掉!人大高瓴揭秘大模型作弊

夕小瑶科技说 原创作者 | 谢年年、Python从 ChatGPT 横空出世到国内外「百模大战」打响以来,我们隔三差五就会看到某某大模型又超越多个模型,刷新SOTA,成功...
阅读原文

GPT-4 Turbo获八项测评满分;国内最大GPU智算中心落地;Anthropic将用谷歌TPU训练AI丨AIGC大事日报

11/09全球AIGC产业要闻1、阿里即将开源720亿参数大模型2、钉钉宣布智能化底座AI PaaS全量上线3、腾讯:国内最大规模GPU智算中心落地松江4、联想首次发布企业...
阅读原文

11.9丨AIGC大事日报

11/09全球AIGC产业要闻1、阿里即将开源720亿参数大模型2、钉钉宣布智能化底座AI PaaS全量上线3、腾讯联合松江落地国内最大规模GPU智算中心4、安谋科技发布“山...
阅读原文

大模型走捷径「刷榜」?数据污染问题值得重视

机器之心报道机器之心编辑部我直接看答案。生成式 AI 元年,大家的工作节奏快了一大截。特别是,今年大家都在努力卷大模型:最近国内外科技巨头、创业公司都...
阅读原文

别让大模型被基准评估坑了!测试集乱入预训练,分数虚高,模型变傻

明敏 发自 凹非寺量子位 | 公众号 QbitAI“别让大模型被基准评估给坑了”。这是一项最新研究的题目,来自人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄...
阅读原文

英伟达新超级计算机刷新纪录,8天完成ChatGPT训练

点击上方蓝字关注我们“ Nvidia的全新Eos AI超级计算机以前所未有的速度,在短短3.9分钟内完成了具有1750亿参数和10亿标记的GPT-3模型训练,创下了令人瞩目的...
阅读原文

用过GPT-4 Turbo以后,我们再也回不去了

机器之心报道编辑:泽南、陈萍GPT 变得好用了,但真的更聪明了吗?‍昨天,很多人彻夜未眠 —— 全球科技圈都把目光聚焦在了美国旧金山。短短 45 分钟时间里,Op...
阅读原文

给大模型评分的基准靠谱吗?Anthropic来了次大评估

选自Anthropic机器之心编译机器之心编辑部在大模型(LLM)盛行的当下,评估 AI 系统成为了重要的一环,在评估过程中都会遇到哪些困难,Anthropic 的一篇文章...
阅读原文
19101112