标签:研究者
如何做出顶级AI研究?OpenAI科学家Jason Wei《AI研究思考》演讲,讲述杰出与普通研究之差别
来源:专知如何做出世界级影响力的AI研究?我们来听听OpenAI科学家Jason Wei在伯克利的报告《AI研究思考》,非常值得关注!OpenAI科学家Jason Wei。Jason Wei...
参数少近一半,性能逼近谷歌Minerva,又一个数学大模型开源了
机器之心报道编辑:大盘鸡、杜伟大模型家族来了一个专门解决数学问题的「新成员」——Llemma。如今,在各种文本混合数据上训练出来的语言模型会显示出非常通用...
把LLM视作操作系统,它就拥有了无限「虚拟」上下文,伯克利新作已揽1.7k star
机器之心报道编辑:杜伟、小舟当前,让大语言模型拥有更强的上下文处理能力是业界非常看重的热点主题之一。本文中,加州大学伯克利分校的研究者将 LLM 与操作...
大模型无法替代码农!普林斯顿芝大惊人发现:GPT-4解决GitHub编程问题成功率为0
新智元报道编辑:编辑部【新智元导读】ChatGPT之类的AI编码工具来势汹汹,Stack Overflow又裁员了!不过,普林斯顿和芝大竟发现,面对真实世界GitHub问题,GP...
语言、机器人破壁,MIT等用GPT-4自动生成模拟任务,并迁移到真实世界
机器之心报道编辑:杜伟、小舟GPT-4 与机器人又擦出了新的火花。在机器人领域,实现通用机器人策略需要大量数据,而在真实世界收集这些数据又耗时费力。尽管...
轻量级持续学习: 0.6%额外参数把旧模型重编程到新任务
机器之心专栏机器之心编辑部持续学习的目的是模仿人类在连续任务中持续积累知识的能力,其主要挑战是在持续学习新任务后如何保持对以前所学任务的表现,即避...
手把手教你剪「羊驼」,陈丹琦团队提出LLM-Shearing大模型剪枝法
机器之心报道机器之心编辑部给 Llama 2(羊驼)大模型剪一剪驼毛,会有怎样的效果呢?今天普林斯顿大学陈丹琦团队提出了一种名为 LLM-Shearing 的大模型剪枝...
和谷歌搜索抢活,FRESHLLM「紧跟时事」,幻觉更少,信息更准
机器之心报道机器之心编辑部LLM 能更新知识的话,还有谷歌搜索什么事?大型语言模型的能力有目共睹,如 BARD 和 CHATGPT/GPT-4,被设计成多功能开放域聊天机...
鼠鼠我呀,也有VR头显了!康奈尔给小鼠开颅,沉浸式研究大脑和行为
新智元报道编辑:Aeneas【新智元导读】最近,康奈尔大学的研究者们,给老鼠也戴上VR头显了。虽然拥有了VR体验,但鼠鼠们也付出了一些代价——比如,需要提前做...
如何降低视觉Transformer计算成本?时间冗余方法让人大吃一惊
机器之心编译编辑:Panda W在为语言领域带来变革之后,Transformer 正在进军视觉领域,但其也有着高计算成本的问题。近日,威斯康星大学麦迪逊分校一个研究团...
最多400万token上下文、推理提速22倍,StreamingLLM火了,已获GitHub 2.5K星
机器之心报道编辑:蛋酱如果你体验过与任何一款对话式 AI 机器人的交流,你一定能想起某些极具「挫败感」的时刻。比如,你在前一天的对话中讲述过的要点,被 ...
词表的选择如何影响语言模型训练?这可能是目前见过最好的词表选择研究
机器之心报道编辑:赵阳本文初步探讨了不同类型的词表对语言模型训练所产生的影响,研究者使用了 12 个小型的语言模型及 4 个中型的语言模型作为实验对象,并...
将LLaMA2上下文扩展至100k,MIT、港中文有了LongLoRA方法
机器之心报道机器之心编辑部无需过多计算资源即可扩展大模型上下文长度。一般来说,大模型预训练时文本长度是固定的,如果想要支持更长文本,就需要对模型进...
如何评估大语言模型是否可信?这里总结了七大维度
机器之心发布作者:刘扬,Kevin Yao本文提出 7 个主要关键维度来全面评估 LLM 可信度。实际部署中,如何 “对齐”(alignment)大型语言模型(LLM,Large Langu...
运行超千亿不同电路、可编程,国内团队DNA计算机论文登Nature
机器之心报道编辑:杜伟、陈萍DNA 计算机新的突破,这次是上海交通大学团队做出来的。在计算机的庞大宇宙里,有依赖于硅晶片的常规计算机,也有生物形式的 DN...