标签:语言

字节跳动李航:对语言大模型的若干观察和思考

机器之心专栏作者:ByteDance Research负责人李航本文阐述笔者对 LLM 的一些看法,主要观点如下:ChatGPT 的突破主要在于规模带来的质变和模型调教方式的发明...
阅读原文

强化学习与视觉语言模型之间的碰撞,UC伯克利提出语言奖励调节LAMP框架

大数据文摘授权转载自将门创投作者:seven_在强化学习(RL)领域,一个重要的研究方向是如何巧妙的设计模型的奖励机制,传统的方式是设计手工奖励函数,并根...
阅读原文

开源标杆!最强中英双语大模型来了,340亿参数,超越 Llama2-70B等所有开源模型

金磊 发自 凹非寺量子位 | 公众号 QbitAI开源界最强的中英双语大模型,悟道·天鹰 34B,来了!有多强?一言蔽之:中英综合能力、逻辑推理能力等,全面超越 Lla...
阅读原文

智源扔出大模型“全家桶”!推最强开源中英双语LLM,赶超Llama 2

智源推最强开源中英双语大模型!340亿参数超越Llama 2-70B。编辑|luna智东西10月12日报道,今日,智源研究院宣布悟道·天鹰Aquila大语言模型系列全面升级到Aqu...
阅读原文

在图像、视频生成上,语言模型首次击败扩散模型,tokenizer是关键

机器之心报道编辑:张倩、陈萍为什么语言模型在视觉生成方面落后于扩散模型?来自谷歌、CMU 的研究表明,tokenizer 是关键。大型语言模型(LLM 或 LM)一开始...
阅读原文

挑战GPT-4V!清华唐杰&智谱开源多模态14边形战士,在线可玩

梦晨 发自 凹非寺量子位 | 公众号 QbitAI看看这张图中有几个房子?如果你回答3个,就和GPT-4V的答案一样。但是最新开源的国产多模态模型CogVLM-17B,就能看出...
阅读原文

两行代码解决大语言模型对话局限!港中文贾佳亚团队联合 MIT 发布超长文本扩展技术

代码和Demo地址:https://github.com/dvlab-research/LongLoRA论文地址:https://arxiv.org/pdf/2309.12307.pdf中途迷失、模型偷懒、上下文越长大模型越笨......
阅读原文

Hugging Face 大语言模型优化技术

作者 | Sergio De Simone 译者 | 明知山 策划 | 丁晓昀 大语言模型的生产部署存在两个主要的挑战,一个是需要大量的参数,一个是需要处理非常长的用于表示上...
阅读原文

贾佳亚团队开源全球首个70B长文本大语言模型,读论文看小说直接ProMax

金磊 发自 凹非寺量子位 | 公众号 QbitAI家人们,苦长文本久矣的大语言模型(LLM),现在终于有解法了!就在最近,香港中文大学贾佳亚团队联合MIT宣布了一项...
阅读原文

76页综述+300余篇参考文献,天大团队全面介绍大语言模型对齐技术

机器之心专栏作者:熊德意教授团队天大自然语言处理团队从更广泛的 AI 对齐视角,审视大语言模型对齐技术,并从多个角度进行深入讨论。近日,天津大学熊德意...
阅读原文

斯坦福NLP课程XCS224U视频全部放出,干货满满,速来听讲

机器之心报道编辑:大盘鸡50 个视频任君学习!从对话智能体到搜索查询,自然语言理解(NLP)是当今许多最令人兴奋的技术的基础。如何建立这些模型来高效、可...
阅读原文

400万token,大模型推理飙升22倍!清华校友爆火一作,GitHub狂揽1.8k星

新智元报道编辑:润【新智元导读】大模型上下文限制不是事儿?大语言模型的上下文长度限制从此不存在了?!Meta、MIT、CMU的研究者最近刚刚发表了一篇论文,...
阅读原文

未来的人工智能语言,是 Rust 还是 Mojo ?

作者 | 张汉东本文转载自 觉学社 公众号原文地址:https://mp.weixin.qq.co...7ShPQKn10tTpHyw9 月 7 日,Modular 公司宣布正式发布 Mojo:Mojo 现在已经开放...
阅读原文

西交、清华等发布多模态大模型,有望成为「DALL·E 4」技术路线?和AI一起「白日作梦」

新智元报道编辑:LRS【新智元导读】DALL·E 3让我们看到了生成+理解的大语言模型的魔力。就在其发布的同一天,国内的一个新工作引起了社区的关注:DreamLLM。D...
阅读原文

GPT-4太烧钱!微软撑不住了,被曝悄悄启动Plan B

微软拨上千块GPU训练自研语言模型,或引入必应聊天。‍‍‍‍‍‍‍‍‍编译|ZeR0编辑|漠影智东西9月27日消息,据The Information昨日报道,微软这厢高调将GPT-4融入自...
阅读原文