标签:指令

从BLIP-2到Qwen2-VL,多模态大模型的技术点总结

开讲预约导读原文来自知乎,作者为jewellery,标题为《多模态大模型技术点总结》。作者对BLIP-2、InstructBLIP、LLaVA、LLaVA-1.5、MiniGPT-4、MiniGPT-v2、Q...
阅读原文

如何从零训练多模态大模型(预训练方向)

开讲预约导读原文来自知乎,作者为HelloWorld,标题为《LLaVA(六)训练你自己的多模态模型》。作者详细介绍了如何从零训练LLaVA v1.5多模态模型,包括特征对...
阅读原文

斯坦福新作:无指令调优的指令遵循

机器之心报道 编辑:杜伟、陈陈指令调优(Instruction tuning)是一种优化技术,通过对模型的输入进行微调,以使其更好地适应特定任务。先前的研究表明,指令...
阅读原文

仅用4块GPU、不到3天训练出「开源版GPT-4o」,这是国内团队最新研究

机器之心报道 编辑:小舟、陈陈LLaMA-Omni能够接收语音指令,同步生成文本和语音响应,响应延迟低至 226ms,低于 GPT-4o 的平均音频响应延迟 320ms。以 ChatG...
阅读原文

阿里史上最大规模开源发布,超GPT-4o 、Llama-3.1!

文章转载自公众号:AIGC开放社区,本文只做学术/技术分享,如有侵权,联系删文。 今天凌晨,阿里巴巴官宣了史上最大规模的开源发布,推出了基础模型Qwen2.5、...
阅读原文

北大提出首个通用指令导航大模型系统 | CoRL 24

董豪团队 投稿量子位 | 公众号 QbitAI想象一下当你躺在沙发上,只需要不假思索地说出指令,机器人就能帮你干活,是不是听起来就十分惬意? 如今这种科幻电影...
阅读原文

LLM对齐综述|迈向可扩展的大模型自动对齐,中科院软件所&阿里千问发布

夕小瑶科技说 原创作者 | 中科院软件所&阿里千问近年来,大模型的高速发展极大地改变了人工智能的格局。对齐(Alignment) 是使大模型的行为符合人类意图...
阅读原文

RL 是 LLM 的新范式

AGI 正在迎来新范式,RL 是 LLM 的秘密武器。最近几个月,我们能明显感受到头部 AI labs 在形成一些新共识:post training 的重要程度在提高,需要的计算资源...
阅读原文

Meta浙大校友让评估模型「自学成才」,数据全合成无需人工标注,训练Llama 3 70B超过405B

新智元报道编辑:乔杨 【新智元导读】随着LLM不断迭代,偏好和评估数据中大量的人工标注逐渐成为模型扩展的显著障碍之一。Meta FAIR的团队最近提出了一种使用...
阅读原文

打脸“AI灭绝伦”!研究反驳:大模型涌现能力不会威胁人类生存

大数据文摘受权转载自学术头条 大语言模型(LLM)因“涌现能力”(emergent abilities)而拥有了超出人类预期的技能,但也因此让人类十分忌惮:操纵、欺骗人类...
阅读原文

世界模型又近了?MIT惊人研究:LLM已模拟现实世界,绝非随机鹦鹉!

新智元报道编辑:编辑部 【新智元导读】MIT CSAIL的研究人员发现,LLM的「内心深处」已经发展出了对现实的模拟,模型对语言和世界的理解,绝不仅仅是简单的「...
阅读原文

10人明星团队炼出首个微调Llama 3.1 405B!角色扮演一秒入戏,代码全开源

新智元报道编辑:编辑部 【新智元导读】发布40天后,最强开源模型Llama 3.1 405B等来了微调版本的发布。但不是来自Meta,而是一个专注于开放模型的神秘初创No...
阅读原文

Apple Intelligence存重大安全缺陷,几行代码即可攻破!Karpathy发文提醒

新智元报道编辑:耳朵 乔杨 【新智元导读】Apple Intelligence上线在即,一小哥几行代码曝出Apple Intelligence安全缺陷。在2024年全球开发者大会 (WWDC) 上...
阅读原文

香港理工:你精心设计的prompt,很容易被用户套出来!

夕小瑶科技说 原创作者 | 谢年年自OpenAI的GPT系列及微软Copilot Studio惊艳登场以来,第三方开发者群体迅速壮大,他们巧妙地设计个性化prompts,并与专业领...
阅读原文

Prompt自相矛盾,大模型能发现吗?上海交通大学最新研究解密 | ECCV 2024

上海交通大学王德泉课题组 投稿量子位 | 公众号 QbitAI上海交通大学王德泉教授课题组在最新研究中提出了这样的一个问题。 设想这样一个场景:一个幼儿园的小...
阅读原文
123411