标签:位置

一览大模型长文本能力

智猩猩和智东西发起主办的2024中国生成式AI大会将于4月18-19日在北京举办。主会场将进行开幕式、大模型专场、AI Infra专场和AIGC应用专场;分会场将进行具身...
阅读原文

Transformer的无限之路:位置编码视角下的长度外推综述

机器之心专栏 机器之心编辑部在自然语言处理(Natural Language Processing,NLP)领域,Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而,...
阅读原文

首创pix2emb范式!NUS清华联合发布NExT-Chat:对话/检测/分割全能多模态大模型

新智元报道编辑:LRS 好困 【新智元导读】研究人员提出了一个全新的位置建模方式pix2emb,可以在多模态对话模型中指定位置输入来回答问题。随着ChatGPT的爆红...
阅读原文

大模型都会标注图像了,简单对话即可!来自清华&NUS

张傲 投稿量子位 | 公众号 QbitAI多模态大模型集成了检测分割模块后,抠图变得更简单了! 只需用自然语言描述需求,模型就能分分钟标注出要寻找的物体,并做...
阅读原文

AI绘图模型不会写字的难题,被阿里破解了

克雷西 发自 凹非寺量子位 | 公众号 QbitAI能准确写汉字的AI绘图工具,终于登场了! 包括中文在内一共支持四种语言,而且还能文字的位置还能任意指定。 从此...
阅读原文

人大高瓴提出“注意力波”方法,70 亿参数 Llama 比肩 GPT-4

夕小瑶科技说 原创作者 | 智商掉了一地、python最近,随着大型语言模型(LLM)在人机交互、多模态任务和语言应用等领域的广泛应用,研究者们纷纷致力于提升这...
阅读原文

孩子喜欢飞机,于是我给她做了一个雷达

大数据文摘出品作者:Caleb今年夏天,我计划带着我的孩子出国。她很兴奋。在此之前,我和妻子决定大肆宣传一下这次的飞行之旅,主要是为了确保女儿能安稳地度...
阅读原文

GPT、Llama等大模型存在「逆转诅咒」,这个bug该如何缓解?

机器之心专栏作者:吕昂,张凯翼,解曙方,涂权,陈雨涵,文继荣,严睿中国人民大学我们是否正在掉入中等智能陷阱?一个关于大语言模型 “逆转诅咒” 的分析与...
阅读原文

破解自注意力推理缺陷的奥秘,蚂蚁自研新一代Transformer或实现无损外推

机器之心专栏作者:蚂蚁人工智能团队随着大语言模型的快速发展,其长度外推能力(length extrapolating)正日益受到研究者的关注。尽管这在 Transformer 诞生...
阅读原文

LLaMA2上下文长度暴涨至100万tokens,只需调整1个超参数|复旦邱锡鹏团队出品

萧箫 发自 凹非寺量子位 | 公众号 QbitAI只需微调一下,大模型支持上下文大小就能从1.6万tokens延长至100万?!还是在只有70亿参数的LLaMA 2上。要知道,即使...
阅读原文

最强LLaMA突然来袭!只改一个超参数,实现上下文3.2万token,多个任务打败ChatGPT、Claude 2

明敏 丰色 发自 凹非寺量子位 | 公众号 QbitAI悄无声息,羊驼家族“最强版”来了!与GPT-4持平,上下文长度达3.2万token的LLaMA 2 Long,正式登场。在性能上全...
阅读原文

韩国科学技术院最新成果:调动全身感官,机器狗也能在做中学

大数据文摘授权转载自机器人大讲堂作者:bilibili铁山靠作为一种来自传统武术的动作,主要是通过肩和胯来发力,在实际使用中往往可以爆发出惊人的力量……要是...
阅读原文

突破大型语言模型输入字符限制的方法有了!

夕小瑶科技说 分享来源 | 机器之心我们知道在使用 GPT 和 LLaMA 等大型语言模型时,输入的 prompt 存在字符数限制,比如 ChatGPT 目前的输入字符限制是 4096 ...
阅读原文

想让大模型在prompt中学习更多示例,这种方法能让你输入更多字符

机器之心报道编辑:Panda W我们知道在使用 GPT 和 LLaMA 等大型语言模型时,输入的 prompt 存在字符数限制,比如 ChatGPT 目前的输入字符限制是 4096 个字符...
阅读原文

混合精度下位置编码竟有大坑,llama 等主流开源模型纷纷中招!百川智能给出修复方案

作者 | 百川智能 位置编码技术是一种能够让神经网络建模句子中 Token 位置信息的技术。在 Transformer 大行其道的时代,由于 Attention 结构无法建模每个 tok...
阅读原文
12