标签：位置
LongRoPE：超越极限，将大模型上下文窗口扩展超过200万tokens
大数据文摘受权转载自微软亚洲研究院 编者按：大模型的飞速发展给人们的生活带来了前所未有的便利。我们是否能够设想利用大模型的潜力，快速扫描整部百科全书...
上海交大新框架解锁CLIP长文本能力，多模态生成细节拿捏，图像检索能力显著提升
白交 发自 凹非寺量子位 | 公众号 QbitAICLIP长文本能力被解锁，图像检索任务表现显著提升！ 一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架...
带摄像头的 AirPods，苹果会怎么做出来？
放飞创意 大胆探索苹果对智能产品的设计，正在放飞自我。 根据彭博社记者 Mark Gurman 的爆料，苹果在「未来设备」的规划里，有两个大胆的想法： 一是带有屏...
一览大模型长文本能力
智猩猩和智东西发起主办的2024中国生成式AI大会将于4月18-19日在北京举办。主会场将进行开幕式、大模型专场、AI Infra专场和AIGC应用专场；分会场将进行具身...
Transformer的无限之路：位置编码视角下的长度外推综述
机器之心专栏 机器之心编辑部在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，...
首创pix2emb范式！NUS清华联合发布NExT-Chat：对话/检测/分割全能多模态大模型
新智元报道编辑：LRS 好困 【新智元导读】研究人员提出了一个全新的位置建模方式pix2emb，可以在多模态对话模型中指定位置输入来回答问题。随着ChatGPT的爆红...
大模型都会标注图像了，简单对话即可！来自清华&NUS
张傲 投稿量子位 | 公众号 QbitAI多模态大模型集成了检测分割模块后，抠图变得更简单了！ 只需用自然语言描述需求，模型就能分分钟标注出要寻找的物体，并做...
AI绘图模型不会写字的难题，被阿里了
克雷西 发自 凹非寺量子位 | 公众号 QbitAI能准确写汉字的AI绘图工具，终于登场了！ 包括中文在内一共支持四种语言，而且还能文字的位置还能任意指定。 从此...
人大高瓴提出“注意力波”方法，70 亿参数 Llama 比肩 GPT-4
夕小瑶科技说 原创作者 | 智商掉了一地、python最近，随着大型语言模型（LLM）在人机交互、多模态任务和语言应用等领域的广泛应用，研究者们纷纷致力于提升这...
孩子喜欢飞机，于是我给她做了一个雷达
大数据文摘出品作者：Caleb今年夏天，我计划带着我的孩子出国。她很兴奋。在此之前，我和妻子决定大肆宣传一下这次的飞行之旅，主要是为了确保女儿能安稳地度...
GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？
机器之心专栏作者：吕昂，张凯翼，解曙方，涂权，陈雨涵，文继荣，严睿中国人民大学我们是否正在掉入中等智能陷阱？一个关于大语言模型 “逆转诅咒” 的分析与...
自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推
机器之心专栏作者：蚂蚁人工智能团队随着大语言模型的快速发展，其长度外推能力（length extrapolating）正日益受到研究者的关注。尽管这在 Transformer 诞生...
LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品
萧箫 发自 凹非寺量子位 | 公众号 QbitAI只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！还是在只有70亿参数的LLaMA 2上。要知道，即使...
最强LLaMA突然来袭！只改一个超参数，实现上下文3.2万token，多个任务打败ChatGPT、Claude 2
明敏 丰色 发自 凹非寺量子位 | 公众号 QbitAI悄无声息，羊驼家族“最强版”来了！与GPT-4持平，上下文长度达3.2万token的LLaMA 2 Long，正式登场。在性能上全...
韩国科学技术院最新成果：调动全身感官，机器狗也能在做中学
大数据文摘授权转载自机器人大讲堂作者：bilibili铁山靠作为一种来自传统武术的动作，主要是通过肩和胯来发力，在实际使用中往往可以爆发出惊人的力量……要是...
粤公网安备 44011502001135号