标签:编码器

LLM可解释性的未来希望?稀疏自编码器是如何工作的,这里有一份直观说明

机器之心报道 编辑:Panda简而言之:矩阵 → ReLU 激活 → 矩阵在解释机器学习模型方面,稀疏自编码器(SAE)是一种越来越常用的工具(虽然 SAE 在 1997 年左右...
阅读原文

延迟交互模型,为什么是下一代RAG的标配?

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

开放域检测新SOTA!中山大学美团出品,开源性能最强

王豪 投稿自 凹非寺量子位 | 公众号 QbitAI开放域检测领域,迎来新进展—— 中山大学联合美团提出新模型OV-DINO,实现开放域检测开源新SOTA! 比Grounding DINO...
阅读原文

iPhone可跑2B小钢炮!谷歌Gemma 2来袭,最强显微镜剖解LLM大脑

新智元报道编辑:编辑部 【新智元导读】谷歌DeepMind的小模型核弹来了,Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B!而同时发布的Gemma S...
阅读原文

杀疯了!Meta开源SAM-2:可商用,随意分割视频、图像

9月6-7日,2024全球AI芯片峰会将在北京召开。目前,AMD人工智能事业部高级总监王宏强,清华大学交叉信息研究院助理教授、北极雄芯创始人马恺声,珠海芯动力创...
阅读原文

科大讯飞将在港投资 4 亿港元,专注大语言模型等开发;英伟达 Mistral AI 联手发布 12B 参数小模型丨AI情报局

01 今日融资快报科大讯飞将在香港投资 4 亿港元,并设立国际总部 科大讯飞公布了一项为期 5 年的 4 亿港元、投资计划,并在香港设立了国际总部。公司表示,这...
阅读原文

盛名一时的BERT哪去了?这个问题的答案昭示了LLM范式的转变

机器之心报道 编辑:Panda编码器模型哪去了?如果 BERT 效果好,那为什么不扩展它?编码器 - 解码器或仅编码器模型怎么样了?在大型语言模型(LLM)领域,现...
阅读原文

抛弃视觉编码器,这个「原生版」多模态大模型也能媲美主流方法

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

完全开源!谢赛宁发布最新SOTA多模态模型Cambrian-1,“不与GPT-4V媲美”

夕小瑶科技说 原创作者 | 21# 6月15日,智源大会「多模态大模型」论坛中,纽约大学助理教授谢赛宁从哲学的角度出发,分享了AI是否需要更强的视觉基础来实现理...
阅读原文

霉霉开口唱碧昂丝的歌,又是AI!口型不出戏,五官姿态也自然,复旦百度等出品|GitHub揽星1k+

西风 发自 凹非寺量子位 | 公众号 QbitAI一张人像、一段音频参考,就能让霉霉在你面前唱碧昂丝的《Halo》。 一种名为Hallo的研究火了,GitHub已揽星1k+。 话...
阅读原文

AI研究的主要推动力会是什么?ChatGPT团队研究科学家:算力成本下降

机器之心报道 编辑:PandaAI 研究发展的主要推动力是什么?在最近的一次演讲中,OpenAI 研究科学家 Hyung Won Chung 给出了自己的答案。 近日,斯坦福大学《C...
阅读原文

OpenAI新作署名Ilya,提取1600万个特征看透GPT-4大脑!

新智元报道编辑:乔杨 好困 【新智元导读】今天,OpenAI发布了一篇GPT-4可解释性的论文,似乎是作为前两天员工联名信的回应。网友细看论文才发现,这居然是已...
阅读原文

OpenAI公开破解GPT-4思维的新方法,Ilya也参与了!

西风 发自 凹非寺量子位 | 公众号 QbitAIOpenAI研究如何破解GPT-4思维,公开超级对齐团队工作,Ilya Sutskever也在作者名单之列。 该研究提出了改进大规模训...
阅读原文

OpenAI新研究破解GPT-4大脑,分解1600万个特征打开“黑匣子”,Ilya 、Jan Leike也参与了!

夕小瑶科技说 原创作者 | 付奶茶 6月7日凌晨,OpenAI在官网发布了一个新的研究成果,首次破解GPT-4的神经网络活动。通过改进大规模训练稀疏自动编码器将GPT-4...
阅读原文

Ilya参与,OpenAI给GPT-4搞可解释,提取了1600万个特征,还能看它怎么想

机器之心报道 编辑:小舟、泽南、大盘鸡大模型也可解释了? 大模型都在想什么?OpenAI 找到了一种办法,能给 GPT-4 做「扫描」,告诉你 AI 的思路,而且还把...
阅读原文