万字长文细说端侧大模型进展

AIGC动态欢迎阅读

原标题：万字长文细说端侧大模型进展
关键字：模型,设备,语言,高效,内存
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

开讲预告11月7日晚7点，上海 AI Lab OpenGVLab 博士后研究员罗根，将以《Mono-InternVL: 突破原生多模态大模型性能瓶颈》为主题进行直播讲解，欢迎扫名~01引言树树皆秋色，山山唯落晖。最近，智谱AI推出的智能体AutoGLM引起了广泛关注。随着测试的深入，用户对该产品需要将屏幕数据上传至云端所带来的隐私安全问题愈发担忧。为此，今天小编将基于近期一篇关于端侧大模型的综述文章，介绍该领域的一些最新进展。随着端侧大模型的发展，这些隐私安全的顾虑有望得到有效缓解。
论文地址：https://arxiv.org/abs/2409.00088
02简介大型语言模型（LLMs）的出现彻底改变了自然语言处理（NLP）领域。由于其在边缘设备上的低延迟、数据本地化和个性化用户体验的优势，越来越多的研究关注在资源受限环境中部署LLMs的挑战与解决方案。本文综述了设备端语言模型的发展，包括高效架构设计、模型压缩技术及硬件加速策略，并通过案例研究展示其实际应用及潜在优势。
03基础与准备工作3.1 端侧大模型的演进
设备端大型语言模型的演进与技术进步息息相关。图3展示了自2023

原文链接：万字长文细说端侧大模型进展