苹果突破内存限制，将大型语言模型嵌入iPhone

AIGC动态欢迎阅读

原标题：苹果突破内存限制，将大型语言模型嵌入iPhone
关键字：苹果,模型,内存,闪存,技术
文章来源：AI范儿
内容字数：3166字

内容摘要：

点击上方蓝字关注我们“苹果研究人员成功运用创新的闪存技术，克服了iPhone内存限制，实现了大型语言模型在有限内存下的高效推理。通过窗口化和行列捆绑等关键技术，他们使AI模型能在iPhone等设备上以更高速度运行，为未来Siri更新、实时语言翻译以及复杂AI功能的应用打开新可能。这一技术突破将提升用户体验，预计在2024年底左右的iOS 18中亮相。苹果的人工智能研究团队近期宣布了一项引人注目的技术突破，该突破将有望使大型语言模型（LLMs）在内存受限的设备上实现更为高效的部署，其中包括iPhone等内存有限的苹果设备。这一消息揭示了苹果在人工智能领域的积极探索，为未来的产品创新和用户体验提供了潜在的巨大推动力。
苹果的研究人员在一篇名为《闪存中的LLM：有限内存下高效的大型语言模型推理》的研究论文中详细介绍了这一创新性技术。论文指出，基于大型语言模型的聊天机器人，如ChatGPT和Claude，通常对内存和数据的需求较高，这在内存容量有限的设备上提出了显著挑战。为应对这一挑战，苹果研究人员采用了一种巧妙的方法，即通过创新的闪存利用技术将AI模型的数据成功存储在闪存中。
这项技术的核心

原文链接：苹果突破内存限制，将大型语言模型嵌入iPhone