这是2024年我们对LLMs所学到的东西

2024年，大型语言模型的世界发生了很多事情。以下是我们在过去一年中关于这个领域的一些发现，以及我对关键主题和关键时刻的尝试识别。\x0a这是对2023年的评论的续篇。

原标题：这是2024年我们对LLMs所学到的东西
文章来源：人工智能学家
内容字数：27624字

2024年大型语言模型(LLM)领域回顾：关键进展与趋势

本文总结了Simon Willison在其2024年12月31日博客文章中对大型语言模型(LLM)领域年度回顾的要点。文章涵盖了LLM在过去一年中的显著进步、关键趋势以及一些值得关注的挑战。

1. GPT-4的霸主地位被打破

2023年，GPT-4的性能领先其他模型，但2024年情况发生了巨大变化。多个组织的模型超越了GPT-4，例如Google的Gemini 1.5 Pro、Anthropic的Claude 3系列以及其他来自阿里巴巴、Meta、亚马逊等公司的模型。Chatbot Arena排行榜上，GPT-4已跌出前列，这标志着LLM领域的竞争日益激烈。

2. LLM的本地化运行成为可能

2024年，一些GPT-4级别的模型可以在高端个人电脑上运行，例如64GB内存的MacBook Pro。这归功于模型效率的显著提高，例如Meta的Llama 3.2模型，即使在iPhone上也能运行。这表明LLM的应用范围将进一步扩大。

3. LLM成本大幅下降

由于竞争加剧和效率提升，使用一流LLM的成本急剧下降。与2023年相比，2024年使用各种模型的成本降低了数十倍，这使得LLM的应用更加经济实惠，并降低了其环境影响。

4. 多模态LLM的兴起

多模态LLM，特别是支持图像、音频和视频处理的模型，在2024年得到了广泛发展。各大公司纷纷推出各自的多模态模型，使得LLM的应用场景更加丰富。

5. 语音和实时视频功能的突破

2024年，语音交互和实时视频处理功能成为现实。ChatGPT和Gemini等模型都具备了这些功能，使得LLM与用户的交互更加自然和便捷。

6. 基于提示的交互式应用的兴起

LLM可以生成交互式应用程序，例如使用Claude Artifacts或GitHub Spark。这种基于提示驱动的定制界面功能强大且易于构建，预计将在未来得到广泛应用。

7. 最佳模型的免费访问短暂

在2024年的几个月里，一些顶尖的LLM曾免费向公众开放，但这种局面可能不会持续。OpenAI推出了付费订阅服务，表明免费访问最佳模型的日子可能已经结束。

8. “智能体”(Agents) 的发展缓慢

虽然“智能体”的概念备受关注，但其定义模糊，实际应用仍面临诸多挑战，特别是易受性攻击的问题。

9. 评估(Evals) 的重要性凸显

自动评估对于LLM系统的开发和改进至关重要。良好的评估套件可以帮助开发者更快地迭代和改进模型，构建更可靠和有用的应用程序。

10. 苹果的MLX库表现出色

苹果的MLX库为Apple Silicon设备提供了强大的LLM运行支持，使得更多模型可以在Mac上高效运行。

11. 推理扩展模型的出现

推理扩展模型，例如OpenAI的o1和o3，通过在推理阶段花费更多计算资源来解决更复杂的问题，代表了LLM架构的进一步发展。

12. 中国LLM的快速发展

DeepSeek v3等中国模型的出现，表明中国在LLM领域取得了显著进展，其训练成本相对较低。

13. LLM的环境影响：好坏参半

LLM的效率提高降低了单个提示的能源消耗，但大规模基础设施建设仍对环境造成重大影响。

14. “Slop” 成为新术语

“Slop”被用来形容那些未经请求或审查的低质量AI生成内容，体现了对AI生成内容质量控制的需求。

15. 合成训练数据的有效性

利用合成数据进行模型训练越来越普遍，这被证明是一种有效的提高模型性能的方法。

16. LLM 的使用难度增加

LLM 的功能越来越强大，但其使用也变得更加复杂，需要用户具备更深入的理解和经验。

17. 知识差距的扩大

公众对LLM的了解程度存在巨大差异，需要更多努力来弥合这一差距。

18. 对LLM的批判性思考

LLM 既有优点也有缺点，需要批判性地看待其应用，避免负面影响。

总而言之，2024年是LLM领域充满活力的一年，取得了显著的进步，但也面临着一些挑战。未来，LLM 的发展方向将更加注重效率、多模态能力、可靠性和可解释性，以及更负责任的应用。

联系作者

文章来源：人工智能学家
作者微信：
作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构