端侧大模型系列 | UC伯克利打造端侧Agent：为函数调用而生！

AIGC动态欢迎阅读

原标题：端侧大模型系列 | UC伯克利打造端侧Agent：为函数调用而生！
关键字：模型,函数,工具,计划,报告
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

大会预告12月5日-6日，2024中国生成式AI大会（上海站）举办。将邀请50+位嘉宾围绕大模型、AI Infra、端侧生成式AI、AI视频生成和具身智能等议题进行同台分享和讨论。欢迎报名或购票。引言
简介
LLM函数调用
数据生成
模型微调
用Tool RAG提效
边缘部署与量化
总结
00引言从此音尘各悄然，春山如黛草如烟。今天这篇小作文主要介绍一种名为TinyAgent的端侧Agent方案。大语言模型（LLMs）通过自然语言来执行指令，增强了AI Agent系统的能力，尤其是在协调工具如ToolFormer和Gorilla时。然而，由于这些模型需要大量计算资源，通常在云端进行推理，这带来了隐私、安全和延迟等问题。为了应对这些挑战，许多研究者探索边缘设备上本地部署模型的可能性。
TinyAgent项目提出了一种解决方案：训练小型语言模型（SLM）以模仿大模型的关键能力，但不依赖于记忆通用世界知识。通过使用高质量、专用的数据集，研究人员展示了小型模型在函数调用任务中可以超越GPT-4-Turbo的性能。这些小型模型能够高效地在边缘设备上部署，确保隐私和实时响应，特别适用于语义系统中的

原文链接：端侧大模型系列 | UC伯克利打造端侧Agent：为函数调用而生！

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：