ControlLLM: 使用大语言模型控制工具，轻松定制个性化多模态模型

AIGC动态欢迎阅读

原标题：ControlLLM: 使用大语言模型控制工具，轻松定制个性化多模态模型
关键字：工具,任务,模型,分解,解决方案
文章来源：算法邦
内容字数：7567字

内容摘要：

直播预告 | 1月17日晚7点，「多模态大模型线上闭门会」正式开讲！阿里巴巴通义实验室 NLP 高级算法专家严明参与出品，携手刘兆洋、李彦玮、文束三位青年学者，共同探讨多模态大模型的发展与应用，欢迎报名。以GPT-4为代表的大语言模型（LLM）对话能力和文字能力已经足够出色，但我们认为，也许LLM能做的远不止对话，它也可以作为多模态大模型的控制中枢。但由于用户提示不明确、工具选择和参数设置的不精确，以及工具调度低效，它们仍然面临工具调用的挑战。一些方法目前基于的假设是每个子任务最多只有一个前置任务，这在现实应用中不够灵活。
ControlLLM推出了基于图搜索和任务分解的能够精确控制工具使用的多模态交互框架。能够将LLM为主要控制器，整合具有不同功能的工具作为插件，使用自研的图上搜索（Thoughts on Graph，ToG）算法进行合理的任务分解、工具选择以及高效的工具执行调度，使得模型可以更高效、更准确的理解用户需求。未来，用户可以使用ControlLLM，为大语言模型赋予自己需要的工具，轻松定制自己的多模态模型！论文:
https://arxiv.org/abs/2310.

原文链接：ControlLLM: 使用大语言模型控制工具，轻松定制个性化多模态模型