多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案

AIGC动态欢迎阅读

原标题：多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案
关键字：模型,网页,片段,样本,框架
文章来源：量子位
内容字数：0字

内容摘要：

李川皓投稿量子位 | 公众号 QbitAI一个5月份完成训练的大模型，无法对《黑神话·悟空》游戏内容相关问题给出准确回答。
这是大模型的病了。
因为《黑神话》8月才上市，训练数据里没有它的相关知识。
众所周知，大模型的训练和微调会消耗大量计算资源和时间，这意味着频繁更新大模型的参数是不切实际的。
然而，现实世界中的信息是实时产生的且不断变化的。这使得大模型在完成训练后，对于后续新产生的信息感到陌生，所以无法提供准确可靠的反馈。
为此，上海人工智能实验室、北京理工大学、浙江大学、香港大合提出即插即用的SearchLVLMs框架，可以无缝整合任意的多模态大模型。
该框架在推理阶段对大模型进行互联网检索增强，使得大模型无需微调即可对实时信息进行准确的反馈。
研究团队提出首个辅助多模态大模型对实时信息进行反馈的开源检索增强框架SearchLVLMs。
该框架主要包括查询生成、搜索引擎调用、分层过滤三个部分。
以视觉问答为例，该框架会基于问题和图片生成查询关键词，并调用搜索引擎查找相关信息，再由粗到细地对检索结果进行过滤，得到对回答该问题有帮助的信息。
这些信息会以prompt的形式在

原文链接：多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案