开源版SearchGPT来了，两张3090就可复现，超越Perplexity付费版

AIGC动态欢迎阅读

原标题：开源版SearchGPT来了，两张3090就可复现，超越Perplexity付费版
关键字：腾讯,模型,视觉,图像,区域
文章来源：量子位
内容字数：0字

内容摘要：

VSA团队投稿量子位 | 公众号 QbitAIOpenAI推出SearchGPT没几天，开源版本也来了。
港中文MMLab、上海AI Lab、腾讯团队简易实现了Vision Search Assistant，模型设计简单，只要两张RTX3090就可复现。
Vision Search Assistant（VSA）以视觉语言模型（VLM）为基础，巧妙地将Web搜索能力融入其中，让VLM内部的知识得到实时更新，使其更加灵活和智能。
目前，VSA已经针对通用图像进行了实验，可视化和量化结果良好。但不同类别的图像各具特色，还可以针对不同种类的图像（比如表格、医学等）构建出更为特定的VSA应用。
更令人振奋的是，VSA的潜力并不仅限于图像处理。还有更广阔的可探索空间，比如视频、3D模型和声音等领域，期待能将多模态研究推向新的高度。
让VLM处理未见过的图像和新概念大型语言模型（LLM）的出现让人类可以利用模型的强大零样本问答能力来获取陌生知识。
在此基础上，检索增强生成（RAG）等技术进一步提高了LLM在知识密集型、开放域问答任务中的表现。然而，VLM在面对未见过的图像和新概念时，它们往往不能利

原文链接：开源版SearchGPT来了，两张3090就可复现，超越Perplexity付费版