Qwen-MM-Plugins

Qwen-MM-Plugins 官网

Qwen-MM-Plugins 是阿里通义千问团队开源的跨平台多模态智能体插件套件，采用 Apache 2.0 许可证发布。它把图像理解、视频分析、文档解析、3D 建模、CAD 操作等原本需要工具链的多模态能力，打包为可安装的技能（Skill）+ MCP 服务器，能直接接入 Claude Code、Codex、Gemini CLI、OpenClaw 等主流智能体框架。它让”文本驱动的编程智能体”瞬间获得视觉感知和多媒体操作能力，而不需要开发者更换整个工作流。

Qwen-MM-Plugins 的主要功能：

1. Core 核心包：提供图像、视频、文档、3D 模型的全面理解能力，包括 OCR 文字识别、物体定位（grounding）、图像分割、语音转录、视觉和网页搜索。
2. Video-Memory 长视频记忆：构建层级图记忆结构，实现超过 30 分钟长视频的问答和理解，告别逐帧解析的低效模式。
3. Video-Edit 视频编辑：管理图像、视频和音频的生成与编辑工作流，直接在智能体内调度媒体处理。
4. Blender 3D 控制：通过 Python 工具直接控制运行中的 Blender 实例，涵盖建模、材质、光照、渲染等全流程 3D 创作。
5. FreeCAD 参数化设计：支持参数化建模、属性修改、STEP/STL 导入导出以及有限元分析（FEM），让 CAD 流程融入智能体自动化。
6. Edu-Agent 教育视频生成：输入数学或科学题目，自动生成中文分步讲解视频或交互式页面。

如何使用 Qwen-MM-Plugins？

使用流程如下：

1. 克隆仓库或运行一键安装脚本：curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bash；
2. 运行 install.sh configure 配置 DashScope API Key（用于视觉/OCR/转录等高级功能）和 Serper API Key（用于搜索）；
3. 选择需要的插件包通过智能体的插件管理器安装——例如在 Claude Code 中安装核心包即可获得图像/文档/视频分析能力；
4. 在智能体对话中直接上传图片、视频或文档，智能体会自动调用对应插件完成分析。

Qwen-MM-Plugins 的使用场景：

1. 开发者增强编程智能体：让 Claude Code 或 Codex 能直接”看懂” UI 截图并还原为前端代码，”读懂” PDF 设计文档后生成实现方案。
2. 3D 与 CAD 自动化：通过自然语言指挥 Blender 完成建模、渲染，或用 FreeCAD 进行参数化设计自动化，大幅降低专业软件的操作门槛。
3. 多媒体内容分析：将长视频、音频文件直接丢给智能体，自动总结要点、提取关键帧、生成文字纪要。

Qwen-MM-Plugins：产品价格与版本

1. 开源免费：代码以 Apache 2.0 许可证开源，可使用、修改和商用。
2. API 调用费用：图像/文档本地读取免费（无需 API Key）；视觉、OCR、语音转录、视频记忆等高级功能需调用阿里云 DashScope API，按量计费。
3. 第三方服务：网页搜索需 Serper API Key（计费）。

Qwen-MM-Plugins 的常见问题解答：

和直接使用多模态模型有什么区别？

多模态模型（如 Qwen-VL、GPT-4V）提供的是”看懂”的能力，但你需要自己写代码来接入智能体框架。Qwen-MM-Plugins 预包装了完整的技能定义和 MCP 工具，安装即用，无需写胶水代码。

支持哪些智能体框架？

官方引导安装器支持 Claude Code、Codex、Qoder、OpenClaw、Qwen Code、Gemini CLI。手动配置后也可用于 opencode、pi 等兼容 MCP 的框架。Windows 上需通过 WSL2 运行。

我的数据会传到云端吗？

基础图像/文档读取在本地完成。但视觉、OCR、转录等功能依赖 DashScope API，数据会传输到阿里云处理。Blender/FreeCAD 控制完全本地运行。

Qwen-MM-Plugins 官网网址

GitHub 地址：https://github.com/QwenLM/Qwen-MM-Plugins

OpenI AI时代点评

Qwen-MM-Plugins 做了一件很聪明的事：不去跟 Claude Code、Codex 抢”谁是最好的智能体框架”，而是让所有框架都变得更强。这就像给每个编程智能体装上了一套”感官系统”——从此它们不再只活在纯文本世界里，能看图、看视频、读文档、操作 3D 软件。Apache 2.0 开源意味着商业项目也能放心用，对创业团队尤为友好。对于想用 AI 智能体做多媒体内容处理、3D 自动化或教育内容生成的团队，这套插件能省掉大量重复造轮子的时间。相关阅读：WorkBuddy、OpenClaw。