GLM-4.5V – 智谱推出的最新一代视觉推理模型

GLM-4.5V是智谱AI推出的新一代视觉推理模型，基于106B参数规模构建，拥有12B激活能力，是目前领先的视觉语言模型。它在视觉理解、推理能力上表现卓越，适用于网页前端复刻、图寻游戏、视频理解等场景。

GLM-4.5V：开启多模态AI新篇章

您是否曾梦想过，只需一张网页设计图，就能瞬间生成前端代码？或者，让AI精准分析视频内容，提取关键信息？现在，这一切不再是幻想。智谱AI倾力打造的GLM-4.5V，正以其强大的视觉推理能力，引领多模态AI应用的新潮流。

核心功能一览

• 深度视觉理解与推理： 能够深入理解图像、视频等视觉内容，执行复杂的视觉推理任务，例如识别物体、分析场景、理解人物关系等。
• 多模态无缝交互： 支持文本与视觉内容的融合处理，可以根据文本描述生成图像，或根据图像生成文本描述，实现跨模态信息的转换。
• 网页前端代码生成： 轻松将网页设计图转化为可用的前端代码，加速网页开发流程。
• 智能图寻游戏： 支持在复杂场景中搜索和定位特定目标，为游戏开发、安防监控等领域提供强大支持。
• 视频内容智能分析： 深度解析视频内容，提取关键信息，实现视频摘要、检测等功能。
• 跨模态内容生成： 支持从视觉内容生成文本，或者从文本生成视觉内容，实现多模态内容的无缝转换。

技术亮点

• 大规模预训练： 基于106B参数的预训练架构，通过海量的文本和视觉数据进行训练，从而学言和视觉的联合表示。
• 视觉语言深度融合： 采用Transformer架构，融合文本和视觉特征，通过交叉注意力机制实现文本与视觉信息的深度交互。
• 高效激活机制： 模型设计12B激活参数，在推理过程中动态激活相关的参数子集，从而提高计算效率和推理性能。
• 架构继承与优化： 继承GLM-4.1V-Thinking的优秀架构，并结合新一代文本基座模型GLM-4.5-Air进行训练，进一步提升模型性能。
• 多任务灵活适配： 通过微调和优化，模型能适应多种多模态任务，如视觉问答、图像描述生成、视频理解等。

卓越性能表现

GLM-4.5V在各项基准测试中均展现出卓越的性能：

• 通用视觉问答： 在通用视觉问答任务中表现优异，尤其在MMBench v1.1基准测试中得分高达88.2。
• STEM领域： 在科学、技术、工程和数学相关任务中同样表现出色，例如在MathVista测试中获得84.6的高分。
• 长文档与图表处理： 在处理长文档和图表的OCRBench测试中，GLM-4.5V以86.5分的优异成绩脱颖而出。
• 视觉定位： 在视觉定位任务上表现突出，RefCOCO+loc (val)测试得分为91.3。
• 空间推理： 在空间推理能力方面，GLM-4.5V在CV-Bench测试中取得87.3分的优异成绩。
• 编程能力： 在编程任务中，GLM-4.5V在Design2Code基准测试中得分82.2，展现其在代码生成和理解方面的强大能力。
• 视频理解： 在视频理解方面同样表现出色，在VideoMME (w/o sub)测试中得分74.6。

产品官网

了解更多关于GLM-4.5V的信息，请访问：

• GitHub仓库： https://github.com/zai-org/GLM-V/
• HuggingFace模型库： https://huggingface.co/collections/zai-org/glm-45v-68999032ddf8ecf7dcdbc102
• 技术论文： https://github.com/zai-org/GLM-V/tree/main/resources/GLM-4.5V_technical_report.pdf
• 桌面助手应用： https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App

应用场景

• 网页设计到代码的无缝转换： 开发者只需上传网页设计图，GLM-4.5V即可自动生成前端代码，极大提高开发效率。
• 智能问答系统： 用户上传图像并提出问题，模型即可根据图像内容给出准确的答案，适用于教育、智能客服等领域。
• 游戏与安防领域的应用： 在复杂场景中快速定位目标图像，为游戏开发、安防监控提供强大支持。
• 视频内容分析与摘要： 自动分析视频内容，提取关键信息，生成摘要或检测，优化视频推荐、编辑和监控。
• 图像描述生成： 为上传的图像生成精准描述文本，辅助视障人士理解图像，提升社交媒体分享体验。

常见问题

Q: 如何开始使用GLM-4.5V？

A: 访问 Z.ai 官网，注册并登录账号。在模型选择下拉框中选择GLM-4.5V，即可体验各项功能。

Q: GLM-4.5V的API调用价格是多少？

• 输入：2 元/M tokens
• 输出：6 元/M tokens

Q: GLM-4.5V的响应速度如何？

A: 达到 60-80 tokens/s。