标签：多模态学习

原标题：田渊栋：2024年年终总结 文章来源：新智元 内容字数：7452字田渊栋2024年AI研究总结及2025年展望 本文总结了田渊栋博士2024年在人工智能领域的研究...

VideoVAE+（VideoVAE Plus）是香港科技大学团队推出的先进的跨模态视频变分自编码器（Video VAE），通过引入新的时空分离压缩机制和文本指导，实现了对大幅运...

视觉语言模型（Vision-Language Models, VLMs）是一种多模态人工智能系统，它结合了图像和文本的处理能力，以执行高级视觉语言任务，如视觉问答（Visual Ques...

原标题：行人、车辆、动物等ReID最新综述！武大等全面总结Transformer方法 | IJCV 2024 文章来源：新智元 内容字数：7928字Transformer在目标重识别 (Re-ID) ...

原标题：Llama2024年度要点总结 文章来源：人工智能学家 内容字数：7315字2024年Llama项目进展概述 随着2024年的结束，Llama项目在全球范围内取得了显著的进...

原标题：DeepSeek 怒抢视觉对话王座！DeepSeek-VL2 发布即开源，技术全公开 文章来源：夕小瑶科技说 内容字数：6315字DeepSeek-VL2：国内大模型领域的“拼多多...

通过VLM范式解决OCR任务的工作~

探索不同的对齐方法对MLLMs性能的影响~

该方法在解决问题的每一步都始终保持着较高的推理质量。

SmolVLM是Hugging Face推出的轻量级视觉语言模型，专为设备端推理设计。以20亿参数量，实现了高效内存占用和快速处理速度。SmolVLM提供了三个版本以满足不同...

StableV2V是中国科技大学推出的开源视频编辑项目，基于文本、草图、图片等输入实现视频中物体的精准编辑和替换。项目用形状一致的编辑范式，基于三个主要组件...

RAG-Diffusion是南京大学团队推出的区域感知文本到图像生成方法。基于区域硬绑定和区域软细化两个阶段，实现对图像中各个区域的精确控制和细节优化。RAG-Diff...

支持中文。

多模态深度学习（英文名：Multimodal Deep Learning）是人工智能（AI）的一个子领域，其重点是开发能够同时处理和学习多种类型数据的模型。本文解释了其定义...

IP-Adapter（Image Prompt Adapter）是一种专门为预训练的文本到图像扩散模型（如Stable Diffusion）设计的适配器，目的是让文生图模型能够利用图像提示来生...