标签：多模态学习

DiffusionGPT是由来自字节跳动与中山大学的研究人员推出的一个开源的大模型（LLM）驱动的文本到图像生成系统，旨在解决文生图领域无法处理不同的输入或者仅限...

DiT（Diffusion Transformers）是一种新型的扩散模型，由William Peebles（Sora的研发负责人之一） 与纽约大学助理教授谢赛宁提出，结合了去噪扩散概率模型（...

CogVLM2是由智谱AI推出的新一代多模态大模型，在视觉和语言理解方面实现了显著的性能提升，支持高达8K的文本长度和1344*1344分辨率的图像输入，具备强大的文...

MOFA-Video是由腾讯AI实验室和东京大学的研究人员开源的一个可控性的图像生成视频的模型，该技术利用生成运动场适应器对图像进行动画处理以生成视频。

PixVerse V2是爱诗科技最新发布的AI视频生成产品，基于Diffusion+Transformer（DiT）架构，提供更长、更一致、更有趣的视频生成体验。引入自研时空注意力机制...

ControlNeXt是一种新型的AI图像和视频可控生成框架，由香港中文大学和商汤科技联合开发。采用轻量化控制模块和创新的交叉归一化技术，大幅降低计算资源和训练...

CogView-3-Plus是智谱AI最新推出的AI文生图模型，采用Transformer架构替代传统UNet，优化了扩散模型的噪声规划。CogView-3-Plus在图像生成方面表现出色，能根...

Video-LLaVA2是由北京大学ChatLaw课题组研发的开源多模态智能理解系统，通过创新的时空卷积（STC）连接器和音频分支，提升了视频和音频理解能力。模型在视频...

LLaVA-OneVision是字节跳动推出开源的多模态AI模型，LLaVA-OneVision通过整合数据、模型和视觉表示的见解，能同时处理单图像、多图像和视频场景下的计算机视...

PGTFormer是先进的视频人脸修复框架，通过解析引导的时间一致性变换器来恢复视频中的高保真细节，同时增强时间连贯性。该方法无需预对齐，基于语义解析选择最...

嵌入式学习（Embedded Learning）是一种创新的教育模式，将学习过程无缝地融入到日常工作和活动中。嵌入式学习认为，当学习内容与工作紧密相关时，员工的学习...

嵌入表示（Embedding Representations）是将实体（如单词、图像或用户）映射到连续的向量空间的过程，这些向量捕捉实体的内在属性和相互关系。在自然语言处理...

ImageBind是Meta公司推出的开源多模态AI模型，将文本、音频、视觉、温度和运动数据等六种不同类型的信息整合到一个统一的嵌入空间中。模型通过图像模态作为桥...

cogvlm2-llama3-caption模型是一个基于CogVLM2架构的视频描述生成模型。模型用于理解视频内容，自动生成描述视频内容的文本标题或字幕。

CogVideoX-Fun是一个基于CogVideoX结合EasyAnimate修改的AI视频生成整合包，提供了更自由的生成条件，支持文字生成视频、图片生成视频以及视频生成视频。工具...