AI项目和框架

Kandinsky-3是基于潜在扩散模型的文本到图像（T2I）生成框架，以高质量和逼真度在图像合成领域脱颖而出。Kandinsky-3能适应多种图像生成任务，包括文本引导的...

CAVIA是苹果公司、得克萨斯大学奥斯汀分校、谷歌联合推出的多视角视频生成框架，能将单一输入图像转换成多个时空一致的视频序列。框架基于引入视角集成注意力...

Flex3D是由Meta的GenAI团队和牛津大学研究团队推出的创新的两阶段3D生成框架，能基于任意数量的高质量输入视图，解决从文本、单张图片或稀疏视图图像生成高质...

StoryTeller是字节跳动、上海交通大学和北京大学共同推出的系统，能基于音频视觉角色识别技术改善长视频描述的质量和一致性。系统结合低级视觉概念和高级剧情...

DELIFT（Data Efficient Language model Instruction Fine-Tuning）是新型算法，用在优化大型语言模型（LLMs）在指令调优、任务特定微调和持续微调三个关键阶...

HART（Hybrid Autoregressive Transformer）是麻省理工学院研究团队推出的自回归视觉生成模型。能直接生成1024×1024像素的高分辨率图像，质量媲美扩散模型。H...

WebDreamer是俄亥俄州立大学和Orby AI研究团队推出的基于模型规划的网络智能体，基于大型语言模型（LLMs），特别是GPT-4o，作为世界模型预测网站上的交互结果...

BALROG是评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏上的推理能力，特别是模型在动态环境中的规划、空间推理和探索能力。基于一系列挑战性的游戏...

AutoVFX是先进的物理特效框架，是伊利诺伊大学香槟分校研究团队推出的，能根据自然语言指令自动创建真实感和动态的视觉特效（VFX）视频。框架集成神经场景建...

Markdown-to-Image是开源的Markdown 转为海报的编辑器，作为React组件能将Markdown文本内容转换成图像，适用于创建社交媒体帖子、海报和其他视觉内容。工具支...

TÜLU 3是艾伦人工智能研究所（Ai2）推出的一系列开源指令遵循模型，包括8B和70B两个版本，未来计划推出405B版本。模型在性能上超越Llama 3.1 Instruct版本，...

EchoMimicV2是蚂蚁集团推出的半身人体动画（数字人）生成方法，基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频，确保音频内容与半身动作的一致性。...

FlipSketch 是萨里大学推出的创新系统，能将静态绘图转变为文本引导的草图动画。技术基于三个关键创新实现：微调草图风格的帧生成、用噪声细化保持输入草图视...

Add-it是NVIDIA推出的无需训练的图像编辑技术，能根据文本指令在图像中添加对象。这项技术基于扩展扩散模型的注意力机制，整合场景图像、文本提示和生成图像...

DINO-X是IDEA研究院推出的通用视觉大模型，具备开放世界对象检测与理解能力。支持文本、视觉和定制提示，能识别图像中的任何对象而无需用户提示。基于超过1亿...