AI项目和框架

MarkItDown是微软开源的多功能文档处理工具，能将PDF、PPT、Word、Excel、图像、音频、HTML等多种格式的文件转换成Markdown格式。支持OCR文字识别、语音转文...

豆包视觉理解模型是豆包推出的先进AI大模型，具备视觉识别和理解推理能力。豆包视觉理解模型能识别图像中物体的类别、形状、纹理等，还能理解物体间的关系和...

豆包3D生成模型是豆包推出的3D生成模型，属于豆包大模型家族。模型基于3D-DiT 架构，能生成高质量 3D 模块。与火山引擎数字孪生平台 veOmniverse 结合使用，...

MV-Adapter是多视图一致图像生成模型，是北京航空航天大学、VAST和上海交通大学的研究团队推出的。MV-Adapter能将预训练的文本到图像扩散模型转化为多视图图...

FACTS Grounding是谷歌DeepMind推出的评估大型语言模型（LLMs）能力的基准测试，衡量模型根据给定上下文生成事实准确且无捏造信息的文本的能力。FACTS Ground...

Manga Image Translator是开源的漫画图片文字翻译工具，能一键翻译漫画和图片中的文字。Manga Image Translator基于OCR技术识别文本，结合机器翻译将文字转换...

Ivy-VL是AI Safeguard联合卡内基梅隆大学和斯坦福大学推出的轻量级多模态AI模型，专为移动端和边缘设备设计。模型拥有3B参数量，相较于其他多模态大模型，显...

ColorFlow是清华大学和腾讯ARC实验室共同推出的图像序列着色模型，能精细化地保持图像序列中个体身份的同时进行着色。基于检索增强、上下文学习和超分辨率技...

NodeTool是开源的AI工作流可视化构建器。NodeTool集成广泛的AI工具和模型，基于简单、可视化的界面，让用户无需编码即可快速原型设计和测试。NodeTool支持在...

VMB（Visuals Music Bridge）是中国科学院信息工程研究所、中国科学院大学网络空间安全学院、上海人工智能实验室、上海交通大学等机构推出的多模态音乐生成框...

LatentLM是微软研究院和清华大学共同推出的多模态生成模型，能统一处理离散数据（如文本）和连续数据（如图像、音频）。模型用变分自编码器（VAE）将连续数据...

Lyra是香港中文大学、SmartMore和香港科技大学推出的高效多模态大型语言模型（MLLM），专注于提升语音、视觉和语言模态的交互能力。Lyra基于开源大型模型、多...

Ruyi是图森未来科技有限公司推出的图生视频大模型，专为在消费级显卡上运行设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、运动幅度控制和镜头...

Large Action Models（LAMs）是微软推出大型行动模型的开发框架，能执行真实世界行动的智能系统，LAMs超越传统LLMs（Large Language Models，大型语言模型）...

Leffa（Learning Flow Fields in Attention）是 Meta AI推出的用在可控人物图像生成框架，基于在注意力机制中引入流场学习，精确控制人物的外观和姿势。Leffa...