AI项目和框架

VoxInstruct 是由清华大学开源的语音合成技术，能根据人类语言指令生成高度符合用户需求的语音。系统采用统一的多语言编解码器语言建模框架，将传统的文本到...

Pixtral 12B 是法国AI初创公司Mistral推出的首款多模态AI模型，能同时处理图像和文本。模型拥有 120 亿参数，模型大小约为 24GB，基于文本模型 Nemo 12B构建...

MMRole是由中国人民大学高瓴人工智能学院研究团队推出的的一种多模态角色扮演智能体（MRPA）框架。通过结合图像和文本，使智能体以特定角色进行更自然和沉浸...

RReHiFace-S是由硅基智能团队推出的开源项目，实现高保真、实时人脸替换的AI算法，用户通过简单的操作在视频或直播中进行面部交换。

NarratoAI 是基于AI技术自动化影视解说和编辑的工具。通过大型语言模型（LLM）理解视频内容，自动生成解说文案，并将文案转化为配音，同时进行视频剪辑和字幕...

Skywork-Reward 是昆仑万维推出的一系列高性能奖励模型，包括 Skywork-Reward-Gemma-2-27B 和 Skywork-Reward-Llama-3.1-8B。主要用于指导和优化大语言模型的...

Torch-MLU 是寒武纪开源的 PyTorch 设备后端扩展插件，支持开发者将寒武纪 MLU 系列智能加速卡作为 PyTorch 的加速后端使用。插件实现了对 PyTorch 的原生支...

ImageBind是Meta公司推出的开源多模态AI模型，将文本、音频、视觉、温度和运动数据等六种不同类型的信息整合到一个统一的嵌入空间中。模型通过图像模态作为桥...

LlamaCoder 是一个开源的 AI 工具，使用 Llama 3.1 405B 模型快速生成全栈应用程序。旨在提供一种替代 Claude Artifacts 的解决方案。集成了 Sandpack、Next....

XVERSE-MoE-A36B是由元象推出的中国最大的MoE（Mixture of Experts，混合专家模型）开源大模型。模型具有2550亿的总参数和360亿的激活参数，性能上与超过100B...

PyVideoTrans 是开源的视频翻译配音工具，将视频内容从一种语言自动翻译成另一种语言，并添加相应的字幕和配音。PyVideoTrans支持多语言，具备高效的语音识别...

ongCite是由清华大学推出的项目，旨在提升大型语言模型（LLMs）在长文本问答任务中的可信度和可验证性。项目通过生成细粒度的句子级引用，使用户能验证模型的...

CSGO（Content-Style Composition in Text-to-Image Generation）是由南京理工大学、小红书等机构合作开发的图像风格迁移和文本到图像生成的研究项目。CSGO的...

GameGen-O 是腾讯推出的一款基于 Transformer 架构的游戏视频生成模型，专门用于生成开放世界视频游戏。模型能模拟游戏引擎的多种功能，包括生成游戏角色、动...

SleepFM 是斯坦福大学开源的多模态睡眠分析模型，基于超过14,000名参与者的100,000小时睡眠数据，通过融合大脑活动、心电图和呼吸信号，提供全面的睡眠健康评...