AI项目和框架

Zonos是Zyphra推出的高保真文本到语音（TTS）模型。Zonos包含两个模型：16亿参数的Transformer模型和SSM混合模型，均在Apache 2.0许可下开源。Zonos根据文本...

ProtGPS（Protein Localization Prediction Model）是麻省理工学院（MIT）和怀特黑德生物医学研究所推出的，基于深度学习的蛋白质语言模型，用在预测蛋白质在...

potpie.ai 是开源平台，基于AI技术为代码库创建定制化的工程代理（Agents）。potpie.ai基于构建代码库的知识图谱，深度理解代码组件之间的关系，实现自动化代...

MoMask是创新的3D人体动作生成工具，通过生成式掩码建模技术，能根据文本描述生成高质量的3D人体动作。MoMask采用分层量化方案，将人体运动表示为多层离散的...

UltraMem 是字节跳动豆包大模型团队提出的全新超稀疏模型架构，解决传统 MoE 架构在推理时的高额访存问题。架构通过优化内存访问和计算效率，显著降低推理成...

HumanDiT 是浙江大学和字节跳动联合提出的姿态引导的高保真人体视频生成框架。基于扩散变换器（Diffusion Transformer，DiT），能在大规模数据集上训练，生成...

TPO（Test-Time Preference Optimization）是新型的AI优化框架，在推理阶段对语言模型输出进行动态优化，更符合人类偏好。TPO通过将奖励信号转化为文本反馈，...

PDF to Podcast是NVIDIA推出的PDF转音频的AI工具，基于NVIDIA NIM微服务架构的，能将PDF文档转换为生动的音频内容，如播客。基于大型语言模型（LLM）、文本到...

InternVideo2.5是上海人工智能实验室联合南京大学、中科院深圳先进技术研究院共同开源的视频多模态大模型。在视频理解领域取得了显著进展，特别是在长视频处...

YAYI-Ultra 是中科闻歌研发的企业级大语言模型的旗舰版本，具备强大的多领域专业能力和多模态内容生成能力。支持数学、代码、金融、舆情、中医、安全等多个领...

HUGWBC（Humanoid Unified and General Whole-Body Controller）是上海交通大学、上海AI Lab联合推出的人形机器人全身控制器，能实现精细的运动控制。HUGWBC...

VideoCaptioner（中文名：卡卡字幕助手）是基于大语言模型（LLM）的智能字幕处理工具，能简化视频字幕的生成与优化流程。VideoCaptioner支持语音识别、字幕断...

Zonos-v0.1是Zyphra推出的高保真文本到语音（TTS）模型。Zonos-v0.1包含两个模型：16亿参数的Transformer模型和SSM混合模型，均在Apache 2.0许可下开源。Zono...

InspireMusic 是阿里巴巴通义实验室开源的音乐生成技术，通过人工智能为用户生成高质量的音乐作品。基于多模态大模型技术，支持通过简单的文字描述或音频提示...

Goku是香港大学和字节跳动联合发布的最新视频生成模型，专为图像和视频的联合生成设计。基于先进的rectified flow Transformer框架，支持文生视频、图生视频...