AI项目和框架

巨人网络推出的有声游戏生成大模型

千影 QianYing是巨人网络推出的有声游戏生成大模型,包含游戏视频生成大模型YingGame和视频配音大模型YingSound。YingGame面向开放世界游戏,是巨人网络AI La...
阅读原文

轻量级LLM应用开发框架,通过一行代码切换不同LLM

Promptic是轻量级的LLM应用开发框架,提供高效且符合Python风格的开发方式。基于LiteLLM,Promptic支持开发者能轻松切换不同的LLM服务提供商,只需更改一行代...
阅读原文

Ultravox:智能多模态助手实现文本与语音的无缝理解

Ultravox是新型的多模态大型语言模型(LLM),能直接理解文本和人类语音,无需依赖单独的自动语音识别(ASR)阶段。基于多模态投影器技术将音频数据转换为高...
阅读原文

谷歌推出的浏览网站智能体,能帮用户操作表格、在线购物

Project Mariner 是谷歌 DeepMind 推出的浏览器助手。Project Mariner基于 Gemini 2.0 技术,用 Chrome 扩展程序实现浏览器自动化,理解和执行网页任务。Proj...
阅读原文

开源的实时多模态 AI 代理框架

TEN Agent是集成OpenAI Realtime API和RTC技术的开源实时多模态AI代理框架。TEN Agent能实现语音、文本、图像的多模态交互,支持高性能的实时通信,具备低延...
阅读原文

FLOAT:音频驱动的流匹配技术实现动态说话人头像生成

FLOAT是DeepBrain AI 和韩国先进科技研究院推出的音频驱动说话人头像生成模型,基于流匹配生成模型,学习运动潜在空间实现高效的时间一致性运动设计。模型基...
阅读原文

MMAudio:高质量AI音频合成的多模态联合训练技术创新

MMAudio是先进视频到音频合成技术,基于多模态联合训练,让模型能在广泛的视听和音频文本数据集上进行训练。技术的核心是同步模块,确保生成的音频与视频帧精...
阅读原文

谷歌推出的原生多模态输入输出 + Agent 为核心的AI模型

Gemini 2.0是谷歌最新推出的原生多模态输入输出的AI模型。Gemini 2.0 Flash是2.0家族第一个模型,以多模态输入输出和Agent技术为核心,速度比 1.5 Pro快两倍...
阅读原文

书生·万象InternVL 2.5:创新驱动的多模态大语言模型提升智能交互体验

书生·万象InternVL 2.5是上海AI实验室的OpenGVLab团队推出的开源多模态大型语言模型(MLLM)系列。该系列模型在InternVL 2.0的基础上进行显著增强,特别是在...
阅读原文

开源文本转语音工具,ChatTTS扩展版支持语音克隆

ChatTTSPlus是ChatTTS的扩展版本,基于集成TensorRT加速、语音克隆和移动模型部署等先进技术,提升语音合成的性能和灵活性。在Windows平台上,能实现超过3倍...
阅读原文

FineWeb 2:多语言预训练数据集助力全球NLP应用的创新与发展

FineWeb 2是Hugging Face推出的多语言预训练数据集,覆盖超过1000种语言。FineWeb 2基于定制化的数据管道处理,包括语言识别、去重、内容过滤和PII匿名化,适...
阅读原文

EXAONE 3.5:LG推出的开源AI模型助力精准长文本处理与幻觉问题减少

EXAONE 3.5是LG AI研究院推出的开源AI模型,包含24亿、78亿和320亿参数的三个版本。EXAONE 3.5擅长长文本处理,在基准测试中表现优异,特别是在实际应用、长...
阅读原文

中科院联合美团推出的交互式驾驶世界模型数据集

DrivingDojo是中国科学院自动化研究所与美团无人车团队合作推出的数据集,用在训练和研究复杂的自动驾驶交互式世界模型。数据集包含18,000个视频片段,覆盖完...
阅读原文

上海大合腾讯等高校推出的3D服装生成技术

ClotheDreamer是上海大学、上海交通大学、复旦大学和腾讯优图实验室共同推出的3D服装生成技术,能根据文本描述生成高保真、可穿戴的3D服装资产。ClotheDreame...
阅读原文

构建视频智能体AI框架,用自然语言执行搜索、总结等复杂视频任务

Director是构建视频智能体的框架,用户能用自然语言命令执行复杂的视频任务,如视频搜索、编辑、合成和生成,并能即时流式传输结果。基于VideoDB的“视频即数...
阅读原文
15758596061115