AI项目和框架

MagicTailor 是专门为组件可控个性化设计的新框架，让T2I模型在个性化过程中能够精确控制。MagicTailor 基于两个关键技术动态掩码退化（DM-Deg）和双流平衡（...

Claude Computer Use是Anthropic公司为Claude 3.5 Sonnet和Claude 3.5 Haiku模型推出的新功能，支持AI模型Claude执行类似人类的电脑操作，如查看屏幕、移动光...

Docling是开源的文档解析和转换工具，能高效地将多种格式的文档（包括PDF、DOCX、PPTX、图片和HTML）解析，导出为Markdown或JSON格式。Docling支持高级PDF理...

Cerebellum是基于Claude 3.5 Sonnet和Selenium WebDriver构建的浏览器AI智能助手，能理解任务意图、执行网页自动化任务，如数据抓取和网站自动化测试。Cerebe...

WebRL是清华大学、智谱AI联合推出的自我进化的在线课程强化学习框架，训练使用开放大型语言模型（LLMs）的高性能网络代理。WebRL动态生成任务、结果监督奖励...

GameGen-X是香港科技大学、中国科学技术大学等机构研究人员推出的扩散变换器模型，用在生成和交互控制开放世界游戏视频。模型能模拟游戏引擎功能，如创新角色...

OuteTTS是开源的文本到语音（TTS）项目，基于纯语言建模的方法生成语音。OuteTTS项目基于LLaMa架构，用Oute3-350M-DEV基础模型，拥有3.5亿参数。OuteTTS具备...

GTA（a benchmark for General Tool Agents）是上海交通大学和上海AI实验室共同推出的基准测试，评估大型语言模型（LLMs）在真实世界场景中调用工具的能力。G...

VQAScore是CMU和Meta联合推出的评估方法，基于视觉问答（VQA）模型衡量由文本提示生成的图像质量。VQAScore用计算模型对“Does this figure show {text}?”这一...

AndroidLab是用在训练和系统评估Android自主代理的框架，集成文本和图像模态操作环境，统一行动空间和可重现基准测试。AndroidLab支持大型语言模型和多模态模...

Recraft V3是Recraft公司推出的AI文本到图像生成模型，在Hugging Face的文本到图像模型排行榜上以1172的ELO评分荣获第一。模型具有高质量的图像生成和先进的...

Magentic-One 是微软推出的通用多智能体系统，解决跨领域的复杂网络和文件任务。系统基于多智能体架构，由Orchestrator智能体领导，协调WebSurfer、FileSurfe...

X-Portrait 2是字节跳动智能创作团队推出的单图视频驱动技术，基于一张静态照片和一段驱动视频生成高质量、电影级视频。X-Portrait 2保留原图身份特征，准确...

Ichigo是开源的多模态AI语音助手，采用混合模态模型，能实时处理语音和文本的交织序列。基于将语音直接量化为离散令牌，用统一的变换器架构同时处理语音和文...

CogSound是智谱AI最新推出的音效模型，能为无声视频增添动人的音效。 基于GLM-4V的视频理解能力，CogSound能精准识别理解视频背后的语义和情感，为无声视频添...