随意指定CLIP关注区域!上交复旦等发布Alpha-CLIP:同时保持全图+局部检测能力

AIGC动态11个月前发布 新智元
15 0 0

随意指定CLIP关注区域!上交复旦等发布Alpha-CLIP:同时保持全图+局部检测能力

AIGC动态欢迎阅读

原标题:随意指定CLIP关注区域!上交复旦等发布Alpha-CLIP:同时保持全图+局部检测能力

关键字:模型,区域,研究人员,能力,图片

文章来源:新智元

内容字数:4387字

内容摘要:新智元报道编辑:LRS【新智元导读】本文介绍了一个名为Alph-CLIP的框架,它在原始的接受RGB三通道输入的CLIP模型的上额外增加了一个alpha通道。在千万量级的RGBA-region的图像文本对上进行训练后,Alpha-CLIP可以在保证CLIP原始感知能力的前提下,关注到任意指定区域。通过替换原始CLIP的应用场景,Alpha-CLIP在图像识别、视觉-语言大模型、2D乃至3D生成领域都展现出强大作用。CLIP是目前最流行的视觉基座模型,其应用场景包括但不限于:与LLM大语言模型结合成为视觉多模态大模型;作为图像生成(Stable Diffusion)、点云生成(Point-E)的condition model,实现image-to-3D;用于指导NeRF的优化方向从而实现text-to-3D;本身用于开放类别的识别和检测。但CLIP必须以整张图片作为输入并进行特征提取,无法关…

原文链接:点此阅读原文:随意指定CLIP关注区域!上交复旦等发布Alpha-CLIP:同时保持全图+局部检测能力

联系作者

文章来源:新智元

作者微信:AI_era

作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...