AIGC动态欢迎阅读
原标题:Meta「分割一切」进化2.0!一键跟踪运动物体,代码权重数据集全开源,网友:真正的OpenAI
关键字:视频,对象,模型,记忆,图像
文章来源:量子位
内容字数:0字
内容摘要:
明敏 发自 凹非寺量子位 | 公众号 QbitAI又是发布即开源!
Meta“分割一切AI”二代SAM2在SIGGRAPH上刚刚亮相。
相较于上一代,它的能力从图像分割拓展到视频分割。
可实时处理任意长视频,视频中没见过的对象也能轻松分割追踪。
更关键的是,模型代码、权重以及数据集通通开源!
它和Llama系列一样遵循Apache 2.0许可协议,并根据BSD-3许可分享评估代码。
网友yygq:我就问OpenAI尴尬不尴尬。
Meta表示,此次开源的数据集包含51000个真实世界视频和600000个时空掩码(masklets,spatio-temporal masks),规模远超此前最大同类数据集。
可在线试玩的demo也同步上线,大家都能来体验。
在SAM之上加入记忆模块相较于SAM一代,SAM2的能力升级主要有:
支持任意长视频实时分割
实现zero-shot泛化
分割和追踪准确性提升
解决遮挡问题
它进行交互式分割的过程主要分为两步:选择和细化。
在第一帧中,用户通过点击来选择目标对象,SAM2根据点击自动将分割传播到后续帧,形成时空掩码。
如果SAM2在某些帧中丢失了目标对象
原文链接:Meta「分割一切」进化2.0!一键跟踪运动物体,代码权重数据集全开源,网友:真正的OpenAI
联系作者
文章来源:量子位
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...