淘宝星辰

淘宝星辰 – 阿里妈妈推出的视频生成大模型

淘宝星辰是阿里妈妈推出的一款电商视频生成大模型，专为淘宝和天猫商家量身打造。该工具能够根据商家提供的图片或文本指令，一键生成高质量的视频。它的核心优势在于对商品展示的深刻理解，能够精准识别并应用适合不同商品的展示手法；同时具备强大的多语种语义理解能力，确保生成的视频与用户的意图高度契合；遵循物理和动作规律，使得画面流畅自然；还能稳定保持人物、商品及装饰元素的清晰与完整。

淘宝星辰是什么

淘宝星辰是阿里妈妈开发的一款电商视频生成大模型，专为淘宝和天猫的商家设计。它可以根据商家上传的图片或文本指令，快速生成高质量的视频。其核心优势在于对商品展示的深刻理解，能够精准地识别并应用适合不同类别商品的展示手法。此外，淘宝星辰具备强大的多语言语义理解能力，确保视频生成能够满足用户的需求。该工具遵循物理和动作规律，保证视频画面流畅自然，同时有效保持人物、商品及装饰元素的清晰完整，提升视觉效果。商家可利用该工具为商品详情页增添生动的视频内容，从而提升商品的吸引力。目前，该工具已向淘宝和天猫商家开放使用。

淘宝星辰的主要功能

• 精准的商品展示手法：基于丰富的电商数据和设计经验，自动识别并应用最适合不同商品类别的展示手法，确保每件商品都能以最佳方式展现。
• 强大的多语言语义理解能力：深刻理解参考图片和多语言指令（中、英），精准捕捉文本指令中的关键动作信息，确保生成视频与用户意图高度契合。
• 遵循物理和动作规律：严格遵循物理规律和动作规范，保证视频画面流畅自然，避免不符合现实的效果，提升视频的真实感与专业度。
• 稳定的元素清晰性：无论是人脸、商品，还是文字、贴纸等装饰元素，始终保持清晰完整，无抖动或变形，增强视觉一致性。

淘宝星辰的技术原理

• 基于Unet Diffusion Model：淘宝星辰的视频生成模型基于Unet Diffusion Model路线，该模型通过逐步去除噪声来生成数据，从而学习到复杂的数据分布，生成高质量的视频内容。
• 自研3D变分自编码器：为了更好地处理视频中的三维信息和空间结构，淘宝星辰研发了自研的3D VAE（变分自编码器），可以对视频中的物体和场景进行三维建模和编码，重建出更真实自然的视频帧。
• 面向视频生成的丰富数据源：构建了针对视频生成任务的数据飞轮，通过不断收集和标注大量电商数据，为模型训练提供丰富素材，涵盖各种商品的图片、视频及文本描述，帮助模型精准学习展示手法及用户意图。
• 多模型协同工作：淘宝星辰的生成模型包括多个子模型，如Tbstar-T2V（文本到视频）、Tbstar-I2V（图片到视频）、Tbstar-V2V（视频到视频）等，这些子模型协同工作，共同完成视频生成任务，进一步丰富了生成效果。

如何使用淘宝星辰

• 访问官方网站：登录淘宝星辰的官网。
• 选择功能模块：选择“图生视频”功能模块。
• 上传素材：上传一张高质量的服装模特展示图。
• 生成视频：点击生成按钮，等待视频生成。
• 视频编辑：生成的视频会自动显示在页面上，可以进行简单编辑，如添加品牌logo、调整颜色等。
• 下载与使用：编辑完成后，下载视频并将其应用于商品详情页或社交媒体推广。
• 使用限制：目前淘宝星辰仅向淘宝和天猫商家开放，普通用户暂时无法使用，商家需确保其账号具有相应权限。

淘宝星辰的应用场景

• 商品主图视频：某服装商家上传模特展示图，生成一个5秒的视频主图，用于商品详情页，大幅提升了商品的点击率与转化率。
• 卖点吸引视频：某电子产品商家上传多张产品图片，生成多个视频片段，通过模板添加、特效和文字，制作成一个展示产品功能与优势的卖点视频，用于社交媒体推广。
• 种草内容视频：某美妆商家上传多张产品图片，生成视频片段，通过剪辑添加解说和字幕，制作成一个种草视频，发布在小红书等平台，激发消费者购买欲望。
• 虚拟试穿视频：某服饰商家上传用户的虚拟试穿图片，生成虚拟试穿视频，模拟服饰的真实上身效果，帮助消费者更好地了解商品，减少购买顾虑。