SmolVLA

SmolVLA – Hugging Face开源的轻量级机器人模型

SmolVLA

SmolVLA 是一款由 Hugging Face 发布的开源轻量级视觉-语言-行动（VLA）模型，专为经济高效的机器人设计。该模型仅有 4.5 亿参数，小巧轻便，可在 CPU 上运行，并支持在单个消费级 GPU 上进行训练，甚至能在 MacBook 上部署。SmolVLA 基于开源数据集“lerobot”进行训练，为机器人技术带来了新的可能性。

SmolVLA：革新机器人技术的强大引擎

SmolVLA，这款由 Hugging Face 倾力打造的开源 VLA 模型，正在以其卓越的性能和亲民的姿态，革新着机器人技术的未来。它是一款轻量级的视觉-语言-行动模型，专为追求成本效益的机器人应用而设计。凭借其精巧的 4.5 亿参数规模，SmolVLA 能够在 CPU 上流畅运行，并且仅需单个消费级 GPU 即可完成训练，甚至可以在您的 MacBook 上轻松部署。这一切都得益于其基于开源数据集“lerobot”的精心训练。

核心功能：赋能机器人的三大支柱

多模态信息处理： SmolVLA 具备强大的多模态输入处理能力，能够同时接收并解析多幅图像、自然语言指令以及机器人的状态信息。它通过视觉编码器提取图像特征，将语言指令转化为模型可理解的标记，并将传感状态映射到与语言模型对齐的标记上。
动作序列生成： SmolVLA 内置动作专家模块，这是一个轻量级的 Transformer。它基于视觉-语言模型（VLM）的输出，预测并生成机器人未来的动作序列。动作专家采用流匹配技术进行训练，通过引导噪声样本回归真实数据分布，实现高精度、实时的控制。
高效推理与异步执行： SmolVLA 引入了异步推理堆栈，将动作执行与感知和预测过程分离。这一创新设计使得机器人能够更快地响应环境变化，显著提升了响应速度和任务吞吐量。

技术解析：SmolVLA 的幕后英雄

视觉-语言模型 (VLM)： SmolVLA 采用 SmolVLM2 作为其 VLM 主干，该模型专门针对多图像输入进行了优化。它由一个 SigLIP 视觉编码器和一个 SmolLM2 语言解码器组成。图像标记通过视觉编码器进行提取，语言指令被标记化后直接输入解码器，传感状态通过线性层投影到一个标记上，与语言模型的标记维度对齐。解码器层处理连接的图像、语言和状态标记，生成的特征随后传递给动作专家。
动作专家： 动作专家是一个轻量级的 Transformer（约 1 亿参数），它基于 VLM 的输出，生成机器人未来的动作序列块。动作专家使用流匹配技术进行训练，通过引导噪声样本回归真实数据分布来学习动作生成，从而实现高精度的实时控制。
视觉 Token 减少： 为了提升效率，SmolVLA 限制每帧图像的视觉 Token 数量为 64 个，从而大幅降低了处理成本。
层跳跃加速推理： SmolVLA 通过跳过 VLM 中一半的层进行计算，在保证性能的同时，将计算成本减半。
交错注意力层： 与传统的 VLA 架构不同，SmolVLA 交替使用交叉注意力（CA）和自注意力（SA）层。这种设计提高了多模态信息整合的效率，并加速了推理速度。
异步推理： SmolVLA 采用了异步推理策略，让机器人的“手”和“眼”能够工作。在这种策略下，机器人可以一边执行当前动作，一边开始处理新的观察并预测下一组动作，从而消除推理延迟，提高控制频率。

项目资源：探索 SmolVLA 的世界

Hugging Face 模型库： 深入了解 SmolVLA 的技术细节，并获取模型文件： https://huggingface.co/lerobot/smolvla_base
arXiv 技术论文： 阅读关于 SmolVLA 的技术细节，获取更深入的了解： https://arxiv.org/pdf/2506.01844

应用场景：SmolVLA 的无限可能

物体抓取与放置： SmolVLA 可以控制机械臂精准地完成抓取和放置任务。例如，在工业生产线上，机器人可以根据视觉输入和语言指令，准确地抓取零件并将其放置到指定位置。
家务劳动： SmolVLA 同样可以应用于家庭服务机器人，帮助完成各种家务劳动。例如，机器人可以根据自然语言指令，识别并清理房间中的杂物，或者将物品放置到指定位置。
货物搬运： 在物流仓库中，SmolVLA 可以控制机器人执行货物的搬运任务。机器人可以根据视觉输入识别货物的位置和形状，结合语言指令，生成最优的搬运路径和动作序列，从而提高货物搬运的效率和准确性。
机器人教育： SmolVLA 还能作为机器人教育的理想工具，帮助学生和研究人员更好地理解和开发机器人技术。