HOVER

HOVER是英伟达推出的一款1.5M小型模型，代表了“Humanoid Versatile Controller”（人形机器人多功能控制器）。该模型利用150万参数实现对复杂机器人动作的控制，能够灵活适应多种任务，例如导航、桌面操作及移动操作等。HOVER的独特之处在于其通过全身模仿构建通用抽象，为多种任务提供了通用的技能，并在多模式策略蒸馏框架的帮助下，将不同的控制模式整合，实现模式间的无缝切换，提升了人形机器人在未来应用中的效率与灵活性。

HOVER是什么

HOVER是英伟达开发的1.5M小型模型，全名为“Humanoid Versatile Controller”，即人形机器人的多功能全身神经控制器。该模型利用150万个参数对机器人进行复杂动作的控制，能够适应导航、桌面操作和移动等多种任务，且每种任务都有其特定的控制需求。HOVER的核心创新在于利用全身模仿来实现各种任务的通用抽象，提供了通用的技能，便于学习多种全身控制模式。通过多模式策略蒸馏框架，HOVER将不同的控制模式整合到一个统一的策略中，从而实现模式之间的无缝切换，并保留每种模式的优势，提升了人形机器人未来应用的效率和灵活性。

HOVER的主要功能

• 多模式控制：HOVER能够在不同的控制模式之间进行无缝切换，如导航、桌面操作、移动操作等，每种模式有其特定的控制需求。
• 学位置跟踪：支持对机器人关键部位3D位置的精确跟踪，实现的精确复制。
• 关节角度跟踪：能够跟踪每个电机的目标关节角度，从而实现复杂的肢体动作。
• 根跟踪：跟踪机器人的根速度、高度和方向，确保动态动作的平衡和稳定。
• 统一命令空间：设计了一个统一的命令空间，适用于各种控制设备，包括操纵杆、动作捕捉系统、外骨骼和虚拟现实头显。
• 策略蒸馏：从Oracle策略中提取和蒸馏多种控制技能，整合为单一的“通用策略”，提升控制效率和灵活性。

HOVER的技术原理

• 本体感觉与命令屏蔽：基于本体感觉（机器人自身状态感知）与命令屏蔽（选择性激活不同命令空间）来确定任务命令，支持控制机器人的上半身与下半身。
• 多模式策略蒸馏框架：利用策略蒸馏技术，将大规模人类数据中学习的Oracle策略转化为适应多种控制模式的单一策略。
• DAgger框架：通过DAgger（数据集聚合）框架对齐学生策略与Oracle策略的动作，基于监督学习优化学生策略。
• 模拟训练：HOVER的训练过程在NVIDIA Isaac模拟套件中进行，该套件基于GPU加速，可快速模拟长时间训练，并将模型迁移至现实世界，无需额外微调。
• 统一命令空间设计：命令空间设计兼具通用性和原子性，覆盖大多数现有控制配置，并支持各种模式的任意组合。
• 重定向：将人类动作数据集重定向为机器人动作数据集，通过关键点匹配与参数优化实现。

HOVER的项目地址

• 项目官网：hover-versatile-humanoid.github.io
• arXiv技术论文：https://arxiv.org/pdf/2410.21229

HOVER的应用场景

• 导航与移动：HOVER能够控制人形机器人在复杂环境中进行导航和移动，例如在不平坦地面上行走或在狭窄空间中穿行，适用于搜索救援、导览服务等场景。
• 桌面操作：在需要精细操作的桌面任务中，如电子元件组装或实验室工作，HOVER能够精确控制机器人的上肢和手部关节，实现复杂的手眼协调操作。
• 移动操作（Loco-manipulation）：在移动过程中抓取和搬运物体，HOVER能够协调机器人全身动作，实现流畅的搬运和操作。
• 人机交互：支持多种输入设备（如VR头显、动作捕捉系统和外骨骼），使机器人能够模仿人类动作与行为，适合娱乐、教育和培训等领域。
• 远程操作与仿真：在远程操作场景中，HOVER能够实时响应操作者的指令，执行精确的远程任务，如远程手术辅助或危险环境作业。