突破界限：智能体如何在未知人类设计环境中实现零样本学习的性进展

能在2D物理环境中执行多样化任务了

原标题：智能体零样本解决未见过人类设计环境！全靠这个开放式物理RL环境空间
文章来源：机器之心
内容字数：5768字

1. 研究背景与目标

在机器学习领域，开发能够在未见过领域表现出色的通用智能体一直是长期目标之一。牛津大学的研究者们提出了Kinetix框架，旨在通过开放式物理控制任务训练通用智能体，推动其在2D物理环境中的应用。

2. Kinetix框架的特点

Kinetix框架覆盖范围广泛，可以表征多种任务，包括机器人抓取、经典RL环境（如Cartpole、Acrobot）、电子游戏等。为了支持Kinetix，研究者们开发了基于JAX的物理引擎Jax2D，能够高效模拟数十亿次环境交互。通过随机采样Kinetix环境，几乎可以无限生成多样化的训练任务。

3. 动作与观察空间

Kinetix支持多离散和连续动作空间，并使用符号观察表示每个实体的物理属性。该观察空间使环境完全可观察，允许智能体在没有记忆的情况下进行策略学习，并且支持基于像素的观察选项。

4. 奖励机制与环境生成

研究中选择了简单而表达力强的奖励函数，使绿色和蓝色形状发生碰撞时获得+1奖励，碰撞红色形状则获得-1奖励。此外，研究者提供了随机级别生成器，以确保环境的多样性并减少简并情况的出现。

5. 实验结果与智能体性能

研究者在Kinetix环境中训练的RL智能体表现出对一般机械特性的理解，并能够零样本解决未见过的手工环境。微调过程中，通用智能体的性能显著提升，尤其在特定困难环境中，微调智能体能减少学习所需样本数量，并解决专门训练过的智能体无法完成的任务。

6. 总结与展望

Kinetix的表现力和多样性使其成为研究开放性、通用智能体和终身学习的理想环境。未来的研究可以进一步探索Kinetix的潜力，以推动通用智能体在更广泛和复杂环境中的应用。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台