Deepmind Sparrow AI

Deepmind Sparrow AI官网

Sparrow是一款信息查询对话代理，通过强化学习和人类反馈训练模型，提供更加有帮助、正确和无害的对话服务。它通过分解对话要求为自然语言规则，并提供支持事实性声明的来源证据，使得代理行为更加可靠和可信。

网站服务：客户支持，对话代理，强化学习，商业AI，客户支持，对话代理，强化学习。

Deepmind Sparrow AI简介

We present Sparrow， an information-seeking dialogue agent trained to be more helpful， correct， and harmless compared to prompted language model baselines. We use reinforcement learning from human feedback to train our models with two new additions to help human raters judge agent behaviour. First， to make our agent more helpful and harmless， we break down the requirements for good dialogue into natural language rules the agent should follow， and ask raters about each rule separately. We demonstrate that this breakdown enables us to collect more targeted human judgements of agent behaviour and allows for more efficient rule-conditional reward models. Second， our agent provides evidence from sources supporting factual claims when collecting preference judgements over model statements. For factual questions， evidence provided by Sparrow supports the sampled response 78% of the time. Sparrow is preferred more often than baselines while being more resilient to adversarial probing by humans， violating our rules only 8% of the time when probed. Finally， we conduct extensive analyses showing that though our model learns to follow our rules it can exhibit distributional biases.

什么是”Deepmind Sparrow AI”？

Sparrow是一款信息查询对话代理，通过针对性的人类判断来提高对话代理的对齐性。它通过强化学习和人类反馈来训练模型，并采用两种新方法来帮助人类评估代理行为。首先，为了使代理更加有帮助和无害，我们将良好对话的要求分解为代理应遵循的自然语言规则，并分别询问评估者每个规则的情况。我们证明这种分解能够让我们收集到更有针对性的人类判断代理行为的数据，并且可以构建更高效的基于规则条件的奖励模型。其次，我们的代理在收集模型语句的偏好判断时，提供支持事实性声明的来源证据。对于事实性问题，Sparrow提供的证据在78%的情况下支持采样的回答。当人类进行敌对探测时，Sparrow比基线更受欢迎，只有8%的时间违反我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会了遵循我们的规则，但它可能存在分布偏差。

“Deepmind Sparrow AI”有哪些功能？

1. 提供信息查询对话服务
2. 通过强化学习和人类反馈训练模型
3. 分解对话要求为自然语言规则
4. 收集有针对性的人类判断代理行为的数据
5. 构建基于规则条件的奖励模型
6. 提供支持事实性声明的来源证据
7. 具有更高的偏好度和抗敌对探测能力

产品特点：

1. 更加有帮助、正确和无害的对话代理
2. 支持自然语言规则的分解和评估
3. 提供支持事实性声明的来源证据
4. 更高的偏好度和抗敌对探测能力
5. 学习遵循规则但可能存在分布偏差

应用场景：

1. 在信息查询领域，用户可以通过与Sparrow进行对话来获取所需的信息。
2. 在对话代理研究中，Sparrow可以作为一个基准模型，用于评估其他对话代理的性能和对齐性。

“Deepmind Sparrow AI”如何使用？

用户可以通过与Sparrow进行对话来获取所需的信息。Sparrow会根据用户的问题和需求提供相应的回答和支持。用户可以直接与Sparrow进行交互，或者将Sparrow集成到自己的应用程序或网站中，提供更加智能和便捷的信息查询服务。

Deepmind Sparrow AI官网入口网址

https://arxiv.org/abs/2209.14375

OpenI小编发现Deepmind Sparrow AI网站非常受用户欢迎，请访问Deepmind Sparrow AI网址入口试用。