分析100万条人与AI对话的背后：人类没有看一条对话｜甲子光年

一个可深入了解真实世界AI使用情况并保护用户隐私的系统。

原标题：分析100万条人与AI对话的背后：人类没有看一条对话｜甲子光年
文章来源：甲子光年
内容字数：8580字

Anthropic 的 Clio 系统：兼顾 AI 使用洞察与用户隐私

本文介绍了Anthropic公司开发的Clio系统，它能够深入了解真实世界AI的使用情况，同时有效保护用户隐私。Anthropic利用Clio分析了百万条用户与Claude对话数据，揭示了AI的多种应用场景和不同语言用户的偏好差异，并阐述了Clio系统的设计理念及运作方式。

1. Claude 的主要应用场景及语言差异

   通过分析百万条用户与Claude的对话数据，Anthropic发现Claude的主要应用场景是网页和移动应用开发(10.4%)，其次是内容创作与沟通、学术研究与写作、教育与职业发展以及高级AI/ML应用。此外，不同语言的用户使用习惯也存在差异，例如中文用户更倾向于使用Claude创作犯罪、惊悚小说，西班牙语用户则更关注经济理论分析，日语用户则偏好动漫及漫画内容创作。

2. Clio 系统：保护隐私的 AI 使用情况分析

   Clio 系统的核心在于利用 Claude 本身对用户对话进行分析，而非依赖人工阅读。它通过提取对话特征、进行语义聚类、生成聚类描述以及建立层级结构，最终呈现给分析师的是去除了个人隐私信息的摘要和总结。整个过程完全由 Claude 自动完成，确保了用户隐私的安全性。Clio 还设置了最小阈值，避免低频主题意外暴露。

3. Clio 的安全性和自下而上的分析方法

   Anthropic 利用 Clio 不仅是为了了解用户习惯，更重要的是为了改进 AI 模型的安全措施。Clio 采用自下而上的自动分析方法，这与传统的自上而下的红队测试不同，能够更灵活全面地发现潜在安全问题，例如检测垃圾邮件行为或其他违反道德规范的活动。Clio 还提升了现有分类器的准确性，减少了误判。

4. Anthropic 对安全的重视及其商业化策略

   Anthropic 成立之初就将安全性和可解释性放在首位，这体现在他们谨慎的发布节奏和对 Claude 模型的持续安全测试上。尽管对安全的极度重视可能影响 AI 技术发展速度，但这种策略也为 Anthropic 带来了良好的商业化成果，尤其是在软件开发领域。 其对安全的重视也体现在对Clio系统的持续审计和改进上，以确保隐私保护措施的有效性。

5. 对 AI 安全的思考

   Anthropic 认为，深入了解 AI 系统的使用方式，才能有效执行安全策略，减轻模型潜在危害，理解模型对用户情感的影响。 他们重视用户与 Claude 在脆弱时刻的互动，希望 Claude 能成为可靠的伙伴。 这也体现了 Anthropic 对 AI 安全和伦理的深刻思考。

联系作者

文章来源：甲子光年
作者微信：
作者简介：甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。