OpenAI疯狂，把一家公司都给爬宕机了，CEO：堪比DDoS

AI大公司疯狂，却由小公司来买单。

原标题：OpenAI疯狂，把一家公司都给爬宕机了，CEO：堪比DDoS
文章来源：量子位
内容字数：5085字

OpenAI导致小型公司网站宕机引发热议

近日，一家名为Triplegangers的七人团队公司因OpenAI的GPTBot导致网站宕机，引发广泛关注。GPTBot是OpenAI用于自动抓取互联网数据的工具，其疯狂的行为给Triplegangers带来了巨大的经济损失和技术难题。

1. Triplegangers网站宕机始末

Triplegangers拥有超过65000种产品的数据库，每个产品页面包含至少三张图片。OpenAI的GPTBot使用了超过600个IP地址，发送数以万计的服务器请求，试图下载所有内容，导致网站宕机。这实际上是一场由AI大公司造成的DDoS攻击，给小型公司带来了巨大的经济负担，包括高昂的AWS云计算费用。

2. robots.txt文件的重要性

Triplegangers网站宕机的原因是未正确配置robots.txt文件，该文件用于告知搜索引擎哪些内容不应该被抓取。OpenAI的GPTBot以及其他工具，如ChatGPT-User和OAI-SearchBot，都依赖于robots.txt文件中的指令。即使正确配置了robots.txt，OpenAI也需要24小时才能更新其策略，这期间网站仍然可能面临风险。

3. AI公司疯狂的原因及影响

AI公司，特别是大型语言模型公司，需要大量高质量数据进行模型训练。数据匮乏是AI领域面临的巨大挑战，导致这些公司不惜一切代价收集数据，甚至不顾及小型网站的承受能力。这种行为不仅导致网站宕机，还增加了小型公司的云计算成本，造成了不公平的竞争环境。 数字广告公司DoubleVerify的一份研究显示，AI在2024年导致无效流量增加了86%。

4. 其他类似及行业趋势

除了Triplegangers，Game UI Database也曾因OpenAI的导致网站瘫痪。Anthropic也曾因其行为导致客户网站流量激增，云成本翻倍。 这表明，AI公司疯狂并非个例，而是行业普遍存在的现象。为了获取更多高质量数据，AI公司甚至开始向UP主高价收购未发布的视频。

5. 反思与未来展望

Triplegangers的遭遇提醒所有在线企业，必须积极主动地配置robots.txt文件，并考虑使用其他安全措施，例如Cloudflare，来保护自己的网站免受AI的攻击。 AI公司也需要反思其数据收集方式，在追求数据的同时，也要考虑对小型企业的保护，建立更公平合理的机制。

6. 总结

OpenAI的GPTBot导致Triplegangers网站宕机，突显了AI公司数据收集行为对小型企业的负面影响。 这不仅是技术问题，更是伦理和商业模式的问题，需要行业共同努力寻找解决方案，建立更可持续发展的AI生态。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破