无视网站反AI抓取政策，Anthropic爬虫引起多个网站所有者不满

生成时间：2024-07-30 08:53:51 浏览次数：624

据 The Verge 当地时间 26 日报道，Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内，就访问了 iFixit 网站近百万次，此举违反了该网站的使用条款。

这一显得有些疯狂的举动，引起 iFixit 的 CEO Kyle Wiens 直接在 X（推特）上开怼，
“如果这些请求（指访问）中的任何一个访问了我们的使用条款，那么它会告诉你我们的内容被明确禁止使用。别问我，去问 Claude！”

“我知道你渴望获得数据，Claude 也真的很聪明！但是，你真的有必要在 24 小时内访问我们的服务器 100 万次吗？你不仅在不付费的情况下获取我们的内容，还占用了我们的 devops 资源，一点都不酷！”

“如果你想要跟我们谈谈内容许可和商业用途的话，我们就在这呢。”

iFixit 的使用条款政策声明，“未经公司事先明确的书面许可，严格禁止复制、复制或分发”网站上的任何内容，特别包括“用于训练机器学习或 AI 模型”。

Wiens 此后表示，iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。

然而，iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示，他们的网站也曾被 Anthropic 的爬虫频繁抓取。

这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月，Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。

更多推荐

随着秋天的来临，空气中弥漫着丰收的气息，但这也是许多人开始经历过敏困扰的季节。对于那些对秋季过敏源敏感的人来说，花粉、霉菌、尘螨等都可能成为不请自来的“客人”，影响他们的生活质量。为了有效防护秋季过敏源，我们需要采取一些切实可行的方法与策略

每年春夏交替之际，迎面而来的回南天总是不请自来，带来一种糟心的湿气。这段时期，空气中的湿度骤然升高，使得居住环境变得潮湿阴暗，不仅影响家人的舒适感，更潜藏着各种健康隐患——尤其对老人、孩子以及有呼吸系统疾病的人来说，更是不容忽视的挑战。很多

今天，就让我们一起走进5G时代的科技世界，了解这个引领未来的新兴技术所带来的优势、挑战以及未来展望。让我带你领略这科技的魅力吧！ 5G时代来临，带来哪些显著优势？ 1. 高速率：5G网络具有超高的数据传输速率，让你的手机、电脑等设备能以

在现代社会的快节奏生活中，越来越多的人开始意识到健康不仅仅是没有疾病那么简单，而是一种全方位的身心状态。当我们谈及健康养生时，运动与营养似乎已经成为不可分割的两大基石。这两者的结合，不仅能增强身体素质，还能提升生活质量，成为当下最受关注的养

清晨六点半，北京某中学的李老师正坐在书桌前批改作业。窗外天光微亮，她习惯性地打开手机上的智能教学助手，屏幕上自动弹出一份学生错题分析报告——不仅列出了每位学生的薄弱知识点，还根据学习进度推荐了个性化练习题。她轻轻点开其中一位学生的小明的页面

如何有效防护秋季过敏源