无视网站反AI抓取政策，Anthropic爬虫引起多个网站所有者不满

据 The Verge 当地时间 26 日报道，Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内，就访问了 iFixit 网站近百万次，此举违反了该网站的使用条款。

这一显得有些疯狂的举动，引起 iFixit 的 CEO Kyle Wiens 直接在 X（推特）上开怼，
“如果这些请求（指访问）中的任何一个访问了我们的使用条款，那么它会告诉你我们的内容被明确禁止使用。别问我，去问 Claude！”

“我知道你渴望获得数据，Claude 也真的很聪明！但是，你真的有必要在 24 小时内访问我们的服务器 100 万次吗？你不仅在不付费的情况下获取我们的内容，还占用了我们的 devops 资源，一点都不酷！”

“如果你想要跟我们谈谈内容许可和商业用途的话，我们就在这呢。”

iFixit 的使用条款政策声明，“未经公司事先明确的书面许可，严格禁止复制、复制或分发”网站上的任何内容，特别包括“用于训练机器学习或 AI 模型”。

Wiens 此后表示，iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。

然而，iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示，他们的网站也曾被 Anthropic 的爬虫频繁抓取。

这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月，Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。

更多推荐

在寻求可持续能源解决方案的征途上，绿色氢正逐渐崭露头角，成为备受瞩目的新星。绿色氢，顾名思义，它代表着清洁能源的未来，不仅无污染，而且具备巨大的能源潜力。绿色氢是通过电解水产生的，其过程中只使用可再生能源，如太阳能和风能，因此被称为“绿

在快节奏的现代生活中，垃圾食品因其便捷性和美味诱惑，不知不觉中渗透进了我们的日常饮食。这些食品往往披着诱人的外衣，却隐藏着不为人知的健康隐患。它们悄无声息地侵蚀着我们的身体，就如同潜藏在暗处的敌人，时刻准备发动攻击。走进任何一家超市，货

在数字化时代的浪潮中，大数据与人工智能技术的结合正日益紧密，特别是以大模型为代表的新兴技术，正在引领一场前所未有的智能革命。然而，在这场革命背后，一个看似老旧、却不可或缺的存储技术——机械硬盘，仍然发挥着举足轻重的作用。大模型，作为人工

在人类的宏观经济中，共享经济已成为当下的热门话题，从共享单车到共享汽车，再到共享充电宝，无一不体现了资源的高效利用理念。然而，你可能不知道，在微观的生物世界中，微生物们也在上演着一场场精彩的“共享经济”大戏。微生物，这些看不见摸不着的小

在存储技术领域，硬盘作为重要的数据存储设备，其技术革新一直备受关注。近年来，“叠瓦式硬盘”（Shingled Magnetic Recording，简称SMR）逐渐进入了大众的视野。那么，究竟什么是叠瓦式硬盘？它又有哪些特点和优劣势呢？今天

绿色氢,未来时代的新能源？