无视网站反AI抓取政策,Anthropic爬虫引起多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。
这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,
“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”
“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”
“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。
Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。
然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。
这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。
关键词: ClaudeBotAI爬蟲
更多推荐

在这个快节奏的时代,家居环境的设计不仅是对空间的简单安排,更是对生活方式的深刻反思。潮流玩物的兴起,正在重新定义现代家居美学。若说美学是人们对事物的感受和理解,那么潮流玩物则是以其特有的形态和功能,承载了这一美学的具体表现。当我们在选择家具

了解更多 >

在浩瀚无垠的梦境世界里,有人遨游于色彩斑斓的奇幻空间,也有人穿梭在单调的黑白色调之间。为何部分人的梦境总是缺乏色彩,仿佛老旧的黑白电影般上演?这背后,究竟隐藏着怎样的科学奥秘? 要解答这一问题,我们首先需要了解梦境的本质。梦境,作为人类睡

了解更多 >

随着科技的飞速进步,新能源车已不再仅仅是传统汽车的环保替代品,而是智能化、网联化的新型交通工具。端到端(EndtoEnd)技术的兴起,更是为新能源车赋予了前所未有的智慧和能力。本文将探讨新能源车端到端技术的发展历程,以及与传统高阶智家相比,

了解更多 >

一项发表于《美国国家科学院院刊》(PNAS)的研究表明,大脑临界态——神经兴奋与抑制之间的微妙平衡——受遗传因素显著影响,并与认知能力密切相关。该研究由中国科学院生物物理研究所和自动化研究所的团队主导,利用人类连接组计划的静息态功能磁共振成

了解更多 >

近年来,人工智能(AI)大模型如雨后春笋般涌现而出,成为各行各业的热门话题。无论是撰写文章、生成艺术作品,还是提供消费者服务,这些智能系统都展现出惊人的能力,让人们对其潜力充满期待。但是,随着这些神秘黑箱背后的技术逐渐被探讨,很多人开始对此

了解更多 >