IT之家 11 月 3 日消息，圣地亚哥一名创作者原本希望有更多人访问自己的网站，结果她迎来的不是访客，而是 Meta 爬虫带来的 55 万余次访问，如今她只能手忙脚乱地维持网站正常运转。
儿童绘本作家、插画师切尔西 · 保卢斯（Chelsea Paulus）向 Business Insider 表示，这台自动访问程序耗尽了网站主机资源，她不得不和服务商一起排查故障。 “我从来没有遇到过这种情况，”保卢斯说，“哪怕我懂一些技术，这周也过得心力交瘁。” 保卢斯经营这份事业已有十年，去年转为全职创作者。
此前她有科技和网页设计从业背景，所以流量异常暴涨时，她很快察觉到不对劲。 “我不认为这是 Meta 蓄意发起的恶意攻击，”保卢斯说，“但小微企业主需要知道这类风险，并且要有可用工具来阻挡爬虫。” 艰难维持网站在线 10 月 24 日，她收到主机服务商 SiteGround 的邮件预警：分配给她的 CPU 资源已经用掉 80%。
保卢斯的四个网站共用这家保加利亚服务商的一套主机方案。 保卢斯说，周一她查看网站安全面板，发现每秒有好几次访问请求涌入。 “我打开 WordFence，屏幕上每秒都在不断刷新访问记录。”保卢斯说，“在 WordFence 里点开详情可以看到 IP 地址，查询之后发现，这个 IP 归属 Meta 位于达拉斯的节点。
” 访问程序的标识名称为“Meta External Agent”，主机服务商 SiteGround 的工作人员后来也确认了这一点。 根据 Meta 开发者页面说明，Meta External Agent 会在全网抓取内容，用途包括基础大模型训练、直接收录内容以优化产品。 保卢斯偶尔投放 Meta 广告，之前也见过 Facebook 爬虫访问，但如此大的访问量是第一次碰到。 “我修改了 robots.txt 文件，也配置了防火墙，但这些规则生效往往需要 24 小时，而我需要立刻拦住爬虫。”保卢斯说，“所以我联系了主机商。
” “服务商给了我一段代码，加到网站的隐藏配置文件里。”她补充道，“普通建站者一般不会去碰这类文件，但这是当时唯一能挡住爬虫的办法。
” 但这个办法只是临时生效。到本周中旬，另一款名为“Meta Web Indexer”的 Meta 爬虫又来了，直接把主机资源占用拉满。 据IT之家了解，Meta 开发文档将 Meta Web Indexer 定义为网页爬虫，作用是浏览网页、优化 Meta AI 给用户返回的搜索结果质量。 事情仍没有妥善解决 Meta 发言人周一表示，网站运营方有权管控爬虫行为，并引导大家查阅《Meta 网页爬虫开发者文档》，了解各类爬虫的用途。 “和很多企业一样，Meta 出于多种目的使用网页爬虫。
网站管理者可以通过 robots.txt 这类工具，设定我们爬虫和站点的交互方式。”Meta 发言人说，“我们公开提供爬虫对应的 robots.txt 配置指引，并且尊重站点所有者设置的规则。
” 保卢斯和 SiteGround 的邮件截图显示，服务商称其“服务器侧防护”已经在限制爬虫请求。 截至周一，保卢斯的网站依旧不稳定。她只能删掉 Instagram 主页里的网站链接，避免真人访客叠加爬虫流量，导致网站彻底宕机。 保卢斯无力花钱升级流量配额 —— 爬虫不是客户，不会带来任何收入。
目前也没有法律禁止 AI 爬虫访问公开可浏览的网站。 她还在尝试 Cloudflare 的人机验证工具拦截爬虫，该工具目前免费。 “Meta 应当设置约束机制，避免这类事故重演。”保卢斯说，“试想如果不受约束的 AI 爬虫持续这样，Cloudflare 这类服务商还能一直免费提供防护吗？
” 她还说：“如果这类事情频发，小微企业最终只能多花钱，要么升级资源配额，要么购买防护服务。”