《时代》周刊为AI爬虫准备专用网站,广告只有AI能看到
作者: CBISMB
责任编辑: 邹大斌
来源: CBISMB
时间: 2026-08-06 10:38
浏览: 1
点赞: 0
收藏: 0
品牌已经在花钱影响聊天机器人对它们的评价。
AI网页爬虫现在能看到普通访客永远看不到的专属广告。一家公司的高管公开描述了一种策略:影响聊天机器人对品牌的评价。下次你问Claude去哪里存钱时,它的回答可能已经被这种针对机器人的内容影响了。
到目前为止,已经有一个公开的案例:《时代》周刊向选定的AI爬虫提供AI专属广告。这个发现来自德国的自由职业软件开发者Vincent Schmalbach。他在周三的博文中详细描述了自己如何发现,在一些《时代》周刊页面的Markdown版本中嵌入了赞助内容——这些版本专门提供给AI爬虫,普通浏览器看不到。
这些页面中还包含来自广告技术供应商Mobian的广告标签,以及无实体网点银行Ally的大量常见问题解答。这些FAQ中包含了品牌"事实",例如该银行关联的免费ATM数量,以及"Ally是唯一一家为当今生活而建的银行"等品牌主张,声称其"独树一帜"。
这些AI专属广告中的关键"品牌事实"陈述非常适合被聊天机器人复述,还包括了"Ally适合日常银行业务吗""可以在Ally银行存入现金吗"等问题的答案。FAQ在Markdown页面中被标记为赞助内容,但这改变不了一个事实:整篇内容写得就像专门设计来让聊天机器人在回答特定问题时原样吐出来一样。
并非所有网页爬虫都能收到这些Markdown广告。根据Schmalbach的测试,谷歌的标准搜索索引爬虫看不到广告,它获取的HTML与人类访问者相同。
"只有(聊天机器人)助手爬虫能获取分叉版本,"他写道。这意味着ClaudeBot、OAI-SearchBot和PerplexityBot等用户代理会收到赞助Markdown,而谷歌的标准搜索爬虫获取的是与普通浏览器相同的HTML。GPTBot和ChatGPT-User——OpenAI分别用于模型训练和用户发起的检索——在Schmalbach的测试中返回HTTP 406错误,而OAI-SearchBot则收到用于支持ChatGPT Search的Markdown版本。
这些包含AI广告的Markdown版本,理论上任何更改HTTP请求User-Agent头的人都能看到——Schmalbach正是通过这种方式发现的。有媒体使用搜索引擎优化公司Encited提供的爬虫模拟器测试了《时代》周刊的多篇文章,成功复现了结果。
以ClaudeBot身份查看时,《时代》周刊的2025年最佳发明榜单中包含Ally银行广告,关于2026年百大内容创作者的文章中也有,甚至纽约最近举办的创作者派对照片图集中同样出现了广告。这些Markdown广告在新闻性较强的文章中并未出现,暗示广告可能更多地出现在常青内容而非时效性较短的新闻中。
正如Schmalbach所指出的,这可能是"当网页的主要受众变为AI模型时网络会变成什么样的第一个清晰样本"——而这个门槛我们已经跨过了。
既然能让AI代言,何必还向人类打广告?
目前尚不清楚《时代》周刊的AI爬虫广告策略是否已被其他出版商采用,但如果没人至少正在考虑这件事,那才令人惊讶。
如前所述,AI爬虫流量已开始超过人类对网页的访问量,这使得广告主针对爬虫投放广告可能比对制造爬虫的人类投放更具商业价值。麦肯锡调查显示,一半美国消费者表示使用AI搜索网页。通过影响AI回复影响消费者的潜力极其强大,而这正是《时代》周刊及其广告合作伙伴Mobian所押注的方向。
据Digiday报道,《时代》周刊从6月开始将网页转换为Markdown格式,以使其对AI爬虫更具吸引力,与Mobian的合作也纳入了此次改版。该刊的销售团队正在向那些也已将自身网站转换为Markdown的品牌推销"智能体广告",因为这表明这些品牌正在考虑触达AI机器人。
然而,让目标变得毫不遮掩的是Mobian CEO兼联合创始人Jonah Goodhart的一句话:公司目标就是塑造AI助手对支付服务费的品牌的评价。
"当你影响ChatGPT时,你可能影响的是整个ChatGPT。如果ChatGPT改变了对(某个品牌)的说法,影响是巨大的,超过任何一次独立的营销活动所能做到的,"Goodhart告诉Digiday。"面对人类,你一次只能影响一个人。"
截至目前,双方向Digiday确认Ally银行和项目管理协会是首批尝试影响AI搜索结果的品牌,这与Schmalbach在AI爬虫版本中发现的广告一致。
《时代》周刊和Mobian告诉Digiday,这一合作标志着出版商首次直接针对AI爬虫投放广告,并且"已有更多品牌正在排队"。
换言之,你很快就无法分辨AI搜索结果中哪些是凭借优质产品自然浮现的,哪些只是钻空子刷存在感的。这就像是SEO竞赛的早期阶段重演,只不过这一次,愚弄索引入口变得异常简单——只需把同一张传单反复递给任何一个傻瓜,直到它的内容变成"真相"。