谷歌推出爬虫扩展代理 网站管理员可以屏蔽谷歌抓取内容用于训练AI – 蓝点网
发布时间：2026-03-26 22:21:25 作者：玩站小弟 
我要评论
我要评论在 OPENAI 公布 GPTBot 爬虫的相关信息后，今天谷歌宣布在 GoogleBot 基础上推出 Google-Extended 爬虫扩展代理，允许网站管理员使用 robots.txt 文件屏蔽
。
在 OPENAI 公布 GPTBot 爬虫的谷歌管理谷歌相关信息后，今天谷歌宣布在 GoogleBot 基础上推出 Google-Extended 爬虫扩展代理，推出允许网站管理员使用 robots.txt 文件屏蔽谷歌抓取网站内容用来训练 AI 模型。爬虫屏蔽
谷歌没有推出单独的扩展 AI 爬虫，AI 爬虫仍然使用 GoogleBot，代理但网站可以声明是网站网否拒绝其抓取内容后训练 AI，如果要声明那就需要使用 Google-Extende代理令牌。员可用于
谷歌称，内容Google-Extended 是训练一种新控件，网络发布商可以使用它管理其网站是蓝点否有助于改进 Bard 和 Vertex AI 等生成式 AI 模型，在博客中谷歌多次提到网站可以帮助谷歌改进 AI，谷歌管理谷歌比如网站管理员可以选择是推出否帮助这些 AI 模型随着时间推移变得更准确和强大。
不过最终还是爬虫屏蔽网站管理员自己决定是否允许谷歌拿内容去训练 AI，如果不愿意的扩展话，可以在 robots.txt 中添加以下内容：
User-Agent: Google-ExtendedDisallow：/
需要提醒的代理是谷歌对于 robots.txt 的处理遵循了多种原则，而且 Google Bot 本身有一大堆用于不同用途的 bot，例如常规的 GoogleBot、GoogleBot-News、GoogleBot-Image 等，这些 bot 是可以在 robots.txt 里混用的。
例如要允许谷歌搜索抓取网站内容、不允许谷歌抓取内容用于训练 AI，那么 robots.txt 可以这么写：
User-Agent: GooglebotAllow: /User-Agent: Google-ExtendedDisallow: /
相关文章
《荒野大镖客2》是一款备受期待的大作，对于PC版游戏可能也是很多玩家心中的痛，官方表示PC是一个非常重要的平台，是否表示之后会推出PC版本的游戏呢，大家拭目以待吧。在Take Two财报会议上，CEO2026-03-26
本日，《东京迷乡eX+》民圆公布了一批新的游戏截图，先容了“四宫祐骑篇”战“北皆好月与下幡志绪篇”的支线故事，并掀示了游戏中的新体系“V-Navi”。四宫祐骑战郁岛空为体会救一名思疑两人干系的白足部部2026-03-26
之前国度消息出版署下收《闭于进一步宽格办理 真正在制止已成年人沉迷支散游戏的告诉》，针对已成年人过分利用乃至沉迷支散游戏题目，进一步宽格办理办法，果断制止已成年人沉迷支散游戏，真正在庇护已成年人身心安2026-03-26
逝世命创做收明像素艺术《World for Two》中文版预定 9 月 9 日上市！
亞克系統(ARC SYSTEM WORKS)亞洲分店颁布收表，room6的像素艺术冒险游戏《World for Two》中文版将于 2021年 9 月 9 日(四)推出Nintendo Switch™2026-03-26
《战锤40K：星际战士2》新预告如潮水般的泰伦虫群展示2024-07-25 10:11:15编辑：柒柒 正如预告片中提到的2026-03-26
易中天正在品三国时讲过，那是一个豪杰辈出的期间，那是一段空中楼阁的汗青，是非真假众讲纷繁，成败得掉疑窦丛逝世!的确，每小我心中皆有着一个本身启认的三国。而无摇杆三国搏斗足游力做9377《扫荡三国》也正2026-03-26
最新评论