网站未收录,不等于Cloudflare拦截了Googlebot。先把具体URL、请求时间、客户端IP和安全事件对上:只有确认某条边缘规则、挑战或源站防护挡住了相应请求,才能针对它调整。全站关闭防火墙通常既没有必要,也不能解决canonical、noindex或内容问题。
第一步:判断请求在哪一层失败
在Search Console对受影响URL检查索引记录,再执行实时测试。记录抓取失败信息和时间;去Cloudflare的安全事件中查询同一时段、主机及路径,查看动作、规则标识、产品来源和Ray ID。最后对照源站日志:边缘拒绝的请求可能根本没有到达源站。
| 观察结果 | 下一步 |
|---|---|
| Cloudflare有对应Block或Challenge事件 | 检查命中的规则、匹配范围和爬虫识别结果 |
| 源站直接返回403,边缘无对应拦截 | 检查源站WAF、访问控制和应用权限 |
| 响应200却是挑战页或登录页 | 核对响应正文,状态码不能代替内容可访问性 |
| 5xx或连接超时 | 排查源站可用性、连接、TLS和负载,不能自动归因为防火墙 |
| 正常301到最终200 | 检查跳转目标与链路;重定向本身不是拦截证据 |
第二步:核实Googlebot身份
User-Agent可以伪造。“包含Googlebot”只能说明请求声称的身份。Google验证指南提供两类方法:按实际IP反向解析,再对返回主机名正向解析并确认IP一致;或将请求IP与Google公布的相应爬虫IP范围匹配。
检查域名后缀时要匹配完整域边界,不能仅搜索字符串“google”。普通爬虫、特殊用途爬虫和用户触发的抓取工具属于不同类别;某次测试工具成功,不等于所有Googlebot访问都已畅通。宽泛地放行Google所属ASN或全部云计算地址也不能代替身份验证。
在Cloudflare中,官方搜索引擎机器人规则示例使用cf.client.bot识别已验证机器人。这个字段涵盖已验证机器人,不是“仅Googlebot”的同义词;如果业务需要更小范围,须结合所用产品支持的条件配置。
第三步:修正命中的规则,而非停用全部防护
例如,一条按国家触发挑战的自定义规则误伤了已验证搜索机器人,可在该规则中加入相应排除条件。若使用Skip动作,要明确跳过的是哪些规则或产品、顺序如何、路径是否仅限公开页面。Cloudflare不同防护产品和套餐的可跳过能力不同,不能把一条Skip规则理解成“无条件绕过一切防护”。
- 保存当前表达式、动作和顺序,确定回滚版本。
- 按实际命中证据缩小调整范围,保留后台、登录和敏感接口的访问保护。
- 部署后检查同类请求是否仍命中挑战,以及其他异常请求是否仍受防护。
- 若边缘已放行但源站仍拒绝,继续修源站规则;不要反复扩大边缘白名单。
第四步:验证抓取恢复,再观察索引
重新执行实时网址测试,并检查响应HTML中的正文、robots与canonical;同时观察经过身份核实的真实爬虫后续请求。命令行换成Googlebot的UA可以辅助发现按UA分支的问题,却不能模拟真实Google网络来源,更不能独自证明修复成功。
为CSS、图片和必要脚本也检查可访问性。HTML能打开而关键内容资源受阻,渲染仍可能不完整。手机与桌面响应有差异时,核对差异是否符合预期。
抓取成功后,Google仍需决定索引和搜索展示。记录修复时间、原规则、验证URL和后续日志;不要承诺解除拦截后固定几小时收录。若仍未索引,可继续检查站点地图、规范地址与页面内容。