产品页未被谷歌收录,先查这个URL实际返回什么、允许怎样处理,以及Google最近检查的是哪个版本。不要一看到“未索引”就升级服务器或增加字数。错误配置、重复地址、内容加载失败和Google尚未选入索引,需要不同处理。
Google技术要求列出基础条件:Googlebot可访问、页面正常返回200、存在可索引内容。满足这些条件也不保证被索引。下面按具体URL排查,适用于希望公开展示的产品详情页;账户、购物车和不准备参与搜索的页面,先保留其原有访问与索引意图。
先把“未收录”对应到一条具体记录
复制浏览器中的完整产品地址,保留参数、大小写和路径。在正确的Search Console资源中打开URL检查,记录已知索引状态、上次抓取时间、抓取结果、用户声明的canonical和Google所选canonical。再做实时测试,查看当前版本是否能访问和渲染。两份结果时间不同,可以同时成立。
例如,已知版本仍有noindex,而实时测试已经没有,说明当前配置与旧抓取记录有差异;它不证明Google已更新索引。若Google选择另一规范地址,还要检查那条地址。实时测试成功不能排除所有重复、规范选择或质量问题,也不是“已收录”的证明。
响应与访问:200里面是不是产品正文
在浏览器网络面板或HTTP检查工具中查看重定向链、最终状态、响应头和正文。保存时间与原始结果;HEAD请求可辅助查头,但仍应以实际GET响应及渲染结果核内容,避免两种请求被服务器区别处理。
| 看到什么 | 继续核什么 | 修复方向 |
|---|---|---|
| 403、429、5xx或超时 | CDN/WAF规则、限速、源站和请求日志 | 针对误拦截或服务故障修复,再复测;不直接认定页面不存在 |
| 200但出现登录、挑战或空白壳 | HTML正文、所需脚本/API与真实访问权限 | 让公开产品信息实际可访问,不仅修改状态码 |
| 多次跳转、回到自身或跨域往返 | 每一跳的Location、协议、主机与代理转发设置 | 确定唯一目标,在测试环境验证不会形成循环 |
| 404或软404 | 商品是否真实存在,页面是否只有错误提示 | 保留有效商品内容;确实删除且无合适替代时返回正确404/410 |
不能只把User-Agent改成Googlebot,就说真实爬虫已经放行。按Google请求验证方法核日志里的来源IP,使用适用类型的官方IP范围,或先反向DNS查询,核主机名属于对应类型的官方域名,再正向解析并确认包含原IP。域名要按完整后缀边界判断,不能只看字符串里是否含有google;反向与正向都匹配但域名不属于官方,仍不是验证通过。服务器前有代理时,还要确认日志取得的客户端地址来源可信。没有这些材料,就将结论限定为本次自测。
robots与noindex:分别检查,不要互相替代
robots.txt规则控制抓取,按主机、协议和端口生效;路径匹配区分大小写,还需核最具体的User-agent组和实际匹配规则。查看完整文件及响应,不能只看一行Allow,忽略更具体的组或路径限制。公开图片、CSS、JS和API若被挡,也可能影响页面理解。
noindex说明要求爬虫能抓取页面才能读取该规则。robots禁止抓取不保证URL从搜索消失;反过来,想让本页参与索引,应检查HTML中的robots/googlebot meta以及HTTP的X-Robots-Tag,确认不存在意外noindex。修改前明确页面本来是否应该公开,robots不能代替登录鉴权。
不要在原HTML先放noindex,再期望JavaScript加载后删除。Google遇到noindex可能跳过渲染,后面的修改未必被执行。部署修复后分别核源站与CDN,防止旧指令仍在缓存里。
规范地址、参数和分页:先判断内容是不是同一份
规范网址指引用于相同或非常相似页面的首选版本。检查最终HTML里是否只有一致的canonical、目标是否正确可用,内链与Sitemap是否也指向计划保留的版本。canonical是信号,不是强制指令,也不意味着浏览器会发生跳转。基础写法与常见误配可看canonical设置说明。
- 跟踪或排序参数:若内容确实重复,可评估归到首选版本;不要把所有带参数的URL都当成垃圾页。
- 不同型号或有效变体:先比较用户得到的规格、用途及信息差异,再决定独立页或共同版本,不能全部指向产品分类或首页。
- 分类分页:按Google分页建议使用可访问的独立URL及各页自canonical,不将后续页全指向第一页。Google不再使用rel next/prev作为分页信号。
- 确实搬迁的旧页:用适当重定向指向对应替代页,并更新内部入口。删除产品后没有相关替代,不能为了消除404把所有地址都跳首页。
全站强制小写、去掉所有查询参数或复制通用Apache/Nginx跳转规则,都可能损坏有效地址。实施前列出原URL与目标、代理所在层及例外,备份配置并检查循环与查询参数是否按预期保留;测试通过再发布。
产品信息是否真的进入渲染结果

JavaScript SEO说明将处理分为抓取、渲染和索引。Google能够执行JavaScript,但被屏蔽的资源、API失败或仅在用户点击后加载的重要信息仍需排查。用URL检查中可取得的HTML、截图及资源信息对照型号、规格、价格或询盘信息,不要只确认页面顶部Logo能显示。
初始HTML没有完整内容不等于一定无法索引;关键是渲染后是否具备真实产品信息。服务端渲染或预渲染可以减少依赖,但不能只给爬虫一份与用户不同的虚假内容。若链接只由点击事件触发,改成可解析的真实<a href="…">入口;单页应用还要验证直接访问该路径能返回正确内容。
内链和速度分别看,别设“3秒不收录”门槛
从相关分类、产品列表或选型文章找到产品页的真实链接,检查分页和移动端入口。可抓取链接建议关注href可解析、目标合理与锚文本有意义,没有每300字一个内链的规则。入口存在只证明可发现路径,不能代替索引检查。
服务器延迟与错误值得修,但不能将3秒写成Googlebot统一放弃阈值。核心网页指标是LCP、INP、CLS;TTFB是另一项性能诊断指标,使用Lighthouse报告时,TBT也不等于真实用户INP。结合日志与实际性能报告定位图片、应用查询或脚本瓶颈,不把某个分数当索引门槛。图片占用较大时,可进一步按图片尺寸、编码与画质对照方法优化,而不是只更换文件扩展名。
缺少Product结构化数据不等于普通产品页不能索引。结构化数据规则关系到适用富结果资格,标记须与真实可见产品一致,正确标记也不保证富结果展示。
修复后留下一份可复查记录
记录原URL、问题证据、变更、发布时间、源站/CDN读回和实时测试。需要时请求重新抓取,再观察后续已知索引状态与搜索表现;当前技术通过不写成已经收录。新页面发布流程见让新页面更容易被发现的发布检查,整站大量未索引见预期索引清单与报告对账。需要协同技术、内容和站内结构,可结合光算SEO服务确定执行范围。