跳至正文
技术 SEO 与抓取索引 · Google SEO

提交sitemap后只收录部分页面:按索引原因逐项排查

// / / 光算科技

提交 sitemap 后只收录了部分页面,先确认缺少的是你希望被收录的正式页面,还是参数页、重定向地址和重复版本。Sitemap 用来帮助 Google 发现网址,提交成功不代表其中每个 URL 都会进入索引。真正的排查入口是 Search Console 的网页索引原因、网址检查结果,以及网站当前返回的内容。

先核对分母:哪些页面本来就应该收录

把 CMS 里所有地址的数量直接当作目标收录量,容易得到误导性的差距。同一产品可能有分类路径、筛选参数、跟踪参数和不同大小写的地址;站内搜索、购物车、账号页也未必需要出现在搜索结果中。

先整理一份希望搜索用户访问的 URL 清单,再检查每个地址是否返回正常内容、允许索引、具有明确用途,并与站内链接和 canonical 指向一致。对于已删除且没有替代内容的页面,正确的 404 或 410 不需要为了报表变绿而恢复成空壳页。

Google 的站点地图文档要求使用完整网址,并建议列出希望展示在搜索结果中的规范网址。新旧页面迁移时可以另保留旧 URL 清单观察重定向处理,但不能据此把日常 sitemap 长期当作所有历史地址的垃圾桶。

按 Search Console 的原因决定下一步

在“网页索引”报告中选取对应 sitemap 或页面类型,打开未编入索引的原因,再抽取有代表性的 URL 做网址检查。下表是处理方向,不是对某个网站的远程诊断。

报告中的情况优先核对通常应采取的动作
被 robots.txt 阻止是否误挡了正式页面、目录或渲染所需资源修正真正误挡的规则,再核对 Google 获取到的版本
被 noindex 排除HTML 和 HTTP 响应头是否还带有测试环境或插件生成的指令需要收录才移除 noindex;私有和无搜索价值页面可继续保留
服务器错误、重定向错误实际请求是否出现 5xx、循环、错误目标或中间跳转失败先修响应与映射,不能靠改正文解决访问故障
已发现,尚未编入索引Google 是否尚未抓取、网站负载是否异常、重要页面是否有发现入口检查服务器日志、抓取统计、内容规模及内部链接
已抓取,尚未编入索引Google 读到的正文、与已有页面的差异、页面是否有独立价值检查内容与规范化,不反复重复提交同一 URL
备用网页或重复网页Google 选择的 canonical 是否符合预期预期合并可保持;选错时检查内容、站内链接和 canonical 是否相互矛盾

网页索引报告的官方说明明确指出,未编入索引不一定是错误。“已抓取,尚未编入索引”也不是 Google 已向站长证明了某项具体内容问题;需要结合页面实物判断,不能看到状态就断言遭到处罚。

Sitemap 本身要查什么

  • 返回的是 XML 内容。浏览器能打开一个 200 地址,不代表 Google 读到的是站点地图;登录页、验证码和防护拦截页面都可能占用这个地址。
  • 格式和编码正确。XML sitemap 使用 UTF-8、正确的命名空间,URL 中的特殊字符按 XML 规则转义。可以用 Sitemap Validator,或在编辑器中用 XML Tools检查语法;语法通过仍要检查每个地址的实际内容。
  • 分片没有超限。单个 sitemap 最多包含 50,000 个 URL,未压缩文件最大 50MB;超出时分拆并用 sitemap 索引管理。这是文件限制,不是超过某个数量就会让全站失去信任。
  • 地址与正式站一致。不要混入测试域、错误协议、误编码地址和无意义参数变体。
  • lastmod 反映实质更新。它应对应页面重要内容、结构化数据或链接等实际变化;不要让所有页面每天自动变成“今天更新”。Google 忽略 sitemap 中的 priority 和 changefreq 值,不必用它们制造优先级。

若站点地图抓取失败,先核响应和访问规则。若站点地图成功读取而部分正式页面缺失,继续查这些页面,不要把精力都耗在反复生成相同 XML 上。

把“浏览器可见”和“Google 已读到”分开核验

打开一个问题 URL,检查状态码、最终地址、canonical、meta robots 和 X-Robots-Tag。再看源代码与渲染后的主体:产品参数、正文、分页链接是否实际存在,还是只剩加载动画、错误提示或空白容器。

网址检查工具中的索引版本,反映 Google 已知的数据;实时测试用于检查当前访问和部分技术条件。实时测试成功并不能承诺进入索引,也不完整模拟 Google 的规范网址选择。先对比最后抓取时间与修复时间,避免拿旧结果判定新修复无效。

更改 robots.txt 后的缓存与重新获取也需要单独观察。仅把本地爬虫的 User-Agent 写成 Googlebot,不能证明真正的 Googlebot 已经访问成功;日志中的身份还需要验证。

没有访问故障,就检查页面为何值得单独保留

对电商产品页,查看是否只改了型号名称,其他内容完全不能帮助选型;对资讯页,查看是否重复回答已有文章,关键结论没有来源,或者标题承诺的答案藏在大量空话后面。需要补的是参数、兼容条件、操作方法和有依据的差异,不是凑到某个字数。

例如,同一产品的追踪参数页通常不需要分别收录;不同设备的维修步骤则可能值得独立成页,前提是各自有不同的部件、步骤和限制。是否合并、重定向或保留,应由内容用途与 URL 关系决定,不按相似度软件的一个百分比批量删除。

Google 的规范网址说明把重定向、canonical 和 sitemap 列为不同强度的信号。声明是偏好表达,最终选择仍由 Google 作出。站内链接持续指向另一版本,会让你希望表达的关系更难判断。

修完后,怎样判断真的有进展

  1. 保留问题 URL、原状态、修改内容和修复时间,先确认正式页面读回正确。
  2. 少量重要 URL 可用网址检查请求重新编入索引;大量页面通过正确的 sitemap 与相关站内入口供 Google 发现。
  3. 观察 Google 是否重新抓取,索引原因是否变化,最终选用的 canonical 是否符合预期。
  4. 再看对应页面和查询的展示、点击及有效咨询,不把抓取成功当成流量增长。

Google 的重新抓取说明指出,重复请求同一 URL 不会使抓取更快,请求也不保证立即或最终进入搜索结果。没有对所有网站通用的“几天必收录”期限。

如果技术与内容已经具备基础,问题集中在重要 URL 缺少发现入口,可以进一步了解光算 GPC 谷歌爬虫池的资源引导方式,并用目标站真实抓取日志核验。GPC 服务页也区分了发现、抓取和收录,是否收录仍需观察 Google 的实际处理。