Vue或React网站可以被Google抓取和收录。出现“浏览器里有内容,搜索里却找不到”的情况时,应逐层检查:网址能否被发现、直接请求是否正常、关键内容能否渲染、索引设置是否一致。框架名称本身不能说明故障;把网站全部改成SSR之前,先找出缺失发生在哪一步。
Google在JavaScript SEO基础文档中将处理过程分为抓取、渲染与索引。它能执行JavaScript,但资源被阻止、接口失败或内容需要点击后才加载,都可能让结果与开发者日常看到的页面不同。官方没有给所有网站规定统一的“800毫秒渲染预算”,也没有承诺换框架后能按固定比例提高收录。
先选出能说明问题的页面
不要只测首页。挑选一个公开产品页、一个分类页、一个详情页,以及一个确认不存在的地址;如果有分页、语言版本或不同模板,各补一个样本。记录完整URL、预期标题、应出现的产品型号或正文句子,以及一条应该能找到的站内链接。
这些内容就是后面检查时的对照物。例如,产品页必须显示型号、用途、规格和相关产品入口;只有网站Logo与空容器,并不能算产品内容已经可读取。示例用于安排检查,不是某个客户网站的测试结果。
第一层:直接打开深层URL,服务器返回了什么?
在未登录的新窗口中直接访问详情页,而不是先打开首页再点击进去。同时检查HTTP响应。以下命令只读取示例地址,使用时换成自己的网站与真实路径:
curl -sS -D response-headers.txt -o response.html 'https://example.com/products/pump-a/'
curl -sS -L -o /dev/null -w 'status=%{http_code} final=%{url_effective}\n' 'https://example.com/products/pump-a/'
第一条保存首次响应头和HTML;第二条跟随重定向,查看最终状态与URL。不要只用HEAD请求判断正文是否正确,也不要把最终200当作全部通过。逐项核对:
- 真实页面:直接访问和刷新时能到达正确内容,不会落回首页、登录页或防护挑战页。
- 不存在的页面:服务端最好返回真实404;不能让任意错误路径都以200返回相同应用外壳。
- 初始HTML:搜索预先记录的型号或正文句子。没找到说明内容可能依赖客户端渲染,尚不能据此断定Google一定无法处理。
- 必要资源:JS文件、CSS及提供公开正文的数据接口可访问,没有被robots.txt、跨域设置、身份验证或防护规则误挡。
使用History模式的路由还需要服务器支持直接访问深层路径。只改前端路由、没有配置部署端,常见结果就是“点击能进、刷新404”。另一方面,将所有路径无条件重写到index.html,也会掩盖不存在的页面;需要同时设计有效路由和错误处理。
第二层:普通浏览器渲染后,关键内容有没有完整出现?
打开开发者工具,在Network中禁用缓存后重新加载,检查Document、JS和接口请求;在Console中查看异常,再到Elements搜索同一段预期文字。比较时使用没有登录状态、没有提前保存地区或购物车信息的新会话。
Google的JavaScript故障排查说明指出,渲染服务不会在页面加载之间保留Cookie、Local Storage和Session Storage。若产品描述只有选择国家、批准定位或先访问另一页之后才返回,就不能假定首次抓取也有这些前置状态。
| 观察到的情况 | 优先检查 |
|---|---|
| 页面外壳正常,产品正文一直空白 | 内容接口状态、返回数据、权限与组件异常;确认不是接口报错被吞掉 |
| 点击标签后才第一次请求正文 | 把应公开索引的主要文字提前提供;标签切换可保留,不让内容获取依赖点击 |
| 首次正常,发布新版本后偶发白屏 | 旧HTML是否引用已删除的脚本、缓存版本是否错配;静态资源使用内容指纹并保留合理发布过渡 |
| SSR有正文,浏览器执行后内容消失 | 水合错误、服务端与客户端数据差异、条件渲染是否误删正文 |
| 桌面有内容,手机只剩摘要 | 移动端模板是否删减正文或改成交互后加载;结合移动优先索引检查 |
用Puppeteer或Playwright运行自己的浏览器,可以帮助复现这些问题;把User-Agent改成Googlebot并不等于复现Google的真实渲染环境。它仍是本机测试,需要和Google工具的结果分别记录。
第三层:用Google工具查看它实际取得的内容
- 在Google Search Console的网址检查中输入完整URL,查看已索引版本的状态、最近抓取信息与Google选择的规范页。
- 运行实时测试,打开可用的已测试页面信息,查看渲染HTML、截图、资源加载和JavaScript输出。界面可用信息随页面与账号权限不同而变化。
- 在渲染HTML中找型号、规格、核心段落和详情链接;截图用来辅助发现空白、遮挡,不能替代文字核对。
- 将发现的问题对应到服务器日志、接口错误或资源规则;修复后用相同URL重新测试。
Google也建议使用富媒体搜索结果测试辅助查看渲染。一个页面没有适用的富媒体类型,不等于它不能收录;实时测试成功同样不等于已经进入索引,已索引版本也不一定立即反映刚发布的修复。
路由、链接与meta:页面能显示,还要能被正确识别
导航需要真实的href
希望被发现的详情页使用可解析的HTML链接。不要只用div的点击事件或router.push()完成所有导航。Vue Router、React路由组件可以使用,但要检查最终DOM是否确实输出了带有效href的a元素。
/products/pump-a/这类可直接访问的路径适合独立公开内容;/#/products/pump-a中的片段不应被当成一个独立服务端页面。无限滚动的后续列表还需提供可直接访问的分段地址,见无限滚动与分页检查。
核对初始响应与渲染后的索引设置
每个公开路由应有符合自身内容的标题与描述,并检查HTTP头、robots meta和canonical。Google可以处理JS生成的部分meta,但尽量在初始HTML中提供稳定值;已在HTML中设置canonical时,不要在客户端改指另一个页面。
尤其不要在初始HTML中先放noindex,再指望执行JavaScript后移除:Google发现noindex后可能跳过渲染。需要索引的页面从初始响应开始就应给出一致的许可。不存在的SPA路由若暂时无法返回服务端404,Google文档列出了跳到真实404地址或在错误状态加入noindex的处理方式;它们不适合套在正常页面上。
CSR、SSR和预渲染怎么选?
选择应围绕公开内容、更新方式和部署能力,而不是把某种技术当作排名开关。
- 客户端渲染(CSR):适合许多登录后的应用功能。公开页面也可能被Google处理,但必须验证其依赖的脚本、接口和内容渲染;登录数据仍需真实权限控制。
- 服务端渲染(SSR):适合需要在请求时生成公开内容的页面。正文可以随初始响应返回,但仍要管理服务器响应速度、缓存、数据获取与水合,不代表性能自然达标。
- 静态生成或预渲染:适合能在构建或更新阶段生成的介绍页、文档和部分产品内容。需要覆盖动态路由,并让内容更新、删除与重建机制保持同步。
- 混合方案:公开产品和文章提供可直接读取的HTML,交互或私人后台保留客户端功能。不同路由不必被迫使用同一种模式。
Vue项目可对照Vue SSR指南与Nuxt渲染模式选择部署方案。React项目应先确认所用框架、版本及路由体系:例如Next.js Pages Router的getServerSideProps属于特定体系,不能原样放入App Router。这里提供选型入口,不把局部配置片段冒充完整迁移方案。
按爬虫身份另送一份预渲染HTML的“动态渲染”,Google将其称为临时变通方案,不推荐作为长期解决方式。它增加另一条内容与缓存路径;若已有实现,须核对用户与爬虫看到的主要信息一致,不能只让测试工具拿到特别加工的页面。
修完以后,按原问题验收
回到最初选出的URL,重验直接请求、未登录浏览器、Google实时渲染与错误路由。检查公开正文、链接、标题、canonical和robots是否一致,再观察后续抓取与索引。性能另看真实加载和交互数据,不能用“已经SSR”替代测速。
如果问题是没有发现路径,可在站内链接和站点地图之外评估GPC爬虫池的资源引导;它不修复JavaScript异常或缺失的正文。只有先分清“尚未被发现”和“取得页面却读不到内容”,后续执行才会对准实际问题。