Screaming Frog SEO Spider适合把页面、响应状态、标题、规范地址和链接关系放进一张可筛选的检查表。它的价值在于发现并定位问题;爬取结束不等于审计完成,工具标记也不能直接当作Google排名规则。
先准备范围,再启动爬取
从官方产品页下载适合当前操作系统的版本,按其要求安装。免费版有500个URL的抓取限制,部分配置和功能需要许可;不要承诺任何网站都能在同样时间内完成。抓取规模、脚本渲染、服务器速度和本机内存都会影响耗时。
第一次建议选一个已获授权的小目录试跑,确认不会进入无限筛选、站内搜索或大量重复参数URL。记录开始地址、是否包含子域、抓取限制、渲染方式、UA以及开始时间。生产站点从保守并发开始,观察响应时间和错误率后再调整。
选择HTML还是JavaScript渲染
官方配置手册说明,HTML模式主要检查初始HTML;JavaScript模式会执行客户端脚本并从渲染后的HTML提取内容。若正文或链接由前端生成,应对代表页面比较两种结果,再决定全站抓取方式。换成Googlebot的UA并不会让软件获得真实Googlebot的IP和身份。
先跑一轮,再按问题看URL
- 在Spider模式输入规范首页或目标目录,确认范围后启动。
- 观察已发现URL是否符合预期;若出现无穷参数组合,先暂停并修正范围。
- 保存抓取结果与配置,便于修复后使用同口径比较。
- 优先检查影响访问、索引和重要页面的错误,再处理一般文案建议。
重点解读这些报告
| 检查项 | 实际判断 | 常见误读 |
|---|---|---|
| Response Codes | 404目标是否仍有有效入链;5xx是否可复现 | 所有301都必须删除 |
| Indexability与指令 | 重要正式页是否误设noindex或受robots限制 | 所有noindex页都是错误 |
| Canonicals | 目标可达、内容关系合理,内链和地图是否一致 | 非自指canonical一律错误 |
| Page Titles/Meta Description | 是否准确、缺失或存在不合理重复 | 按固定字符数判定排名合格 |
| H1与正文 | 主标题清楚,页面真正兑现主题 | 只要检测到H1就说明内容好 |
| Images | 图片能打开、alt符合用途、尺寸与体积适当 | 装饰图的空alt也必须填关键词 |
从问题URL找到需要改的来源
选择一个404或错误跳转URL,在下方Inlinks查看哪些页面链接到它、锚文本是什么、链接处于哪个位置。修复时应改源页面里的错误地址,而不是给所有死链统一跳到首页。若目标确有替代内容,再选择语义相符的跳转或链接。
例如,文章A链接到产品旧地址B,B已迁移到C:先确认C确为对应产品,再修A的链接和B的重定向,最后抓取A、B、C复查。把“源URL、目标URL、问题、处理、验证”放在同一行,才方便实施。
孤立页面不能靠一次首页爬取全部发现
从首页沿链接抓取,天然看不到没有发现路径的页面。可在授权范围内结合站点地图、CMS URL清单及可用的GSC/分析数据,再比较哪些URL只来自外部清单而没有站内入链。工具支持的集成与分析步骤以所用版本和许可为准。
同样,工具看到很多链接并不代表它们有阅读价值。正文内链应帮助用户继续解决相邻问题,不靠批量互链补一个数字。
怎样交付一份可执行的结果
按访问故障、索引配置、内容与链接三个方向给出实际受影响URL、证据、修复负责人和验收方式;优先级结合页面的重要性与真实搜索数据。修复后用相同配置复爬受影响范围,并另做浏览器和Search Console检查。Screaming Frog不能独自证明页面已收录、排名提高或带来询盘。