跳至正文
数据、工具与监测 · Google SEO

Screaming Frog SEO使用指南:抓取设置、问题定位与复查

// / / 光算科技

Screaming Frog SEO Spider适合把页面、响应状态、标题、规范地址和链接关系放进一张可筛选的检查表。它的价值在于发现并定位问题;爬取结束不等于审计完成,工具标记也不能直接当作Google排名规则。

先准备范围,再启动爬取

从官方产品页下载适合当前操作系统的版本,按其要求安装。免费版有500个URL的抓取限制,部分配置和功能需要许可;不要承诺任何网站都能在同样时间内完成。抓取规模、脚本渲染、服务器速度和本机内存都会影响耗时。

第一次建议选一个已获授权的小目录试跑,确认不会进入无限筛选、站内搜索或大量重复参数URL。记录开始地址、是否包含子域、抓取限制、渲染方式、UA以及开始时间。生产站点从保守并发开始,观察响应时间和错误率后再调整。

选择HTML还是JavaScript渲染

官方配置手册说明,HTML模式主要检查初始HTML;JavaScript模式会执行客户端脚本并从渲染后的HTML提取内容。若正文或链接由前端生成,应对代表页面比较两种结果,再决定全站抓取方式。换成Googlebot的UA并不会让软件获得真实Googlebot的IP和身份。

先跑一轮,再按问题看URL

  1. 在Spider模式输入规范首页或目标目录,确认范围后启动。
  2. 观察已发现URL是否符合预期;若出现无穷参数组合,先暂停并修正范围。
  3. 保存抓取结果与配置,便于修复后使用同口径比较。
  4. 优先检查影响访问、索引和重要页面的错误,再处理一般文案建议。

重点解读这些报告

检查项实际判断常见误读
Response Codes404目标是否仍有有效入链;5xx是否可复现所有301都必须删除
Indexability与指令重要正式页是否误设noindex或受robots限制所有noindex页都是错误
Canonicals目标可达、内容关系合理,内链和地图是否一致非自指canonical一律错误
Page Titles/Meta Description是否准确、缺失或存在不合理重复按固定字符数判定排名合格
H1与正文主标题清楚,页面真正兑现主题只要检测到H1就说明内容好
Images图片能打开、alt符合用途、尺寸与体积适当装饰图的空alt也必须填关键词

从问题URL找到需要改的来源

选择一个404或错误跳转URL,在下方Inlinks查看哪些页面链接到它、锚文本是什么、链接处于哪个位置。修复时应改源页面里的错误地址,而不是给所有死链统一跳到首页。若目标确有替代内容,再选择语义相符的跳转或链接。

例如,文章A链接到产品旧地址B,B已迁移到C:先确认C确为对应产品,再修A的链接和B的重定向,最后抓取A、B、C复查。把“源URL、目标URL、问题、处理、验证”放在同一行,才方便实施。

孤立页面不能靠一次首页爬取全部发现

从首页沿链接抓取,天然看不到没有发现路径的页面。可在授权范围内结合站点地图、CMS URL清单及可用的GSC/分析数据,再比较哪些URL只来自外部清单而没有站内入链。工具支持的集成与分析步骤以所用版本和许可为准。

同样,工具看到很多链接并不代表它们有阅读价值。正文内链应帮助用户继续解决相邻问题,不靠批量互链补一个数字。

怎样交付一份可执行的结果

按访问故障、索引配置、内容与链接三个方向给出实际受影响URL、证据、修复负责人和验收方式;优先级结合页面的重要性与真实搜索数据。修复后用相同配置复爬受影响范围,并另做浏览器和Search Console检查。Screaming Frog不能独自证明页面已收录、排名提高或带来询盘。