介绍

Screaming Frog SEO Spider 是一款全面的网站爬虫工具，设计用来帮助 SEO 和网站管理员进行深入的网站审核。这款工具因其在识别可能影响网站性能的常见 SEO 问题上的效率而广受认可。它能高效地爬取小到大型网站，并提供实时的数据分析，使其成为优化现场 SEO 不可或缺的工具。

核心功能

找出断掉的链接和错误：即时发现断掉的链接（404 错误）、服务器错误及其他常见问题。该工具允许将错误和来源 URL 批量导出供开发人员修复。

审核重定向：识别临时和永久性重定向，检测重定向链与循环路径，并通过上传 URL 列表进行网站迁移审核。

分析页面标题和元数据：分析页面标题和元描述，识别太长、太短、缺失或重复的元素，并优化它们以提升 SEO 表现。

发现重复内容：识别完全重复的 URL 和部分重复的元素，包括页面标题、描述和标题。此外，还能找出低内容页面。

用 XPath 提取数据：使用 CSS Path、XPath 或 regex 从 HTML 网页中收集数据，如社群元标记、标题、价格等。

检查 Robots 和指令：检查被 robots.txt、meta robots 或 X-Robots-Tag 指令阻挡的 URL，并评估 canonical 标记和分页属性。

生成 XML 网站地图：创建具备高级配置的 XML 网站地图和映像网站地图，包括优先级和变化频率。

与 GA、GSC 和 PSI 集成：通过连接 Google Analytics、Search Console 和 PageSpeed Insights APIs 来获取用户和性能数据。

爬取 JavaScript 网站：使用 Chromium WRS 渲染网页，爬取动态、JavaScript 密集型网站。

可视化网站架构：使用互动式可视化工具，包括爬取和目录图表，评价内部链接和 URL 结构。

排程审核：自动化定期进行爬取并将数据导出至各种位置，包括 Google Sheets，或通过命令行完全自动化。

适用场景

代理商和 SEO 专家：适用于进行全面的网站审核和追踪 SEO 表现，从断掉的链接到复杂的重定向和元数据分析。

网站管理员和网站所有者：通过识别和修复 SEO 问题，优化网站结构，确保所有页面皆可访问且已被优化。

内容营销专家：审核内容是否重复，优化元数据以提升搜索引擎可见度，并追踪来自 Google Analytics 和其他集成工具的性能指标。

开发团队：通过审核重定向和被阻挡的 URL 简化网站迁移，在迁移前后确保网站的 SEO 完整性。

吸引人的重点

1. 全面的现场审核：识别断掉的链接、重定向、重复内容及其他常见 SEO 问题。
2. 高级数据提取和分析：利用 XPath、CSS Path 和 regex 提取特定数据并分析网站性能。
3. 实时爬取和可视化：提供实时的数据分析和网站架构互动式可视化。