介紹

Screaming Frog SEO Spider 是一款全面的網站爬蟲工具，設計用來幫助 SEO 和網站管理員進行深入的網站審核。這款工具因其在識別可能影響網站效能的常見 SEO 問題上的效率而廣受認可。它能高效地爬取小到大型網站，並提供即時的數據分析，使其成為優化網站 SEO 不可或缺的工具。

核心功能

找出斷掉的連結和錯誤：即時發現斷掉的連結（404 錯誤）、伺服器錯誤及其他常見問題。該工具允許將錯誤和來源 URL 批量匯出供開發人員修復。

審核重定向：識別臨時和永久性重定向，檢測重定向鏈與循環通路，並通過上傳 URL 列表進行網站遷移審核。

分析頁面標題和元資料：分析頁面標題和元描述，識別太長、太短、缺失或重複的元素，並優化它們以提升 SEO 表現。

發現重複內容：識別完全重複的 URL 和部分重複的元素，包含頁面標題、描述和標題。此外，還能找出低內容頁面。

用 XPath 提取資料：使用 CSS Path、XPath 或 regex 從 HTML 網頁中收集資料，如社群元標籤、標題、價格等。

檢查 Robots 和指令：檢視被 robots.txt、meta robots 或 X-Robots-Tag 指令阻擋的 URL，並評估 canonical 標籤和分頁屬性。

生成 XML 網站地圖：創建具備高級配置的 XML 網站地圖和映像網站地圖，包括優先級和更改頻率。

與 GA、GSC 和 PSI 整合：通過連接 Google Analytics、Search Console 和 PageSpeed Insights APIs 來獲取用戶和效能數據。

爬取 JavaScript 網站：使用 Chromium WRS 渲染網頁，爬取動態、JavaScript 密集型網站。

可視化網站架構：使用互動式可視化工具，包括爬取和目錄圖表，評估內部連結和 URL 結構。

排程審核：自動化定期進行爬取並將數據匯出至各種位置，包括 Google Sheets，或通過命令行完全自動化。

適用場景

代理商和 SEO 專家：適用於進行全面的網站審核和追蹤 SEO 表現，從斷掉的連結到複雜的重定向和元資料分析。

網站管理員和網站所有者：通過識別和修復 SEO 問題，優化網站架構，確保所有頁面皆可訪問且已被最佳化。

內容行銷專家：審核內容是否重複，優化元資料以提升搜尋引擎可見度，並追蹤來自 Google Analytics 和其他整合工具的效能指標。

開發團隊：通過審核重定向和被阻擋的 URL 簡化網站遷移，在遷移前後確保網站的 SEO 完整性。

吸引人的重點

1. 全面的網站審核：識別斷掉的連結、重定向、重複內容及其他常見 SEO 問題。
2. 高級資料提取和分析：利用 XPath、CSS Path 和 regex 提取特定數據並分析網站效能。
3. 即時爬取和可視化：提供即時的數據分析和網站架構互動式可視化。