
Google 的 Crawl Budget 指引主要處理大型或快速更新網站的抓取效率。對大多數香港 SME 而言,較應優先確保重要服務頁、案例和文章可被發現、可正常回應並有清楚的索引訊號,而不是把資源投放在複雜的抓取配額設定;這不保證任何排名、AI 平台展示、引用、流量或商業成果。
何時才需要關注 Crawl Budget?
它是大型網站的進階問題
Google 指出,若網站沒有大量快速變更的頁面,或新內容通常在發布當天已被抓取,只要保持 Sitemap 更新並定期查看 Page Indexing report 已屬足夠。官方把 Crawl Budget 指引定位為大型、頻繁更新,或有大量 URL 顯示為「已發現、尚未編入索引」的網站使用;文件列出的頁面數量只是粗略分類,並非固定門檻。
抓取不等於索引或展示
Google 說明,Search 會經過發現、抓取、索引及提供結果等階段。Googlebot 能抓取一個 URL,並不代表該頁必定會編入索引或出現在搜尋結果。企業不應把「抓取更多」視為單一目標,而應先確認該頁是否是獨特、應公開、對客戶有用的 canonical 版本。
香港 SME 應優先做好哪三件事?
讓重要頁面容易被發現
每個重要的服務、行業方案、案例或文章頁,應至少由網站另一頁以可抓取的 HTML 連結連到它。Google 一般能處理帶有 href 的 a 元素;連結文字應描述目的頁,而非只寫「按此」或「更多」。同時,把希望 Google 抓取的重要 canonical URL 放進 Sitemap,並在有實質更新時維護 lastmod。
整理不需要成為獨立網址的內容
重複、排序、篩選、已停用服務頁或失效網址,會令網站更難管理。Google 建議合併重複內容、為永久移除頁面回傳 404 或 410、處理 soft 404 並避免長重定向鏈。這些工作可讓使用者和搜尋系統更容易辨識哪一頁才是企業正式、可維護的資訊來源。
不要把 robots.txt 與 noindex 用錯位置
先按目的選擇控制方式
對從不希望 Google 抓取的非重要網址,robots.txt 可以是合適工具;對應保留給持有連結者但不應出現在搜尋結果的 HTML 頁面,則要讓 crawler 能讀取 noindex。Google 特別說明,noindex 仍會產生頁面請求,因此不應把它當成大型網站節省抓取請求的工具。中小企應先定義每類 URL 的用途,再選擇控制方法。
不要為了「騰出配額」短暫封鎖網址
Google 不建議只為重新分配 Crawl Budget 而暫時在 robots.txt 封鎖網址;若 Google 並未觸及網站的抓取容量上限,騰出的資源不會自動轉給其他頁面。與其作臨時技術調整,企業應修正重複 URL、伺服器錯誤和錯誤連結等可查證問題。
建立每月可重複的檢查流程
以 Page Indexing report 找出真正異常
在 Search Console 查看已索引與未索引理由時,重點是重要 canonical URL 是否被處理,而不是追求所有網址 100% 被索引。重複或替代頁未被索引往往屬正常情況。若重要服務頁出現錯誤、soft 404、意外 noindex 或伺服器問題,才應進一步用 URL Inspection 和網站技術檢查追查原因。
把內容與網站健康放在抓取前面
Google 指出,伺服器回應變慢、5xx 或 429 可降低抓取能力;內容的獨特性、整體價值和更新需要亦會影響抓取需求。香港 SME 的務實次序是:保持網站穩定、公開重要資料、清理重複和失效頁,再根據報表處理具體異常,而非購買或承諾所謂的抓取配額。