Google 於 10 月澄清，robots.txt 只有官方文件列明的欄位才受支援。對香港 SME，最容易出錯的不是規則語法，而是把「不讓 crawler 抓取」誤當成「不讓網頁出現在搜尋結果」。robots.txt 主要用於管理抓取路徑；要處理 HTML 頁面的索引，應讓 crawler 能讀到 noindex。這些設定不保證任何排名、AI 平台展示、引用、流量或商業成果。
robots.txt 是抓取控制，不是索引開關
它適合管理哪些 crawler 可存取路徑
robots.txt 位於網站根目錄，用 user-agent、allow 及 disallow 等已受支援欄位，告訴 crawler 哪些路徑可以或不可以抓取。它可用來減少對不重要搜尋結果頁、某些篩選頁或不需抓取資源的請求，降低伺服器與抓取管理的複雜度。企業也可為不同 crawler 設定不同群組，並以註解記錄規則的業務原因。
不要自創欄位或把 noindex 放入 robots.txt
Google 已明確說明，未列在其 robots.txt 文件的欄位不受支援。因此，把 noindex、nofollow 或自行發明的指令放入 robots.txt，不能當作有效的 Google 控制方式。若 CMS 或外掛自動加入陌生欄位，應先確認該欄位是否由目標 crawler 支援，而不是假設所有 robot 都會理解。
要阻止頁面被索引，請選對工具
HTML 頁面使用可被讀取的 noindex
Google 對 HTML 頁面支援在頁面中加入 <meta name="robots" content="noindex">。但 crawler 必須能存取該頁才能讀到這個設定；若同一網址被 robots.txt 的 disallow 阻止，Google 便無法發現 noindex，相關索引或摘要規則可能被忽略。正確做法是先讓可見但不應索引的 HTML 頁面可被抓取，再用 noindex 控制。
PDF、圖片與其他非 HTML 檔使用 X-Robots-Tag
PDF、影片和圖片不能放入 HTML meta tag。Google 建議以 HTTP 回應標頭的 X-Robots-Tag 加入 noindex 等規則。這同樣要求 crawler 可取得資源與標頭；如資料真正私密，應採用登入或伺服器存取控制，而不是把 URL 藏在 robots.txt 之後。
三個常見情況的簡單判斷
草稿、內部頁與測試內容
若內容不應公開，最穩妥是不要部署到可公開存取的位置，或以帳戶驗證保護。若頁面需要公開讓特定使用者查看但不希望被搜尋收錄，可考慮 noindex，並確認它沒有被 robots.txt 阻擋。測試站更應採用適當存取控制及 noindex，而不是只依靠 robots.txt。
只想限制搜尋摘要中的某段文字
這不是 robots.txt 的工作。Google 對 HTML 指定區段提供 data-nosnippet，而 nosnippet、max-snippet 等屬於 meta robots 或 X-Robots-Tag 規則。任何摘要限制都應與頁面公開政策、結構化資料及實際內容一併檢查。
GEO Expert 的觀點
對網頁存取、抓取、索引和摘要分別使用正確的控制，才能減少技術矛盾。香港 SME 應把 robots.txt 保持簡單，只寫有明確用途且受支援的規則；任何索引限制或私密資料處理，應交由 noindex、X-Robots-Tag 或登入存取控制。這是治理網站可見性的基礎，不是取得任何 AI 結果的保證。