不能永遠指望搜索引擎蜘蛛乖乖照規矩辦事。放任它自己跑,重複內容會一堆,重要頁面可能被當垃圾丟掉,不該露給用戶看的入口反而被收進索引,還有各種你想不到的狀況。好消息是,我們手裡有 meta robots、robots.txt、canonical 這幾件工具,能把蜘蛛在站內的行動管起來。
今天要聊的是這些工具的邊界:當你為了封鎖同一個頁面,同時疊加了好幾種控制手段,它們之間可能互相抵消,甚至把本該暴露的問題一併藏起來。
頁面層級的指令,寫在 HTML 的 head 裡,用來告訴蜘蛛這個頁面能不能收錄、要不要跟隨其中鏈接。
同樣位於 head,作用是聲明哪一個 URL 才是標準版本。它並不阻止抓取,而是把重複頁面累積的權重集中到指定的那一個上。
從 2007 年起,Google 等搜索引擎支持在 HTTP 響應頭裡下發 X-Robots-Tag,用來控制抓取與索引的優先級。它在處理非 HTML 文件時特別好用,比如 PDF。
它決定蜘蛛能不能進入站內某些路徑,但無法保證具體某個頁面會不會被收錄。除非確有屏蔽必要,否則我更傾向用 meta 標籤裡的 noindex 來替代。
同時疊加多種限制,聽起來穩妥,實際常常適得其反:
· Meta Robots noindex
· Canonical 指向另一個 URL
· robots.txt Disallow
· X-Robots-Tag
一個辦法總比兩個辦法可靠。下面看幾組常見組合會發生什麼。
如果你的目標是把 A 頁的權重傳給 B 頁,那就老老實實只用 canonical。別再疊一個 noindex 給自己添亂——蜘蛛一旦認定這個頁面不該收錄,很可能根本不讀它的 head,你的 canonical 就白寫了,權重傳遞自然失效。
這兩個是純粹的冗餘。同一個頁面上放兩份等價指令,除了增加維護成本,我看不到任何好處。既然你已經能在頁面裡改 meta 標籤,就沒有必要再往 HTTP 頭裡塞一遍。
這是我見過最多的衝突。我偏好 noindex,是因為它既能阻止頁面進索引,又不切斷頁面內部那些有價值的鏈接,權重還能繼續往深層頁面傳——雙贏。
而 robots.txt 一旦 Disallow,蜘蛛連頁面內容都不看,那條 noindex 它永遠讀不到。你付出的是「放棄整頁權重傳遞」的代價,換回來的卻是什麼都沒多得到。