
很多站長會把 robots.txt 與 nofollow 混為一談,以為只要屏蔽了某個網址,蜘蛛就不會再理會。實際上,兩者的作用並不相同,使用時也要分開理解。
robots.txt 是用來告訴搜尋蜘蛛哪些路徑可以抓取、哪些路徑不建議抓取的協定。它能減少部分抓取行為,但若其他頁面仍連向該網址,蜘蛛仍可能知道它的存在,只是不抓取內容。
nofollow 通常用於告訴搜索引擎,這條鏈接不需要被視為投票或傳遞權重。它與 robots.txt 不同,不是直接禁止抓取,而是影響鏈接的追隨與傳遞效果。
若你只想減少無意義抓取,robots.txt 可以幫忙;若你希望某個鏈接不被視為推薦,nofollow 更合適。若同時使用,也要避免互相衝突,否則可能造成抓取與索引判斷混亂。
對於重複內容、篩選結果頁或暫無價值的頁面,可視情況使用 robots 或 noindex;對於廣告、未審核內容或不相關連結,則可考慮 nofollow。重點是根據目的選擇工具,而不是憑感覺設定。
理解 robots 與 nofollow 的差異,能讓蜘蛛抓取更有效率,也能避免網站內部訊號互相干擾。