nofollow 常被誤解為只是阻擋權重傳遞,但在大型網站中,它也可以是引導爬蟲抓取、提升收錄效率的重要工具。Tradekey 的做法,就是一個值得研究的例子。

在該網站中,註冊、登錄等通用連結被加上 nofollow,避免爬蟲把資源浪費在重複性高的頁面上。更值得注意的是,首頁保留部分導航連結供爬蟲進入,其他頁面則對部分導航做 nofollow 處理。

這種做法的核心,是減少高曝光頁面的重複抓取,讓爬蟲有更多機會拜訪從未被發現的頁面。透過日誌分析可以發現,某些頁面一天可能被抓取數十次甚至上百次,但其實並不需要如此頻繁。

當通用連結被適度屏蔽後,爬蟲被迫沿著內容頁、產品頁與主題頁爬行,全站可被抓取到的頁面自然增加。這提醒我們:nofollow 不只是防止權重流失,也可以用來重新分配抓取預算。

對中小型網站而言,不一定需要完全照搬,但可以從中學到一個觀念:網站連結不是越多越好,而是要讓爬蟲把時間花在真正有價值的頁面上。