網站收錄不順,未必是內容不夠好,也可能是抓取路徑混亂。透過robots.txt限制不必要路徑,並以nofollow引導權重與爬取順序,可以讓搜尋引擎更有效率地發現重要頁面。
下圖為近期收錄變化示意。
實務上,robots.txt適合阻擋後台、重複參數或暫無價值的頁面;nofollow則可用於留言、註冊、廣告等不需要傳遞權重的連結。關鍵不是大量屏蔽,而是讓抓取集中在有價值的內容上。