並不是所有頁面都適合被搜索引擎收錄。有些內頁如果被抓取,不僅沒有價值,還可能稀釋網站主題、增加重複內容風險。
對於不希望被抓取的目錄或文件,可通過 robots 腳本進行屏蔽。這是較常見且規範的方式。
若某些鏈接不希望傳遞權重,可添加 nofollow。這適合處理特定區域或特定鏈接,而不是整站屏蔽。
Meta Noindex 可用於阻止收錄,但可能影響抓取效率,應結合實際需求使用。
隨着蜘蛛識別能力提升,單純依靠 Flash、表單或 JavaScript 來屏蔽內容,已不再可靠。