robots.txt 能有效阻止搜索引擎抓取那些我們不希望被抓的頁面與源文件。它的好處很明確:減少蜘蛛在不必要內容上的分散抓取,讓一些內容不被收錄、不被搜到。那麼到底哪些東西值得屏蔽?
一、要不要屏蔽動態頁面以減少重複抓取?
我的建議是:普通站點沒必要屏蔽動態頁。搜索引擎本身有去重能力,而內容量不大的站點,出現大量重複頁的概率本來就低。真正需要屏蔽動態頁的,是信息站、論壇站這類URL參數繁多、鏡像頁面嚴重的類型。

二、屏蔽特殊頁面與不希望外流的內容
嚴格說來,在沒有程序權限支持的情況下,robots.txt 很難真正保護隱私。這裡說的「隱私」,指的是那些不想被傳到互聯網各處的內容,比如培訓班的內部資料,屏蔽蜘蛛至少能降低擴散範圍。

三、屏蔽特殊文件夾
這類文件夾通常包括:程序安裝目錄、動態功能頁、多餘目錄、後台功能目錄等。

說完好處,也得說風險。robots.txt 是寫給蜘蛛看的,告訴它哪些別看——但它同時也是寫給所有人看的。你在裡面老老實實寫上:
Disallow: /dede/ ——有心人一眼就知道這是織夢程序;
Disallow: /install/ —— installation 目錄,即使後台改名,程序類型也能被推斷出來;
Disallow: /login.asp ——等於直接把後台登錄地址公告天下;
Disallow: /123.html ——只對搜索引擎有效,對真人一點攔阻作用都沒有。
上面幾條都是出於安全考慮。那 robots.txt 到底還寫不寫?
就我的操作經驗,還是要寫的,很多優化工作離不開它。但站點安全不能只靠它,必須在程序層面做防護——會員系統、權限校驗這些,得靠開發去落實。
至於「不暴露文件名」這個問題,可以用通配符來處理,用「*」把具體路徑藏起來。

如圖所示,這樣既不必暴露自己的目錄與文件名,又能達到屏蔽蜘蛛的效果。