DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt該屏蔽什麼:從收錄控制到安全隱患
編輯:SEO優化集錦     

robots.txt 能有效阻止搜索引擎抓取那些我們不希望被抓的頁面與源文件。它的好處很明確:減少蜘蛛在不必要內容上的分散抓取,讓一些內容不被收錄、不被搜到。那麼到底哪些東西值得屏蔽?

一、要不要屏蔽動態頁面以減少重複抓取?

我的建議是:普通站點沒必要屏蔽動態頁。搜索引擎本身有去重能力,而內容量不大的站點,出現大量重複頁的概率本來就低。真正需要屏蔽動態頁的,是信息站、論壇站這類URL參數繁多、鏡像頁面嚴重的類型。

二、屏蔽特殊頁面與不希望外流的內容

嚴格說來,在沒有程序權限支持的情況下,robots.txt 很難真正保護隱私。這裡說的「隱私」,指的是那些不想被傳到互聯網各處的內容,比如培訓班的內部資料,屏蔽蜘蛛至少能降低擴散範圍。

三、屏蔽特殊文件夾

這類文件夾通常包括:程序安裝目錄、動態功能頁、多餘目錄、後台功能目錄等。

說完好處,也得說風險。robots.txt 是寫給蜘蛛看的,告訴它哪些別看——但它同時也是寫給所有人看的。你在裡面老老實實寫上:

Disallow: /dede/ ——有心人一眼就知道這是織夢程序;

Disallow: /install/ —— installation 目錄,即使後台改名,程序類型也能被推斷出來;

Disallow: /login.asp ——等於直接把後台登錄地址公告天下;

Disallow: /123.html ——只對搜索引擎有效,對真人一點攔阻作用都沒有。

上面幾條都是出於安全考慮。那 robots.txt 到底還寫不寫?

就我的操作經驗,還是要寫的,很多優化工作離不開它。但站點安全不能只靠它,必須在程序層面做防護——會員系統、權限校驗這些,得靠開發去落實。

至於「不暴露文件名」這個問題,可以用通配符來處理,用「*」把具體路徑藏起來。

如圖所示,這樣既不必暴露自己的目錄與文件名,又能達到屏蔽蜘蛛的效果。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved