DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt裡該屏蔽哪些目錄:一份實操清單
編輯:SEO優化集錦     

一個規範的網站,根目錄下都應該有robots.txt文件。這個文件的作用對運營網站的朋友來說並不陌生,網上製作方法和相關工具也很多,操作很方便。但真正值得問一句的是:你的robots.txt設置合理嗎?哪些文件該屏蔽,哪些設置反而對運營不利?

下面筆者逐項拆解,希望對新手站長有幫助。

一、robots.txt是什麼

引用百度站長工具的說法:搜索引擎使用spider程序自動訪問互聯網上的網頁並獲取信息。spider在訪問一個網站時,會首先檢查該網站根域下是否存在一個叫做robots.txt的純文本文件,這個文件用於指定spider在你網站上的抓取範圍。你可以在其中聲明不想被收錄的部分,或者指定只收錄特定部分。

二、它有什麼好處

1、屏蔽無益內容,讓抓取更集中,有助於權重與訪問量的積累;

2、禁止某些文件被索引,可以節省服務器帶寬、提升訪問速度;

3、為搜索引擎提供一個簡潔清晰的索引環境。

三、哪些目錄建議屏蔽

1、圖片目錄

圖片是網站的主要組成元素之一。現在建站門檻很低,大量CMS讓「會打字就會建站」成為現實,副作用是網上湧現出大量同質化模板站,反覆被使用。這樣的站搜索引擎本來就不喜歡,即便被收錄,效果也很差。如果你確實在用這類站點,建議在robots.txt中屏蔽相關目錄。常見的圖片目錄是images或img。

2、網站模板目錄

CMS的強大與靈活,也帶來了模板的氾濫。高度重複的模板在搜索引擎看來是一種冗余,而模板文件常與生成的靜態文件高度相似,容易造成雷同內容。多數CMS都有獨立的模板存放目錄,建議一併屏蔽。常見目錄名是templets。

3、CSS與JS目錄

CSS文件對搜索引擎的抓取沒有實際用處,也提供不了有價值的內容,強烈建議屏蔽,以提高索引質量、簡化抓取環境。常見目錄名是css或style。

JS文件搜索引擎難以識別,屏蔽同樣是為了讓抓取環境更乾淨。這條屬於建議,可按實際情況決定。

4、雙份可訪問的頁面

以DEDECMS為例,同一篇內容可以通過靜態和動態URL訪問。如果你已生成全站靜態,就必須屏蔽動態地址。這樣做有兩個好處:一是搜索引擎對靜態URL更友好、更容易收錄;二是避免同一篇文章被兩個URL訪問而被判為重複內容。

5、模板緩存目錄

很多CMS都有緩存目錄,它能有效提升訪問速度、節省帶寬,對體驗是好事。但缺點是會造成搜索引擎重複抓取,而站內內容重複是優化的大忌。不少用CMS建站的朋友都忽略了這一點,值得重視。

6、已刪除的目錄

死鏈過多對SEO是致命的,必須高度重視。站點運營過程中目錄刪除和調整不可避免,如果某個目錄已經不存在,應在robots中屏蔽並返回正確的404頁面。

這裡有個容易出錯的細節:在IIS中設置404時,自定義錯誤頁面應該選擇「默認值」或「文件」,而不是「URL」,否則可能導致搜索引擎拿到200狀態碼。具體設置網上教程很多,動手前先查一下。

四、後台目錄要不要屏蔽

這一點存在爭議,筆者認為可以分情況看。如果能保證站點安全,運營規模較小,後台目錄出現在robots裡影響不大,網上不少站就是這麼設置的。但如果站點規模大、競爭對手多,強烈建議不要在robots.txt中暴露任何後台路徑信息,以免被有心人利用。

實際上搜索引擎的識別能力已經越來越強,對於管理目錄通常能自行判斷並放棄索引。另外做後台時也可以在頁面meta標簽中加入禁止抓取的設置,多一層保障。

五、關於站點地圖

最後補充一點:很多站長喜歡把站點地圖地址寫進robots.txt。這裡並非屏蔽,而是讓搜索引擎首次索引時能通過地圖快速抓取站內內容。注意兩點:地圖製作要規範;站點本身要有高質量內容——否則地圖做得再漂亮也留不住蜘蛛。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved