DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
網站Robots.txt協議,你真的寫對了嗎?
編輯:SEO優化集錦     

Robots.txt是站點與搜索引擎溝通的通用協議。通過它告訴爬蟲哪些目錄可以抓、哪些不能抓:一方面能用於站點安全防護,另一方面更重要的用途是做優化——屏蔽無效頁面,減少低質量收錄,從而提升整體表現。

但在實際操作裡,絕大多數站點的robots寫得都有或多或少的不規範,有些甚至因為技術性錯誤,直接導致降權、不收錄、被K。這一點我在做SEO診斷時經常遇到,算是很多站點的通病。今天就來聊聊:robots.txt,你寫對了嗎?

一、直接允許全站抓取

「收錄越多,排名越好」是很多站長的默認認知,某種意義上確實如此。但並不絕對:低質量頁面被大量收錄,反而會拉低整站評價——這一點常被忽略。

如果你的站點結構不夠清晰,或者存在多余的「功能型」頁面,那就不建議開放全站抓取。實際診斷中,真正能做到全站放行且不屏蔽的站點極少。隨著功能越加越多,全站放行也越來越不現實。

二、哪些頁面不建議抓取

從用戶角度,某些功能目錄確實能提升體驗;但從搜索引擎角度,大量翻頁評論這類內容只會增加服務器負擔,對優化毫無價值。

此外還包括:站點做了偽靜態之後,動態鏈接應該屏蔽,避免重複抓取;用戶登錄、註冊目錄;無用的軟件下載目錄。如果是靜態站,還應屏蔽動態參數形式的鏈接:

Disallow: /*?*

為什麼?看個例子:

上圖是某客戶站點被收錄的異常頁面,原因是有人惡意提交了這類鏈接,而站點本身沒有做相應的防護。

三、撰寫上的細節

基本語法多數站長都清楚,不清楚的可以查一下相關文檔。這裡只說幾個不太常見、但經常被問到的點。

1、Disallow: /a 與 Disallow: /a/ 的區別。前者屏蔽的是所有以字母a開頭的目錄和頁面,後者只屏蔽該目錄下的頁面與子目錄。通常更建議用後者,因為前者定義的範圍太大,容易造成「誤殺」。

2、JS和CSS要不要屏蔽?不少站做了屏蔽,但谷歌站長工具明確說明:封禁CSS與JS調用可能影響頁面質量判斷,進而影響排名。據了解,百度這邊同樣會受到影響。所以這兩個資源目錄一般應該放行。

3、已刪除目錄的處理。很多站長刪了目錄後怕出404,乾脆屏蔽掉不讓抓。這樣真的好嗎?屏蔽只是擋住抓取,如果那些URL在索引庫裡還有留存,問題並沒有被解決。更妥的做法是:把主要錯誤頁面整理出來,提交死鏈,並配置自定義404頁面,從根本上處理,而不是繞開它。

以上由A5營銷黃忠(微信:3870284)編輯。每個人在成長中都會遇到一些坎,方向找對了,問題就解決了;找不對,做的往往是反效果。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved