
上一篇《被人所遺忘的SEO根本》裡我提過一些關於網站日誌的看法,反響比我預想的大——很多讀者反饋說看不懂,甚至有人根本不會查日誌。今天就把這件事講透:日誌在SEO中發揮什麼作用,以及幾種常見的讀法。
上一篇我說過,決定排名的是每次蜘蛛爬完你的站之後帶回數據庫的那個綜合值。很多人對這句話的理解偏了,以為這個綜合值就是日誌裡的每一條記錄,或者每一個IP的含義。其實不是。首先,日誌只能反映蜘蛛爬過的痕跡。
另外關於IP的判斷,網上不少說法我不敢苟同。比如「一篇新聞被220.181.108.*的IP爬過,第二天就馬上收錄」,在我看來這完全是誤導。請記住一個非常重要的前提:百度蜘蛛的IP是在爬你網站之前就決定的,而不是先認定你這個頁面是高質量頁面,再派提權蜘蛛過來。這是個非常大的誤區。
當然,日誌的重要性無可替代。它雖然不能完整呈現你的排名,卻能讓你看出很多趨勢。下面具體講解怎麼讀日誌。為什麼只談百度蜘蛛?因為現在的網站SEO基本可以理解為百度引擎優化。
2013-09-09 00:07:16 59.60.7.125 GET /news/news2013524236.html - 80 - 123.125.71.16 HTTP/1.1 Mozilla/5.0+(Linux;u;Android+2.3.7;zh-cn;)+AppleWebKit/533.1+(KHTML,like+Gecko)+Version/4.0+Mobile+Safari/533.1+(compatible;++https://www.baidu.com/search/spider.html) - - www.jinh.cn 200 0 0 16143 296 140
上面這段是我從日誌裡截取的完整一條,逐段來看。
GET前面有兩組數據:前半部分是時間,後半部分是你網站的域名和IP。GET之後到第一個「-」之間,是蜘蛛抓取的頁面路徑——很多時候這裡是空的,代表它爬的是首頁。後面的「-」之後,是爬行蜘蛛的IP,這部分最值得關注。
常見的IP其實就那麼幾種:一種是提權蜘蛛的 220.181.108.*,另一種是查看垃圾內容的蜘蛛 123.125.71.*。對新站來說,還要特別留意 121.14.89.*——這個IP代表你的新站已經脫離考察期,開始被當作普通網站看待。還有一類需要注意:IP第三段的數字是68或51的,如果這類IP大量出現在你的站上,那基本可以判斷情況不太妙。
IP之後那一大串裡,唯一要留意的是網址部分。它代表蜘蛛找到你網站的入口。比如你在某個博客或論壇發了一篇文章,之後發現蜘蛛是從那裡爬進來的,那就說明這個外鏈質量不錯,值得繼續投入。
最後那幾個返回值是 200 0 0 這一段。狀態碼常見的有200、301、304、403、404,網上都能查到具體含義,這裡不展開。末尾三個值分別代表下載、上傳和耗時。
說了這麼多,相信各位對網站日誌已經有了初步概念。最後再強調一次:蜘蛛的IP是在爬行之前就決定的,所以千萬別看到 220.181.108.* 就以為是天使降臨,它也可能是別的信號。