知道去哪裡看日誌、知道日誌有什麼用,這只是入門;真正的功夫在於讀懂它。以下這段是從部落格日誌中擷取的記錄,我們逐段拆解:
2011-11-25 16:08:35 GET /zhishi/default.html - - 61.139.126.233 HTTP/1.0 Mozilla/5.0(compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html) - 200 34160 62
時間:2011-11-25 16:08:35,這是蜘蛛(或使用者)的到訪時刻。
請求方式:GET 代表伺服器動作,也就是「從伺服器取內容」。日誌裡絕大多數都是 GET,另一種常見的是 POST。仔細看 GET 後面那個斜槓,它代表被請求的路徑,只有一個斜槓就是首頁。
路徑:/zhishi/default.html,這是蜘蛛抓取的具体位址。
IP:61.139.126.233,訪客的來源位址。
協議:HTTP/1.0,表示以 HTTP 1.0 協定取得內容。
使用者代理:Mozilla/5.0(compatible; Baiduspider/2.0; ...)這一段說明了訪客身分。從 Baiduspider 字樣不難判斷,這是百度蜘蛛來訪——蜘蛛以「使用者」的身分被日誌記錄了下來,整行合起來就是:百度蜘蛛來過。
狀態碼:200 代表成功取得;404 是檔案不存在;401 需要密碼;403 禁止存取;500 是伺服器錯誤。這次顯然是成功的。
位元組數:34160 與 62 是抓取的字節大小,也就是該頁面的實際體積。
現在有各式各樣的日誌分析工具,很多 SEO 不必手動逐行看。但讀懂日誌仍是從業者該具備的基本功,因為它可以讓你隨時掌握蜘蛛的拜訪狀況;尤其網站出問題時,日誌往往是最直接的第一手線索。
百度蜘蛛:baiduspider
谷歌蜘蛛:googlebot
雅虎蜘蛛:slurp
Alexa 蜘蛛:ia_archiver
搜狗蜘蛛:Sogou web spider
MSN 蜘蛛:msnbot
有道蜘蛛:YodaoBot、OutfoxBot