自從投身 SEO 網站優化,我便慢慢養成了關注網站日誌的習慣。如今,分析日誌已成為我每天到公司的第一件事。也許還有站長不會看日誌,這類朋友可以參考此前的《略懂網站日誌分析,網站更安全》;也有人覺得天天盯著數據是浪費時間。可在筆者看來,日誌至少能告訴我們四件事。
第一、確認是否有蜘蛛來爬行
判斷方法有兩種:
1、直接看日誌代碼,適合分析高手;
2、借助日誌分析工具,適合新手。

通過工具,你能直觀看到站點哪些頁面已被蜘蛛抓取。
第二、從客戶 IP 判斷蜘蛛類型
1、220.181.108.* —— 百度蜘蛛(提權蜘蛛)
2、123.125.71.* —— 百度蜘蛛(劣質文章抓取蜘蛛)
3、123.125.68.* —— 百度蜘蛛(考察蜘蛛)
4、117.28.255.* —— 假冒蜘蛛
……
第三、檢測頁面狀態是否正常
從日誌的服務器響應碼就能看出頁面狀態。一般返回 200 表示正常,出現 404 則說明頁面有問題。
第四、判斷搜索引擎對站點的友好程度
從日誌能直接看出蜘蛛來爬行的次數,次數越多,說明蜘蛛對站點越友好。

從圖中可直觀看到爬行次數,但其中也摻雜著冒牌蜘蛛,所以還需結合客戶 IP 甄別真偽。具體區分方法可參考《略懂網站日誌分析,網站更安全》裡的圖文教程,這裡不再展開。
基於以上四點,筆者再進一步探討:
針對第一點,我們能看清哪些頁面被抓取、哪些沒有。隨著算法的不斷更新,新站考察期越來越長,以至於不少新站長更新的文章用 site 查收錄都看不到——這多半是搜索引擎滯留、尚未及時釋放。
針對第二點,可通過客戶 IP 判斷站點安全與內容質量。常見百度蜘蛛 IP 的含義如下:
1、123.125.68.* 常來、別的少來 —— 站點進入沙盒或被降權的概率很高。
2、220.181.68.* 每天只增不減 —— 進入沙盒或被降權的預兆。
3、220.181.7.*、123.125.66.* —— 搜索引擎開始抓取內容。
4、121.14.89.* —— 已擺脫新站考察期。
5、203.208.60.* —— 站點開始不正常。
6、210.72.225.* —— 不間斷巡邏各站。
7、220.181.108.* —— 抓取高質量內容頁或首頁。
一般成功抓取返回 200 0 0;若顯示 304 0 0,代表網站未更新、蜘蛛來過但沒抓;若是 200 0 64,也不必擔心,那只是部分動態頁面的抓取。
針對第三點,200 表示正常訪問,404 表示頁面不存在,304 表示網頁未更新,這些都能從日誌代碼直接看出。若大量出現 404,就很有必要處理了——可用 robots.txt 屏蔽這些頁面,避免搜索引擎爬行。
針對第四點,真蜘蛛的到訪次數自然是越多越好!
關於日誌就介紹到這。獲取日誌通常有兩種方式:
1、FTP 空間的 log 文件夾;
2、登入站點服務器,日誌通常在 C:/WINDOWS/system32/LogFiles。
尊重原創、註明出處,就是在為淨化網絡環境盡一份力。