做SEO的同時,一定要養成看日誌的習慣。日誌是唯一能真實呈現蜘蛛行為的材料——它去了哪裡、看了什麼、遇到什麼障礙,全都寫在裡面。
閱讀日誌時,重點盯三件事:
1、抓取目錄的情況。蜘蛛的爬行路徑是從首頁出發,先進入各個目錄,再逐層深入到內容頁。哪個目錄被頻繁拜訪、哪個目錄從未被光顧,一目了然。
2、抓取頁面的情況。從首頁到目錄頁再到內容頁的完整路徑,能看出站內鏈路是否通暢,也能看出哪些頁面被跳過了。
3、返回狀態碼的情況。200代表正常,301是重定向,404是頁面不存在,5xx則是服務器出問題。狀態碼異常的記錄,往往就是問題的第一現場。
它能反映網站在不同搜索引擎上的優化成效差異——同一個站,在不同引擎眼裡的抓取深度可能完全不同。
它能反映重點目錄的權重高低——被抓得越勤的目錄,通常權重越高。
它能反映重點頁面的權重高低,幫助你判斷哪些內容值得重點投入。
它能反映蜘蛛抓取時承受的壓力高低,讓你及時發現服務器瓶頸。
它能透過狀態碼異常,及時發現站內哪些頁面出錯、哪些頁面蜘蛛根本爬不到。
一句話:日誌分析是把「感覺」換成「證據」的過程。養成每週看一次日誌的習慣,很多問題能在影響排名之前就被攔下。