透過分析網站日誌(Log)能看到用戶與搜尋引擎蜘蛛的訪問行為,這些數據能反映雙方對站點的偏好,也能暴露站點的健康狀況。其中,最值得鑽研的是蜘蛛行為。
在抓取與收錄過程中,搜尋引擎會依權重給不同站點分配資源。一個對搜尋引擎友善的站,應該把這些資源用在刀刃上:讓蜘蛛快速、準確、完整地抓到有價值、用戶喜歡的內容,而不是把額度浪費在無效或異常頁面上。
日誌數據量通常很大,實務上得靠工具。常見的有光年日誌分析工具與 Web Log Explorer。
分析單日日誌時,重點看:訪問次數、停留時間、抓取量、目錄抓取統計、頁面抓取統計、蜘蛛 IP、HTTP 狀態碼、活躍時段、爬取路徑。分析多日日誌時,則看:訪問次數趨勢、停留時間趨勢、整體抓取趨勢、各目錄抓取趨勢、抓取時段分佈、蜘蛛活躍週期。
這三項能推導出三個衍生指標:
平均每次抓取頁面數 = 總抓取量 ÷ 訪問次數
單頁抓取停留 = 每次停留 ÷ 每次抓取
平均每次停留時間 = 總停留時間 ÷ 訪問次數
從這些數字可以看出蜘蛛的活躍度、親和度與抓取深度。總訪問次數、停留時間、抓取量越高,平均抓取頁面數與平均停留時間越長,代表站點越受搜尋引擎青睞。反過來,單頁抓取停留時間越長,說明頁面載入越慢,對抓取收錄不利,應設法提升載入速度、壓縮單頁停留,讓爬蟲資源能用來抓更多內容。
把這些數據拉成時間序列,還能看出站點的整體趨勢:蜘蛛訪問次數趨勢、停留時間趨勢、抓取量趨勢。
日誌能告訴你哪些目錄受蜘蛛歡迎、抓取深度如何、重要頁面目錄的抓取狀況、無效頁面目錄的抓取狀況。把目錄下的抓取量與收錄量對照,往往能挖出更多問題:重要目錄需要透過內外調整加權與引導爬取;無效頁面則應在 robots.txt 中屏蔽。
多日統計還能驗證站內外操作的效果——優化是否合理、是否達到預期。同一目錄拉長時間看,也能推敲頁面表現背後的原因。
日誌裡能看到具體被爬過的頁面。從中可挑出:不該被抓的頁面、沒有收錄價值的頁面、重複 URL 等,這些都該在 robots.txt 裡擋掉,把爬蟲額度省下來。
同時也能分析未收錄的原因:新文章是根本沒被抓到,還是抓了但沒放出?有些閱讀價值不高的頁面,或許要留作爬取通道,這類頁面是否該加 noindex?不過我個人有點疑惑——蜘蛛真會靠這些無意義的通道頁去發現內容嗎?它不讀 sitemap?這點想聽聽大家的經驗。
曾有人主張用蜘蛛 IP 段判斷降權,我覺得意義不大,時效性太落後。降權更該從前三項數據去判。IP 分析更有用的方向是辨識采集蜘蛛、假蜘蛛與惡意點擊蜘蛛。
301、404 這類狀態碼若頻繁出現,要及早處理,以免拖累站點表現。
對比多日的每小時爬取量,能看出特定蜘蛛在本站的活躍時段;對比整週數據,則能看到活躍週期。這對內容發布時間有實際指导意义,而坊間流傳的「小三大四」之說並不科學。
日誌能追蹤特定 IP 的訪問路徑。若追蹤的是蜘蛛,就能看出它在你的站點結構下的路徑偏好。據此可以適度引導,讓它多抓重要、有價值、剛更新的頁面。路徑分析還能拆出物理目錄結構偏好與 URL 邏輯結構偏好——透過這些,等於換到搜尋引擎的视角審視自己的站。