本文整理自百度搜索平台工程師實際處理過的案例,談一個很常見卻容易被忽略的收錄障礙——空短頁面。
日前接到站內用戶反饋,指某站點收錄情況異常不理想,希望協助排查。
排查過程大致如下:
先用site語法檢索,確認收錄量確實偏低,僅十餘條,其中還有一部分是死連結。
接著針對用戶提供的URL做抓取檢查,發現這批頁面在2016年12月26日就已成功抓取回來,首次抓取環節沒有問題。
然而進一步檢視頁面庫中的抓取快照後發現,這些頁面回傳的內容完全一致,都是「請輸入邀請碼」的提示。
換句話說,它們被百度蜘蛛判定為空短頁面——而空短頁面是不會被收錄的。
有站長會問:等網站全面開放後,是不是就能收錄了?問題在這裡。當蜘蛛對一個站點大量抓取後,發現回傳的都是低價值空短頁,它就會判定這個站整體價值偏低,後續分配的抓取額度隨之下降,頁面更新變慢,收錄自然更慢。站點一旦被貼上「不優質」的標籤,後續挽回成本很高。
怎麼避免?做法其實很簡單:網站在邀請制測試階段,用robots.txt把整個站封禁起來,等內容準備妥當再開放。
三點總結:
一、空短頁面百度不收錄。
二、空短頁面屬於低質頁面,會拉低整個站點的價值評估,建站初期就該注意。
三、內容正式上線之前,用robots.txt先行封禁。