「我們網站編輯製作內容後會產生一個連結位址,但文章內容還沒通過審核,這段期間這個連結會是 404 狀態。如果被百度抓到,會有什麼影響嗎?」
深圳 VIP 大講堂現場,有站長這樣向講師海威提問。在此之前,院長也接到多位資訊類站長的類似詢問。這次講堂上,海威代表官方給出了正式回覆:
強烈建議站點不要這樣做,它會影響該內容的收錄速度。如果資源只是暫時不可用,建議回傳 500、503 這類狀態碼。尤其是原創內容,在這種情況下設定 404 對站點是極大的損失——因為蜘蛛發現 50X 之後再次嘗試訪問的頻率,比 40X 要快得多。
這個細節背後的邏輯其實很清楚:狀態碼是站長與爬蟲溝通的語言。404 傳達的是「這裡永久沒有東西」,蜘蛛自然不會再回頭;5xx 傳達的是「暫時無法提供」,蜘蛛會保持較高的重試頻率。對內容審核週期較長的資訊站而言,一個狀態碼的選擇,可能就是原創內容能否被收錄的分水嶺。
作者:站長學院