DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
百度 Spider 如何處理 301、404、403、503 返回碼
編輯:SEO優化集錦     

百度爬蟲在抓取與處理時,是依 HTTP 協議規範來設定邏輯的。因此當網站或某類頁面出現特殊狀況時,我們必須知道怎麼回應才符合它的預期,否則錯誤的舉措會給 SEO 帶來不必要的風險。以下整理常見狀態碼的處理邏輯,並補充實際應用。

四種狀態碼的含義與反應

404(NOT FOUND)。百度會判定該頁已失效,通常會從搜尋結果中刪除,且短期內即使再次發現這條 URL 也不會抓取。

503(Service Unavailable)。百度視為暫時無法訪問,常見於站點臨時關閉或頻寬受限。回 503 時,這條 URL 不會被直接刪除,短期內會再訪問;若已恢復則正常抓取,若持續回 503 還會反覆嘗試數次。但長期回 503,最終仍會被視為失效連結而移除。

403(Forbidden)。百度理解為當前禁止訪問。新發現的 URL 暫不抓取,短期內再檢查;已收錄的 URL 不會立即刪除,同樣會再訪問數次。若長期維持 403,也會被判定失效並從結果中移除。

301(Moved Permanently)。表示頁面已永久導向新網址。遇到站點遷移、域名變更或站點改版時,強烈建議使用 301,盡量減少流量損失。雖然百度對 301 的反應週期偏長,但這仍是規範做法。

幾種常見情境的建議

一、站點臨時關閉、頁面暫時打不開時,不要直接回 404,建議回 503,讓蜘蛛知道稍後再試。

二、若蜘蛛對站點的抓取壓力過大,也請避免回 404,同樣建議 503。這樣它會稍後再來嘗試,若那時站點有空閒,就能成功抓取。

三、若希望只收錄部分內容,例如審核後的內容或累積一段時間的新用戶頁,建議新內容先回 403,處理完成後再改為正常狀態碼。

四、站點遷移或域名變更時,請使用 301。

實際案例:商品頁「收了又刪」的問題

我曾為一家電商網站提供顧問服務。該平台每日新增商品由商家發布,上線後即出現在搜尋與商品列表中,同時平台需進行審核,未通過者予以刪除。於是出現這樣的情況:新增商品頁被蜘蛛抓取,隨後該頁又被刪掉。

由於該站在百度權重較高,每日新增商品頁幾乎即時收錄,因此這批新收錄頁面中有一定比例很快就不存在了——一批剛被收進索引的頁面,又向蜘蛛回傳 404。收了再讓它刪,結果顯然不會太好。

我採用的解法是:既然商品有「已審核」與「未審核」兩種狀態,就設計兩套 URL 規則。未審核的使用第一套規則,並以 robots 協議限制蜘蛛抓取;已審核的則沿用第二套規則。這樣可確保蜘蛛抓到的都是有效頁面,不會因審核未過而單日產生大量 404。

是否可以用 403 來解決?思路是:判斷商品是否通過審核,通過則回 200,否則回 403。正常商品頁確保被抓取;新增商品在蜘蛛首次發現時回 403,等再次回訪時若已審核通過、狀態碼變為 200,仍可正常收錄。這方法仍有待驗證,因為中間存在時間差,而且百度對回 403 的頁面是否收錄不佳,也存在不確定性。

至於 301,過往交流中大家普遍認為百度的響應速度偏慢,這一點官方也已證實。但即便如此,它仍是公認規範的處理方式。做優化,良好的技術規範是必要的基礎。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved