做SEO的人對百度蜘蛛總有一種特別的情感。目前百度在PC與行動搜尋都佔主導地位,蜘蛛多來幾趟,才有更多機會換來收錄、排名與流量。
1. 對網站的友好性
為了更多、更準確地取得資訊,蜘蛛會在最大化利用頻寬與資源的同時,盡量降低對被抓取網站的壓力。這意味著抓取行為本身是有節制的,不是壓榨式的。
2. 識別URL重定向
網路數據量龐大、連結眾多,頁面因各種原因發生重定向是常態,蜘蛛必須能正確識別。
3. 優先級策略
資訊量太大,無法用單一規則決定先抓什麼,因此需要多種策略並行:深度優先、寬度優先、PR優先、反鏈優先。就我的經驗,PR優先是最常遇到的那一種。
4. 抓取不到時的補救
網路環境百出,難免有抓不到的情況,因此官方開通了主動提交數據的入口。
5. 對作弊內容的處理
抓取時常遇到低品質頁面、買賣連結等問題,官方以綠蘿、石榴等演算法進行過濾,內部還有未公開的判斷方法。
http:超文本傳輸協議。
https:目前百度已全網實現,安全性更高。
robots:蜘蛛訪問的第一個檔案,它決定哪些頁面可抓、哪些不可抓。
蜘蛛有規則,但不可能一視同仁。以下幾點影響明顯:
1. 網站權重:權重越高,抓取越頻繁、越深。
2. 更新頻率:更新越勤,蜘蛛來得越勤。
3. 內容品質:原創多、質量高、能解決問題的內容,會換來更高的抓取頻次。
4. 導入連結:連結是頁面的入口,高品質連結能更好地引導蜘蛛進入與爬取。
5. 頁面深度:首頁有入口的頁面,被抓到與收錄的機會明顯更高。
抓取頻次直接決定有多少頁面會被建庫收錄。想了解與調整,可以到站長平台的抓取頻次功能查看:

有些站內容優質、使用者訪問正常,蜘蛛卻抓不到。這不只損失流量,還會被判定為不友善,導致降權、評分下降、導入流量減少。
1. 主機連接異常:一是網站不穩定導致抓不到,二是蜘蛛完全無法連上主機——後者需要仔細排查。
2. 網路運營商異常:國內主要分電信與聯通線路,若蜘蛛經由其中一條無法訪問,盡快聯繫運營商處理。
3. DNS解析異常:蜘蛛無法解析網站IP時會出現此問題,可用WHOIS查詢IP是否能正常解析,不行就找域名註冊商。
4. IP封禁:封禁會限制該IP的訪問,只在特定情況下才該做。若希望蜘蛛正常抓取,盡量避免。
5. 死連結:表示頁面失效、無法提供有效資訊,可透過站長平台提交死鏈。
收錄是流量的保證,而抓取是收錄的保證。網站只有符合蜘蛛的抓取規則,才能換來更好的排名與流量。