DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
百度蜘蛛怎麼抓取網站,以及怎麼提高抓取頻次
編輯:SEO優化集錦     

做SEO的人對百度蜘蛛總有一種特別的情感。目前百度在PC與行動搜尋都佔主導地位,蜘蛛多來幾趟,才有更多機會換來收錄、排名與流量。

一、蜘蛛的抓取規則

1. 對網站的友好性

為了更多、更準確地取得資訊,蜘蛛會在最大化利用頻寬與資源的同時,盡量降低對被抓取網站的壓力。這意味著抓取行為本身是有節制的,不是壓榨式的。

2. 識別URL重定向

網路數據量龐大、連結眾多,頁面因各種原因發生重定向是常態,蜘蛛必須能正確識別。

3. 優先級策略

資訊量太大,無法用單一規則決定先抓什麼,因此需要多種策略並行:深度優先、寬度優先、PR優先、反鏈優先。就我的經驗,PR優先是最常遇到的那一種。

4. 抓取不到時的補救

網路環境百出,難免有抓不到的情況,因此官方開通了主動提交數據的入口。

5. 對作弊內容的處理

抓取時常遇到低品質頁面、買賣連結等問題,官方以綠蘿、石榴等演算法進行過濾,內部還有未公開的判斷方法。

二、涉及的協議

http:超文本傳輸協議。

https:目前百度已全網實現,安全性更高。

robots:蜘蛛訪問的第一個檔案,它決定哪些頁面可抓、哪些不可抓。

三、如何提高抓取頻次

蜘蛛有規則,但不可能一視同仁。以下幾點影響明顯:

1. 網站權重:權重越高,抓取越頻繁、越深。

2. 更新頻率:更新越勤,蜘蛛來得越勤。

3. 內容品質:原創多、質量高、能解決問題的內容,會換來更高的抓取頻次。

4. 導入連結:連結是頁面的入口,高品質連結能更好地引導蜘蛛進入與爬取。

5. 頁面深度:首頁有入口的頁面,被抓到與收錄的機會明顯更高。

抓取頻次直接決定有多少頁面會被建庫收錄。想了解與調整,可以到站長平台的抓取頻次功能查看:

四、哪些情況會造成抓取異常

有些站內容優質、使用者訪問正常,蜘蛛卻抓不到。這不只損失流量,還會被判定為不友善,導致降權、評分下降、導入流量減少。

1. 主機連接異常:一是網站不穩定導致抓不到,二是蜘蛛完全無法連上主機——後者需要仔細排查。

2. 網路運營商異常:國內主要分電信與聯通線路,若蜘蛛經由其中一條無法訪問,盡快聯繫運營商處理。

3. DNS解析異常:蜘蛛無法解析網站IP時會出現此問題,可用WHOIS查詢IP是否能正常解析,不行就找域名註冊商。

4. IP封禁:封禁會限制該IP的訪問,只在特定情況下才該做。若希望蜘蛛正常抓取,盡量避免。

5. 死連結:表示頁面失效、無法提供有效資訊,可透過站長平台提交死鏈。

結語

收錄是流量的保證,而抓取是收錄的保證。網站只有符合蜘蛛的抓取規則,才能換來更好的排名與流量。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved