DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> 關於SEO
SEO 案例:淺析爬蟲的不重複抓取策略
編輯:關於SEO     

「不重複抓取」這個說法,很多初學者第一次聽會覺得奇怪:爬蟲不是只有深度優先和廣度優先兩種策略嗎?怎麼又多出一個?

這個疑問的由來,是我近期不止一次聽到有人主張「要在不同頁面增加同一頁面的鏈接,才能保證收錄」。這句話恐怕站不住腳——收錄與否涉及的因素遠不止「有沒有被抓取」。由此延伸出今天要談的不重複抓取策略,用來說明在一定時間範圍內,爬蟲的抓取行為確實存在這類規則。除此之外當然還有優先抓取策略、網頁重訪策略等,以後再談。

判斷重複的前提是記住歷史

不重複抓取的第一步,是能夠判斷「這條已經抓過了」,也就是爬蟲需要記住自己之前的抓取行為。

舉個日常例子:你在群裡看到別人發的一個網址,先看到鏈接,才會點擊並在瀏覽器中打開內容。爬蟲的行為也是這個順序——先發現,再抓取。

假設某個頁面上所有的鏈接都被爬蟲發現了。實際上,「爬取(發現鏈接)」與「抓取(下載網頁)」是同步進行的:一邊持續發現新鏈接,一邊把已知的鏈接抓回來存好並做標記。當它抓完第二條、又爬到第六條時,比對標記就會發現兩條指向同一個位址,於是跳過重複抓取。

為什麼要刻意跳過重複

爬蟲不是應該盡可能多抓嗎?為什麼還要判重?

關鍵在成本。互聯網上的頁面規模是天文數字,而每一次抓取都要執行一段代碼、消耗一份資源。如果重複抓取的冗餘量達到百億級別,浪費的算力與帶寬會極其驚人——而這些成本最終都是錢。不重複抓取體現在很多環節,只是這一點最直觀。

這個規則對站長也有實踐意義。想想你的內容詳情頁:熱門推薦、相關文章、隨機推薦、最新文章這幾個模組,是不是每個頁面都長得一模一樣?如果是,重複度就相當高。在不影響用戶體驗的前提下,可以考慮讓這些模組根據上下文有所變化。畢竟網站是做給用戶看的,搜尋引擎只是獲取流量的重要入口之一。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved