DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
如何與爬蟲對話:從通用爬蟲的四項定義說起
編輯:SEO優化集錦     

淘寶搜索技術博客上有一篇《定向抓取漫談》,對通用爬蟲做了簡潔的定義,拆成四項策略:

抓取策略:哪些頁面需要下載、哪些無需下載、哪些優先下載。把規則定清楚,能省下大量無謂的抓取。

更新策略:監控列表頁以發現新頁面;定期檢查頁面是否過期等。

抽取策略:如何從頁面中取出想要的內容,既包括最終目標數據,也包括下一步要抓的URL。

抓取頻率:既要合理下載一個站,又不能失了效率。

這份定義讓筆者對「如何與爬蟲對話」這個課題有了一些思考。以下歸納主要對應其中的抓取策略。

1. 通過robots.txt對話

搜尋引擎發現新站,原則上第一個訪問的就是robots.txt。用allow/disallow語法可以明確告知哪些目錄可抓、哪些不可抓。需要注意的是,allow/disallow語句的順序是有區別的,寫法不同結果可能完全相反。

2. 通過meta標籤對話

有些時候我們希望列表頁被抓取但不被收錄,這時可以用 <meta name="robots" content="noindex, follow"> 來表達。其他常見取值還有noarchive、nosnippet、noodp等,各有明確含義。

3. 通過rel="nofollow"對話

nofollow用來告訴爬蟲這條鏈接不代表背書、不傳遞權重。用好它能有效管理站內外鏈的權重流向,值得細讀相關專題文章。

4. 通過rel="canonical"對話

canonical用於在內容相同或高度相似的頁面中指明首選版本,避免重複內容分散權重。谷歌站長幫助中有非常詳細的說明。

5. 通過網站地圖對話

常見格式有xml與html兩種。xml sitemap支持分割處理與壓縮,且其地址可以直接寫入robots.txt,方便爬蟲發現。

6. 通過站長平台與搜尋引擎對話

接觸最多的是谷歌網站管理員工具,可以設定抓取頻率、屏蔽不想被抓的鏈接、控制站內鏈等;Bing與Yahoo也有各自的工具;百度則有站長平台。

這裡還衍生出一個筆者一直比較看重的指標——收錄比:收錄比 = 站點在搜尋引擎的收錄數 ÷ 站點真實數據量。比值越高,說明抓取與索引越順暢。

暫時想到這些,目的是探討如何更有效地提升站點收錄量,權當拋磚引玉,歡迎補充。

備註:網絡爬蟲(web crawler)又稱網絡蜘蛛(web spider),是一段按既定邏輯與演算法從互聯網抓取並下載網頁的程序,也是搜尋引擎的核心組成部分。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved