淘寶搜索技術博客上有一篇《定向抓取漫談》,對通用爬蟲做了簡潔的定義,拆成四項策略:
抓取策略:哪些頁面需要下載、哪些無需下載、哪些優先下載。把規則定清楚,能省下大量無謂的抓取。
更新策略:監控列表頁以發現新頁面;定期檢查頁面是否過期等。
抽取策略:如何從頁面中取出想要的內容,既包括最終目標數據,也包括下一步要抓的URL。
抓取頻率:既要合理下載一個站,又不能失了效率。
這份定義讓筆者對「如何與爬蟲對話」這個課題有了一些思考。以下歸納主要對應其中的抓取策略。
搜尋引擎發現新站,原則上第一個訪問的就是robots.txt。用allow/disallow語法可以明確告知哪些目錄可抓、哪些不可抓。需要注意的是,allow/disallow語句的順序是有區別的,寫法不同結果可能完全相反。
有些時候我們希望列表頁被抓取但不被收錄,這時可以用 <meta name="robots" content="noindex, follow"> 來表達。其他常見取值還有noarchive、nosnippet、noodp等,各有明確含義。
nofollow用來告訴爬蟲這條鏈接不代表背書、不傳遞權重。用好它能有效管理站內外鏈的權重流向,值得細讀相關專題文章。
canonical用於在內容相同或高度相似的頁面中指明首選版本,避免重複內容分散權重。谷歌站長幫助中有非常詳細的說明。
常見格式有xml與html兩種。xml sitemap支持分割處理與壓縮,且其地址可以直接寫入robots.txt,方便爬蟲發現。
接觸最多的是谷歌網站管理員工具,可以設定抓取頻率、屏蔽不想被抓的鏈接、控制站內鏈等;Bing與Yahoo也有各自的工具;百度則有站長平台。
這裡還衍生出一個筆者一直比較看重的指標——收錄比:收錄比 = 站點在搜尋引擎的收錄數 ÷ 站點真實數據量。比值越高,說明抓取與索引越順暢。
暫時想到這些,目的是探討如何更有效地提升站點收錄量,權當拋磚引玉,歡迎補充。
備註:網絡爬蟲(web crawler)又稱網絡蜘蛛(web spider),是一段按既定邏輯與演算法從互聯網抓取並下載網頁的程序,也是搜尋引擎的核心組成部分。