剛入行的時候,我因為不熟悉各大小搜尋引擎的抓取邏輯,白費了不少力氣:內容一篇篇更新,外鏈反復調整,結果排名紋絲不動,彷彿搜尋引擎就是不待見我的站。後來才明白,做SEO如果不理解抓取原理,很多動作只是在自我安慰。作為站長也好、新手也罷,我們不但要知道搜尋引擎在做什麼,還要順著它的算法邏輯不斷修正操作方式。下面分享一些我在實戰中對抓取原理的理解。
一、搜尋引擎到底是什麼
剛參加工作時,我甚至說不清搜尋引擎的定義。按標準解釋,它是按照一定策略、用特定程序從互聯網搜集信息,再對信息進行組織處理,為用戶提供檢索服務並把相關結果呈現出來的系统。聽起來有點繞,通俗地說:它就是我們日常獲取信息的那扇窗口。
做了一年多SEO之後,我對它有了自己的理解:搜尋引擎根據我們給出的關鍵詞或少量線索去檢索,再把可能想要的結果推到面前。百度、Google、雅虎,以及後來出現的360搜索,都是這類工具。
我是一名SEO編輯,日常工作就是持續為站點補充新內容,同時佈置外鏈引導蜘蛛來訪。搜尋引擎在我的工作裡扮演兩個角色:一方面用它檢查內容質量,比如判斷文章的相似度、關鍵詞的熱度;另一方面用它驗證工作成效,看看有多少頁面真正被收錄、被認可。同行們大概也都處在這樣的循環裡,所以理解抓取原理不是加分項,而是必修課。
二、抓取原理是怎麼運轉的
當用戶發起搜索時,搜尋引擎會派出能夠發現新網頁並抓取文件的程序,通常被稱為「蜘蛛」或機器人。它從資料庫裡已知的網頁出發,像用戶的瀏覽器那樣訪問、抓取,把結果放進臨時資料庫;如果頁面上還有別的鏈接,蜘蛛就順著鏈接爬到下一頁,再抓取、再入庫,如此循環往復。
這個過程很像超市的採購:開業前,採購員去市場挑貨,遇到新品順手帶回,陳列進店裡;不合格或沒人要的貨下架,合格的則按品類歸位,等待顧客挑選。臨時資料庫就是超市,蜘蛛就是採購員。回到搜尋引擎的世界:不符合規則的頁面被清理掉,符合規則的進入索引區,經過分類、整理、排序後放進主索引,最終成為用戶搜索時看到的結果。
下面兩張圖可以更直觀地說明整個流程:


以上是我在實踐中總結的對抓取原理的理解,難免不夠全面,也歡迎同行一起探討、互相補充。