搜索引擎收錄頁面,本質上就是在互聯網上進行數據采集,這是搜索引擎最基礎的工作。搜索引擎的內容都來自後台龐大的URL列表,透過這些URL不斷收錄、儲存與維護。學習搜索引擎收錄的流程、原理與方式,能有效提高搜索引擎對網站的收錄數量!
1、頁面收錄流程
在互聯網中,URL是每個頁面的入口地址,「蜘蛛程序」透過這些URL列表抓取頁面,並不斷從頁面中獲取URL資源、存儲頁面,再加入URL列表,如此循環,搜索引擎便能從互聯網中獲取到足夠的頁面。URL是頁面的入口,域名則是網站的入口——搜索引擎正是透過域名進入網站、挖掘URL資源。換言之,搜索引擎抓取頁面的首要任務,就是要擁有龐大的域名列表,再不斷透過域名進入網站抓取頁面。因此,我們若想被搜索引擎收錄,首要條件就是加入搜索引擎的域名列表。常見做法有兩種:
其一,利用搜索引擎提供的網站登錄入口主動提交域名(如百度 https://www.baidu.com/search/url_submit.html)。此法較被動,搜索引擎只會定期抓取更新,從提交到收錄耗時較長。
其二,透過與有質量的「外鏈」,讓搜索引擎在抓取「別人」的頁面時發現我們的網站,從而實現收錄。此法主動權掌握在我們手裡(只要有足夠多的外鏈),且收錄速度更快——根據外鏈的數量、質量與相關性,一般2-7天便會被收錄。
2、頁面收錄原理
掌握「收錄流程」以加快收錄後,再來看「收錄原理」,以提高收錄數量。若把一個網站的頁面看作一張有向圖,從指定頁面出發,沿頁面中的鏈接、按某種特定策略遍歷網站頁面:不斷從URL列表中移出已訪問的URL並存儲原始頁面,同時提取其中的URL信息,再將URL分為域名與內部URL兩類,判斷是否訪問過,把未訪問的加入URL列表。如此遞歸掃描URL列表,直至耗盡所有URL資源為止。經過這些工作,搜索引擎便能建立龐大的域名列表、頁面URL列表並存儲足夠多的原始頁面。
3、頁面收錄方式
知道了流程與原理,要獲取相對重要的頁面,就涉及搜索引擎的頁面收錄方式。所謂頁面收錄方式,是指搜索引擎抓取頁面時所採用的策略,目的是從互聯網中篩選出相對重要的信息,其制定取決於搜索引擎對網絡結構的理解。若使用相同抓取策略,搜索引擎能在同一網站抓取到更多頁面,就會在該站停留更久、收錄更多。因此,加深對收錄方式的認識,有利於為網站建立友好結構、提高收錄數量。搜索引擎的收錄方式主要有「廣度優先」「深度優先」及「用戶提交」(暫且不講)三種:
廣度優先:若把整個網站看作一棵樹,首頁是根,每個頁面是葉子。廣度優先是一種橫向的抓取方式,先從較淺的層次開始,抓完同層所有頁面後才進入下一層。因此,優化時應把相對重要的信息放在層次較淺的頁面(如在首頁推薦熱門內容),這樣搜索引擎便能首先抓到重要頁面。具體來說,「蜘蛛」從首頁出發,抓取首頁上所有鏈接指向的頁面,形成頁面集合A,並分析出A中所有頁面的鏈接,再跟蹤這些鏈接抓取下一層頁面,形成集合B,如此遞歸,從淺層解析出鏈接、再向深層推進,直至滿足某個設定條件才停止。
深度優先:與廣度優先相反,深度優先先跟蹤淺層頁面中的某一鏈接,逐步抓取深層頁面,直至抓完最深層才返回淺層、再跟蹤另一鏈接繼續向深層抓取,這是一種縱向的抓取方式。使用深度優先,搜索引擎能抓到網站中較隱蔽、冷門的頁面,從而滿足更多用戶的需求。具體來說,搜索引擎先抓取首頁並提取鏈接,再沿其中一個鏈接抓到頁面A-1,同時獲取A-1的鏈接並抓取B-1,獲取B-1的鏈接並抓取C-1,如此重複,滿足條件後再從A-2抓取頁面及鏈接。
下期將帶大家認識「搜索引擎對頁面的收錄(二)」,敬請關注中國站長站。
內容提要:4、搜索引擎如何避免重復性收錄(轉載頁面的判斷、鏡像頁面判斷);5、頁面維護方式(定期抓取、增量抓取、分類定位抓取);6、頁面儲存。
原創文章,轉載請注明:轉載自大敏——專注成為Focus。
感謝 大敏 的投稿