URL規劃是SEO裡最基本也最繞不開的一課。做新站也好,優化既有站也好,都躲不掉。這兩篇就來整理一下該怎麼做。
在進入正題之前,建議先讀完這幾份文件:
《優化網站的抓取與收錄》 https://www.google.cn/ggblog/googlewebmaster-cn/2009/08/blog-post.html
《Google搜尋引擎入門指南》第7到11頁
《創建方便 Google 處理的網址結構》 https://www.google.com/support/webmasters/bin/answer.py?hl=cn&answer=76329
這些都是官方文件,講的是各種規則。它們對百度同樣適用,因為規則是針對爬蟲特性提出的,並非某一家專屬。
讀完你會發現,翻來覆去講的都是同一件事:怎麼讓爬蟲非常順暢地抓完整個網站。而絕大部分網站或多或少都有這方面的問題,我的部落格也不例外。不過看在每篇文章都能被收錄的份上,我就先不動了。但對於收錄本身就是問題的網站(特別是中大型站),這件事必須認真規劃。你可以用 HTTrack 抓抓看這個部落格,就能明白我為什麼這樣說。
正如Google自己寫的:
網路世界極其龐大,每時每刻都在產生新的內容。Google本身的資源有限,面對幾近無窮無盡的網路內容,Googlebot 只能找到並抓取其中一定比例的內容;而在我們已經抓取到的內容中,也只能索引其中一部分。
URL 就像網站與抓取工具之間的橋梁。為了抓到你的內容,抓取工具必須能找到並跨越這些橋梁。這段話把搜尋引擎的處境說得很透。那麼爬蟲在處理URL時會遇到什麼問題?
這裡說的重複,指的是同一個網站內的不同頁面,卻存在大量完全相同的URL片段。例如某兩個文章頁,雖然內容不同,但他們共用的模板部分,URL位址是一樣的。

模板部分的URL是一樣的
看起來,爬蟲抓到這些頁面時會重複抓取,浪費不少時間。這確實是問題,不過搜尋引擎基本已經解決了。實際上,爬蟲的抓取模式並不像我們想的那樣——看到一個網頁就抓一個網頁。
爬蟲沿著URL在網路上前進,一邊下載網頁,一邊從中萃取連結。假設從某個節點出發的爬蟲有A、B、C三隻,當它們抵達同一個網站時,每隻都會抓到很多URL,然後各自把頁面上所有的連結放進一個共用的「待抓取列表」裡。

待抓取列表
如此一來,那些重複的URL就可以在列表裡被去重。這是單一節點在理想狀態下的情況。實際上,因為搜尋引擎後續還要更新頁面等種種原因,一個網站每天仍會有相當數量的重複抓取,所以我先前才會告訴大家用一些方法降低重複抓取的機率。
很多人想問:頁面上所有連結,搜尋引擎都會萃取嗎?答案是會。但在《Google網站質量指南》裡有這麼一句:「如果站點地圖上的連結超過100個,則需要將站點地圖拆分為多個網頁。」有人把它理解成「爬蟲只能抓前100個連結」,這是不對的。
真正的情况是:URL進入待抓取列表之後,爬蟲並不會每一條都抓。放在列表裡沒問題,但爬蟲沒有那麼多時間、也沒必要每條都去抓,必須有優先級。它一邊按優先級抓取一部分URL,一邊把尚未抓取的記錄下來等下次再來——而這些未抓取的URL,下次被造訪的頻率每個網站都不同,甚至同一站內每一類URL的頻率也不一樣。

按優先級抓取
哪些URL會被優先抓,哪些被排在後面?稍微想一下就能明白:
目錄層級太深的URL,次要抓取;位於模板部分或重複率極高的URL,次要抓取;動態參數太多的URL,次要抓取……
原因很簡單:搜尋引擎的資源有限,一個網站實際擁有的內容也有限,但URL數量理論上無限。爬蟲需要一些「蛛絲馬跡」來判斷哪些值得優先。
正因如此,《Google搜尋引擎入門指南》才會建議把URL結構做得淺而清楚,例如盡量避免 …/dir1/dir2/dir3/dir4/dir5/dir6/page.html 這種層層遞進的寫法。