很多站長抱怨自己的站遲遲不被收錄,其實很大一部分原因是掉進了「蜘蛛陷阱」——一些看似正常、卻讓蜘蛛爬行與抓取變得困難的設計。所謂蜘蛛陷阱,指的是那些對抓取不友善的技術與結構安排。從蜘蛛的角度看,如果一個站在爬行時總是遇到障礙,久而久之就會被判定為不友善,最終導致不收錄、快照不更新。所以要理解這些陷阱,得換成蜘蛛的視角來審視自己的站。以下五種最常見。
在頁面局部使用動畫增強視覺,這很正常,也是提升體驗的好方法。但如果整個首頁就是一個巨大的動畫檔、幾乎沒有文字內容,那就構成陷阱了——蜘蛛讀不到動畫裡的文字與連結,在它眼中你的站幾乎是空的。視覺效果做得再精彩,對蜘蛛而言就像瞎子點燈。
所以不要讓動畫佔掉太多頁面。如果客戶堅持要這個效果,至少要在首頁加一個通往純網頁版本的明確入口,因為蜘蛛不會自己穿過動畫走進你的 HTML 頁。
動態網址通常帶著問號、等號與大量參數。這類網址容易讓蜘蛛陷入無限循環,或大量收錄重複內容,所以蜘蛛對它們向來敬而遠之。建議透過伺服器的網址重寫模組把動態網址靜態化,也就是常說的偽靜態。除了對蜘蛛友善,短而好記的網址對使用者體驗同樣有幫助。
腳本能做出許多吸引人的視覺效果,於是不少站用它來生成選單系統。這就落入與動畫相同的陷阱:過度側重視覺,卻讓蜘蛛無法解析連結。實務上的建議是,站內連結盡量用最標準的 HTML 寫法;很多視覺效果其實用 CSS 就能實現,不必執著於腳本(反過來,若你有不希望被收錄的頁面,腳本倒是可以用來阻擋爬行)。
有些站把內容放在登入後才看得到的會員區。這確實能延長使用者的停留時間,但請記住:蜘蛛不是人,它不會填帳號密碼,更不可能註冊。因此這部分內容永遠進不了索引。別把希望被收錄的內容藏進需要登入的頁面——藏起來的東西,本來就不是為了被找到。
除了網址搬遷時該用的永久導向之外,搜尋引擎對其他形式的跳轉都很敏感。想想看,蜘蛛剛進站就被帶去別處,印象自然很差;加上不少黑帽手法正是靠轉向欺騙搜尋引擎與使用者,所以除非萬不得已,別使用永久導向以外的跳轉方式。永久導向是搜尋引擎官方推薦用於網址變更的方式,屬權重傳遞性質,不會帶來負面影響。
總結起來就是一句話:把站設計成對搜尋引擎友善的樣子。當蜘蛛每次來都能輕鬆、順暢地完成爬行與抓取,它自然願意更頻繁地造訪,你的站也才能穩定健康地成長。