做SEO的人都懂,網站被搜索引擎收錄是關鍵。若站點根本沒被收錄,SEO便無從談起。因此,要想讓搜索引擎發現並正常收錄你的網頁,首先得讓站點便於蜘蛛爬行。搜索引擎抓取網頁的工具被稱為蜘蛛或爬蟲機器人(robot),它們沿著超鏈接爬取眾多頁面。但有些頁面卻爬不到,這往往是因為網站存在不利於爬行的技術,形成了所謂的「蜘蛛陷阱」。以下十點,幫你避開這些陷阱。
有些銷售類站點為追蹤用戶會採用會話ID,每次訪問都會往URL中追加一段session ID。蜘蛛每次來訪也被當作新用戶,於是同一頁面出現了不同的URL,產生大量高度重複的內容頁,這是最常見的陷阱之一。
蜘蛛無法提交註冊、也無法輸入賬號密碼登錄,這類頁面對它而言如同為難。記住:你能點擊看到的內容,蜘蛛也能看到;反之則不然。
不少中小企業喜歡用Flash做華麗的導航與展示,甚至首頁就是一段Flash。但蜘蛛難以讀取Flash內容,也很難點擊其中的鏈接,收錄自然受阻。
URL中摻入過多符號或參數,雖說隨技術進步已非大礙,但從友好度看,靜態乃至偽靜態URL仍優於動態URL。
早期框架氾濫,如今隨CMS普及,維護已大為簡便,加上不利於收錄,框架網頁越來越少被採用。
雖然搜索引擎已能跟蹤甚至嘗試解析JS中的鏈接,但最好不要寄望於它克服困難。CSS同樣能實現華麗導航。若確有需要,可用<noscript>標籤為不支持JS的瀏覽器提供備選代碼,因為蜘蛛不執行JS,只會處理<noscript>中的內容。
有些頁面沒有入口、又離首頁很遠,蜘蛛很難爬到。首頁權重最高,並會向內頁傳遞,但傳遞過程逐層遞減,因此內頁離首頁的點擊距離越近,越容易獲得更多權重。良好的網站結構能讓更多頁面被收錄。
搜索引擎相當於禁用了cookies,而有些網站為實現功能會強制使用cookies。若用戶未啟用,頁面顯示便不正常,蜘蛛同樣無法正常訪問。
301重定向大家都不陌生,但302、meta refresh、JS、Flash等跳轉,蜘蛛頗為反感。即便是301,也應在萬不得已時才用。任何跳轉都在一定程度上阻礙爬行。
隱藏文字、隱藏鏈接、依訪客身份返回不同頁面的偽裝手法,以及默認錯誤的404頁面等,都會給蜘蛛帶來障礙,務必規避。