做 SEO 的人都清楚,一個網頁要想被搜到,先得選好關鍵詞,再把這個詞做出排名。
而排名的第一步,是擁有自己的網站,並讓搜索引擎蜘蛛順利爬行、抓取。之後加上一段時間的內容積累與外鏈建設,排名通常不會太差。
思路沒問題,方法也沒問題。但前提是你的站得符合蜘蛛的口味——如果它一進門就被嚇退,後果會非常嚴重。
這有點像追求心儀的對象:如果一個男生專挑對方討厭的事做,還指望贏得青睞,那純屬自找麻煩。對方只會越來越反感,最後離你越來越遠。
那站點裡到底有哪些東西會讓蜘蛛望而止步?
很多站為了視覺效果和使用者體驗,堆上大量 Flash 動畫。注意,我說的是「大量」。後果只有一個:蜘蛛或許抓到了你的網頁,但在預處理階段卡住了——因為提取不到任何中文文本。沒有文本,蜘蛛怎麼理解這個頁面講了什麼?尤其是用 Flash 做的導航,風險最高,等於把整站的入口都堵住了。
部分站點會用到這個機制。一旦啟用,每個訪客都會被分配一個不同的 ID,蜘蛛也不例外。結果就是:蜘蛛第一次來抓完 URL,第二次再來,Session 又給了它一個新 ID,於是同一個頁面被反覆當作不同頁面抓取。蜘蛛因此判定站內存在大量重複內容,興趣越來越低,最後索性不來了。如果業務上必須使用 Session ID,解決辦法是讓程序專門識別蜘蛛的 User-Agent,把蜘蛛與普通用戶區分開。
蜘蛛對跳轉高度敏感,因為黑帽手法最愛用它——入侵他人站點後掛上指向自己網站的跳轉。過多的跳轉會讓蜘蛛對站點的信任度下降。
框架把頁面切成若干獨立區域,蜘蛛往往只能抓到其中一部分,容易造成內容提取不全,不建議使用。
帶有「?」「=」「id」等多重參數的動態地址,蜘蛛爬進去之後很可能找不到出路,抓取深度也受限。建議盡量使用靜態或偽靜態地址。
有些站為了收集用戶信息,強制登錄後才能進入。可蜘蛛不是人,它不會註冊也不會登錄。它進不來,收錄自然成問題。
把這六點逐一排查一遍,蜘蛛的抓取障礙通常就解決了大半。