很多站長都有看日誌的習慣,主要目的就是分析蜘蛛的爬行情況。多數人只是看看當天爬了幾次,但其實光是這個數字,就足以發現問題。有時候你覺得網站已經相當完美了,蜘蛛卻遲遲不買帳,確實讓人著急。

原理其實不難理解:搜尋引擎靠蜘蛛在網路上找「獵物」,蜘蛛唯一的線索就是連結。找到新連結後,再依複雜演算法計算排名、存入資料庫。有些站因為結構混亂而失去被拜訪的機會,而蜘蛛不來的原因其實有很多,一起來盤點。
不得不說,搜尋引擎已經相當智能了。去年 Google 就推出了以圖搜圖功能,能分析色彩、像素比例找出圖片出處。但這項技術離「完全理解圖片內容」還有不小的距離。很多站長或是不懂優化,或是為了美觀與豐富度,在頁面裡嵌入大量高清圖與 Flash,結果內容再好,蜘蛛也讀不懂,只能繞道離開。網路上有不少模擬蜘蛛抓取的查詢工具,有這種疑慮的站長可以查一下,看看蜘蛛能看到的信息和人眼看到的差多少。
想像一下:蜘蛛興沖沖地來到你的站,逐條連結搜尋,以為發現一堆好內容,結果打開全是無效連結。一次、兩次、三次,每次來都這樣,它就再也不來了。大部分網站都存在死連結,只要能及時發現並清掉就沒問題。你可以用強大的 Xenu 掃描,也可以查日誌,凡是返回404的一律處理。

上圖是用Xenu掃描網站時的界面。
蜘蛛能找到你的站,是因為別人的站上有你的連結。想讓蜘蛛更頻繁光顧,建外鏈時就要考慮來源品質:收錄量越大、PR 越高、快照更新越快的站,權重越高。另外有些人在換友情連結時會偷偷加上 nofollow,這種連結在蜘蛛眼裡形同虛設——如果你發現自己的外鏈被這樣處理,及早撤掉。

網站建設中代碼優化非常重要。冗長的代碼對網站沒有任何意義,還會拖慢開啟速度、干擾蜘蛛判斷。
正確的網站結構應該是扁平化的樹狀:蜘蛛從首頁進入,能到達任何一個欄目頁;從欄目頁又能到達任何一個內容頁,而這個層級應該控制在3層以內(較大的站可以多一些)。層次太深、權重又不足,蜘蛛就沒興趣一層層往下找。
網站地圖是搜尋引擎全面認識網站的好工具。對蜘蛛而言,它就像一本花名冊,一份好的地圖能讓蜘蛛有方向性地拜訪站內任何頁面。所以製作時要謹慎,網上有很多生成工具,為了保險,也可以自己以訪客身份點一遍驗證。