站長們都知道,對於一些搜索引擎無法索引的文件或網頁,錨文本正好能充當橋梁——蜘蛛通過所在頁面的錨文本鏈接地址,爬向另一個網頁,於是便能索引到目標頁面的內容與文件,既加大了彼此聯繫,也加快了訪問速度。那麼,如何進一步加強蜘蛛在網站的爬行?可從以下幾點入手。
新內容應盡量出現在蜘蛛頻繁更新的地方,因此內容頁宜按ID或發佈時間排序。每篇內容頁都應與其他頁面有效鏈接,可在文末加上「上一篇」「下一篇」串聯上下篇,同時增設相關閱讀、推薦閱讀等欄目,這更有助於蜘蛛索引。
標籤與標籤雲是提升聚合類內容可爬行性的有效途徑。標籤雲可用不同顏色、大小、粗細來區分用戶關注度,無論對用戶體驗還是索引主次都大有裨益。但別為追求效果而採用過重的JS技術,否則就失去了標籤雲的SEO意義。
要利於蜘蛛爬行,首先得有清晰的層次結構。樹形結構是比較理想的選擇,蜘蛛能很好地理解並爬行。採用「首頁—索引頁—內容頁」的形式,有利於用戶在最短時間內找到所需信息;加之相關性極強的內容集中在同一欄目下,聚合度更高,也便於蜘蛛爬行整合。同時,樹形結構應遵循層數盡可能少的原则。
網站導航不可或缺。統一的導航欄既有助於用戶體驗,也便於蜘蛛識別。由於蜘蛛能有效識別並爬行CSS,導航欄字體使用font-weight屬性是有效的;但切勿為追求效果而採用JS、ajax、iframe、flash等蜘蛛無法有效爬行的技術。次導航同樣可用font-weight表明重要性,麵包屑導航也不可少,且盡量多用錨文本、少用URL鏈接。
Sitemap文件對蜘蛛索引很重要。若站點規模不大,請盡量採用.xml格式並置於根目錄下。由於百度sitemap工具尚在內測,暫時無法直接提交,只能採用提交網頁的方式來推送新頁面。
做網站最忌諱把網站單一地呈現給受眾。有的站過分堆砌FLASH或圖片,雖討好了用戶,蜘蛛卻不買帳,反而拖慢了速度。所以首頁要盡可能精簡,必要時可用nofollow屏蔽首頁中不必要的鏈接。當然,結構問題同樣要兼顧——雖說CSS+DIV為蜘蛛提供了捷徑,但樹形結構仍不可少。把相關性內容整合在同一欄目之下,以「首頁—索引頁—內容頁」的形式展開,提高內容相關性,才更有利於蜘蛛的爬行整合。