先說一個常被SEO們誤解的重要概念。很久以前,搜索引擎的爬蟲(機器人)大部分時間都在遞歸地抓取某個網站——通過你提交的首頁網址,再順着頁面上發現的鏈接,一個接一個地抓下去,周而復始。但現在情況不同了:爬蟲抓取時會有多個進入點,而且每個進入點同等重要,然後再從這些點向外擴散着抓。
先看一個樣例網站的架構:

典型的網站外鏈分布圖
我們再看一個典型網站的外鏈分布:

爬蟲抓取路徑的優先級
再強調一遍那個被誤解的概念:如今搜索引擎的爬蟲抓取時,會有多個進入點,且每個都同樣重要,然後從這些點向外擴散着抓取。

五個提升網頁被抓取、索引與排名的方法

讓網站結構扁平化
如果你的網站能建立理想的、扁平的鏈接層次,那麼只需3次點擊就能到達100萬個頁面,4次點擊就能覆蓋上百萬頁面的效果也能實現。
從「強力」頁面鏈到需要鏈接的頁面
要知道,那些外鏈多、排名高的「強力」頁面(指排名高、外鏈多的頁面)具有漣漪效應,要充分利用它。把這種頁面當作目錄(或分類)頁,通過它們鏈向網站的其他頁面。
同樣,你以後也可以把這種頁面當作着陸頁,幫你心儀的頁面引流。
減少「死胡同」和低價值頁面
那些處在鏈接圖邊緣的頁面,價值很低。確認站上沒有拉低PageRank的頁面,通常這類頁面是PDF、圖片和其他文件。你可以用301重定向把它們導向包含(嵌入或附帶下載鏈接)這些內容、且有返回全站其他部分鏈接的頁面。
創作值得鏈接的分類或導航頁面
如果你能做出這樣值得鏈接、引人注目的頁面,它們會拿到更高的PageRank和更優先的抓取率。同時,這些PageRank和抓取優先級會順着頁面上的鏈接傳到全站其他頁面(給搜索引擎一個信號:這站上所有頁面都很重要)。
把不重要的頁面排除在爬蟲抓取路徑之外
減少不必要的導航層級(或內容頁),把爬蟲引向真正需要PageRank的網址。
原文:Diagrams for Solving Crawl Priority & Indexation Issues
譯文出處:易-IT博客