一位讀者在《蜘蛛抓取份額是什麼》一文下留言:index 標簽不是告訴蜘蛛可以抓取這個頁面嗎?那 noindex 不就是不允許抓取嗎?可文章最後為什麼說「noindex 標簽不能節省抓取份額,搜索引擎要先抓取頁面才能看到 noindex」?
這條留言說明,抓取和索引這兩個概念被混在一起了。noindex 並不是禁止抓取,而是禁止索引,兩件事功能完全不同。

翻翻SEO論壇和博客的留言就會發現,不少從業者其實說不清爬行、抓取、索引、收錄分別指什麼,也不知道 noindex、nofollow、robots 文件各自的邊界在哪。概念不牢,遇到大型站點的結構決策——哪些頁面允許抓取、哪些允許索引——自然无从下手。
爬行指蜘蛛從已知頁面上解析出鏈接指向的 URL,沿著鏈接去發現新頁面。注意,蜘蛛並不是發現 URL 就立刻過去,而是先把 URL 存進待抓地址庫,再按一定順序從庫中提取要抓的地址。
抓取是蜘蛛從待抓地址庫中取出 URL,實際訪問並把讀到的 HTML 代碼存入數據庫。這個過程和用戶用瀏覽器打開頁面類似,會在服務器原始日誌中留下記錄。
索引是把一個 URL 的信息整理後存入索引庫。用戶搜索時,搜索引擎從索引庫中取出信息並排序展現。索引的英文是 index,被索引的 URL 才能被搜到。
值得留意的是,所謂「一個 URL 的信息」不只包括抓取到的頁面內容,還包括外部鏈接、鏈接錨文字等其他來源。有些時候,索引庫裡關於某個 URL 的信息完全沒有來自頁面本身,搜索引擎依然知道它存在。
抓取和索引,根本不是一回事。
收錄和索引基本可以看作同一件事,只是視角不同:從用戶角度說,搜索時能找到這個 URL,就是它被收錄了;從搜索引擎角度說,收錄意味著該 URL 的信息存在於索引庫。英文裡並沒有單獨的「收錄」一詞,用的仍是 index。
頁面 head 中加入 meta noindex,是告訴搜索引擎不要索引這個 URL,用戶搜索時不會看到它。它不是告訴搜索引擎別來抓取——恰恰相反,noindex 要生效,這個 URL 必須先被抓取,否則蜘蛛怎麼看到頁面裡寫著 noindex?
robots 文件告訴搜索引擎某些 URL 不要抓取。注意,它管的是抓取,沒說索引,方向與 noindex 正好相反。
給鏈接加上 nofollow,是告訴蜘蛛不要沿著這條鏈接爬行,當它不存在。它既沒禁止抓取目標 URL,也沒禁止索引目標 URL。
沒被抓取的頁面,是可以被索引的。比如整站用 robots 屏蔽了抓取,就無法再用 noindex 禁止索引(蜘蛛讀不到頁面,也就看不到標簽)。淘寶就是例子:百度沒有抓取,但頁面大量被索引,用戶依然能搜到,展現的還是百度知道裡的評價信息。百度從海量鏈接和錨文字中就知道這個首頁存在。要讓它不出現,只能取消 robots 的禁止抓取,再用 noindex 禁止索引。

被抓取的頁面,是可以不被索引的。最常見的就是頁面加了 noindex。另一種情況是內容抄襲、轉載或質量過低,蜘蛛抓到了但在索引環節被判定有問題而丟棄。所以頁面不被收錄時,先看原始日誌:抓過就是內容質量問題,完全沒抓過則要先檢查站點結構。
加了 nofollow 的鏈接,目標頁面仍可被抓取和索引。nofollow 只對這條鏈接生效。只要站內其他地方還有未加 nofollow 的正常鏈接指向同一 URL,它就會被發現、抓取(假定未被 robots 屏蔽)、索引(假定未加 noindex)。
這些概念在SEO實戰中非常重要,如果一遍沒讀懂,建議再讀一遍。
(本文轉載自SEO每天一貼)