DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> 關於SEO
爬行、抓取、索引、收錄,這四件事到底差在哪
編輯:關於SEO     

一位讀者在《蜘蛛抓取份額是什麼》一文下留言:index 標簽不是告訴蜘蛛可以抓取這個頁面嗎?那 noindex 不就是不允許抓取嗎?可文章最後為什麼說「noindex 標簽不能節省抓取份額,搜索引擎要先抓取頁面才能看到 noindex」?

這條留言說明,抓取和索引這兩個概念被混在一起了。noindex 並不是禁止抓取,而是禁止索引,兩件事功能完全不同。

翻翻SEO論壇和博客的留言就會發現,不少從業者其實說不清爬行、抓取、索引、收錄分別指什麼,也不知道 noindex、nofollow、robots 文件各自的邊界在哪。概念不牢,遇到大型站點的結構決策——哪些頁面允許抓取、哪些允許索引——自然无从下手。

爬行是什麼

爬行指蜘蛛從已知頁面上解析出鏈接指向的 URL,沿著鏈接去發現新頁面。注意,蜘蛛並不是發現 URL 就立刻過去,而是先把 URL 存進待抓地址庫,再按一定順序從庫中提取要抓的地址。

抓取是什麼

抓取是蜘蛛從待抓地址庫中取出 URL,實際訪問並把讀到的 HTML 代碼存入數據庫。這個過程和用戶用瀏覽器打開頁面類似,會在服務器原始日誌中留下記錄。

索引是什麼

索引是把一個 URL 的信息整理後存入索引庫。用戶搜索時,搜索引擎從索引庫中取出信息並排序展現。索引的英文是 index,被索引的 URL 才能被搜到。

值得留意的是,所謂「一個 URL 的信息」不只包括抓取到的頁面內容,還包括外部鏈接、鏈接錨文字等其他來源。有些時候,索引庫裡關於某個 URL 的信息完全沒有來自頁面本身,搜索引擎依然知道它存在。

抓取和索引,根本不是一回事。

收錄是什麼

收錄和索引基本可以看作同一件事,只是視角不同:從用戶角度說,搜索時能找到這個 URL,就是它被收錄了;從搜索引擎角度說,收錄意味著該 URL 的信息存在於索引庫。英文裡並沒有單獨的「收錄」一詞,用的仍是 index。

noindex 的作用

頁面 head 中加入 meta noindex,是告訴搜索引擎不要索引這個 URL,用戶搜索時不會看到它。它不是告訴搜索引擎別來抓取——恰恰相反,noindex 要生效,這個 URL 必須先被抓取,否則蜘蛛怎麼看到頁面裡寫著 noindex?

robots 文件的作用

robots 文件告訴搜索引擎某些 URL 不要抓取。注意,它管的是抓取,沒說索引,方向與 noindex 正好相反。

nofollow 的作用

給鏈接加上 nofollow,是告訴蜘蛛不要沿著這條鏈接爬行,當它不存在。它既沒禁止抓取目標 URL,也沒禁止索引目標 URL。

三個容易搞混的結論

沒被抓取的頁面,是可以被索引的。比如整站用 robots 屏蔽了抓取,就無法再用 noindex 禁止索引(蜘蛛讀不到頁面,也就看不到標簽)。淘寶就是例子:百度沒有抓取,但頁面大量被索引,用戶依然能搜到,展現的還是百度知道裡的評價信息。百度從海量鏈接和錨文字中就知道這個首頁存在。要讓它不出現,只能取消 robots 的禁止抓取,再用 noindex 禁止索引。

被抓取的頁面,是可以不被索引的。最常見的就是頁面加了 noindex。另一種情況是內容抄襲、轉載或質量過低,蜘蛛抓到了但在索引環節被判定有問題而丟棄。所以頁面不被收錄時,先看原始日誌:抓過就是內容質量問題,完全沒抓過則要先檢查站點結構。

加了 nofollow 的鏈接,目標頁面仍可被抓取和索引。nofollow 只對這條鏈接生效。只要站內其他地方還有未加 nofollow 的正常鏈接指向同一 URL,它就會被發現、抓取(假定未被 robots 屏蔽)、索引(假定未加 noindex)。

這些概念在SEO實戰中非常重要,如果一遍沒讀懂,建議再讀一遍。

(本文轉載自SEO每天一貼)

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved