一般來說,讓搜索引擎多抓、多索引是SEO的頭等大事,沒有收錄就談不上排名。對規模到一定程度的站,充分收錄尤其費神——頁面到了幾十萬的量級,架構再怎么設計、再怎么優化,100%收錄都不現實,只能盡量提高比例。
但有時候,怎麼阻止收錄反而成了問題,而且越來越常見。需要擋住的情形包括保密信息、複製內容、廣告連結等。過去常用的手段有密碼保護、把內容放在表單後面、用JS/Ajax、用Flash。
Flash
谷歌幾年前就開始抓Flash內容,簡單的文字部分已經能抓,Flash裡的連結也能跟蹤。
表單
谷歌蜘蛛也能填表,也能抓POST請求的頁面,這點從日誌裡早就能看出來。
JS/Ajax
用JS連結長期被視為不友好的做法,因此曾用來擋蜘蛛,但兩三年前我就觀察到JS連結擋不住谷歌:不僅JS裡出現的URL會被抓,簡單的JS還會被執行,從中找出更多URL。
前幾天有人發現,很多站用的Facebook評論插件裡的評論被抓也被收了,而這個插件本身是AJAX實現的。這是個好消息。我做過一個實驗性的電商站,產品評論功能就因為這個糾結了很久:用Facebook comments的好處不少,唯一的問題是評論由AJAX加載、抓不到,而評論被收錄正是目的之一(它能產生原創內容)。當時想不出解法,只好同時掛著插件和購物車自帶的評論功能。現在好了,插件裡的評論能收,兩套功能可以合成一套。
Robots文件
目前唯一確保不被收錄的手段。缺點是會流失權重——內容是擋住了,但頁面成了只進不出的無底洞。
Nofollow
並不能保證不被收錄。就算站內所有指向該頁的連結都加了nofollow,也攔不住別人的站給它做一條連結,搜索引擎總能找到。
Meta Noindex + Follow
(11月3日補充)讀者no1se提醒:想同時做到不收錄又能傳遞權重,可以在頁面上加meta noindex和meta follow,頁面不進索引,但權重能流出。確實是個不錯的方法。問題在於仍然浪費蜘蛛的爬行時間。哪位讀者若有既擋收錄、又不流失權重、又不浪費爬行時間的方法,歡迎留言,對SEO界功德無量。
怎麼讓頁面不被收錄值得琢磨。還沒意識到嚴重性的朋友,可以盤點一下自己站上有多少複製內容、低質量內容,以及那些對搜索毫無價值(但用戶覺得方便、又不能拆掉)的分類和過濾URL。
版權所有,轉載時必須以連結形式注明作者和原始出處及本聲明。