什麼是無效收錄?就是那些能被索引、卻帶來不了任何搜索流量的頁面——相當於被放進了底層庫,堪稱「萬年備胎」。
一直有站長在問:我的網站天天被收錄,但就是沒有排名,這是什麼原因?收錄越快越多,排名不就越好嗎?對蜘蛛來說,顯然不是這樣——收錄的有效頁面越多,網站價值才越大。無效頁面不會作用於排名,有些網站甚至積累了上百萬的收錄頁面,卻依然拿不到有效排名。

簡單地說:信息被收錄了,但從來帶不來任何一點流量,這樣的頁面就是無效頁面。
複雜地說,這些頁面通常包含:大量的翻頁列表頁、評論頁、沒有實際價值的信息頁,以及「百度認為的重複頁」。
最後這一點值得解釋一下。所謂百度認為的重複頁,就是你在其他站點采集、複製而來的那些內容。就目前而言,百度判斷互聯網上已有的信息足以滿足用戶需求,不再需要你這個可有可無的版本,那它憑什麼給你排名?
首先,無效頁面並不意味著嚴重影響蜘蛛抓取。不影響抓取、不存在嚴重作弊問題的頁面,都會先被收錄進來。
其次,百度收錄信息之後會再做一次判斷,如果質量達不到索引要求,會被重新踢出去。而還有一部分沒被踢出去的原因是:它被當作備胎處理了。
跑長途的汽車後面都掛著幾個備胎,搜索引擎也是這個道理——平時你毫無價值,除非其他幾個「輪胎」爆了,你才被想起來。如果這個比喻還不夠直觀,換個說法:你喜歡的人不跟你在一起,但又不疏遠你。理由?萬一她被甩了呢,或者她甩了別人呢。
這裡要補充一個知識點:robots.txt文件。很多網站根本沒有這個文件,即使有了也是允許蜘蛛抓取全站,這樣的協議有什麼意義呢?
優秀的SEO會利用它來減少無效收錄。舉個簡單例子:關於我們、聯繫我們、合作方式這類頁面,還有一些即使被抓取也毫無價值的頁面,都可以屏蔽掉。
除此之外,還要控制「評論」「留言」這類頁面。很多網站點擊一條用戶評論,就會打開一個全新的URL地址,這樣的頁面越多,無效收錄就越多。
所以,想讓信息不被放進底層庫,一是要有足夠的影響力,讓百度不敢忽視你——像新浪、網易那樣的大站,就算發條廣告也會被乖乖索引,當不成備胎;二是要有新穎的內容,搜索引擎同樣喜新厭舊,好東西自然不會錯過。