內容頁不被收錄,會直接影響長尾關鍵詞流量。遇到這種情況,不要急著歸咎搜索引擎,而應從內容質量、蜘蛛抓取分配與技術細節三方面排查。
第一,網站內容質量太低,例如大量採集或低價值偽原創。第二,蜘蛛頻繁抓取無效目錄,浪費抓取額度。第三,服務器不穩、死鏈過多、目錄層級過深或網站頻繁改版。

有一個論壇網站,內容管理較嚴格,服務器也正常,但百度遲遲不收錄內容頁。透過日誌分析後發現,蜘蛛大量抓取一個名為/bbx的目錄。該目錄來自某個外掛,內容重複度高,導致其他真正有價值的頁面抓取不足。



後來對該目錄加入nofollow,並在robots.txt中禁止抓取,幾天後內容頁收錄逐漸恢復。這個案例說明,收錄問題有時不是內容不夠,而是抓取路徑出了問題。