收錄上不去,先別急著抱怨。下面這些原因覆蓋了絕大多數常見狀況,逐條對照排查,通常能找到問題所在。
1、網頁使用框架。框架內的內容通常不在搜索引擎的抓取範圍之內。
2、圖片多而文字少。搜索引擎讀不懂圖片,可抓取的語義信息太少。
3、提交頁面轉向另一個網站。搜索引擎可能直接跳過這個頁面。
4、動態網頁。內容管理系統方便了更新,卻給爬蟲帶來麻煩。很多搜索引擎不收錄動態頁,或只收第一層,不再往下深入。可以考慮用 WEB 服務器的重寫(rewrite)技術,把動態 URL 映射成類似靜態頁的格式。
5、大量使用 Flash、DHTML、cookies、JavaScript、Java 製作,或需要密碼才能進入。這類頁面搜索引擎很難提取內容。
6、錯誤地阻擋了 robots。兩種常見情況:主機根目錄下存在簡單文本形式的封禁文件;網頁中含有某種限制性的 META 標簽。
7、服務器速度太慢。帶寬小、下載慢,或頁面結構過於複雜,都可能導致爬蟲還沒抓到正文就中止。
8、抓取時網站不在線。主機不穩定就容易出現這種情況。更麻煩的是,即使站點已被收錄,重新抓取時發現離線,還可能被整個刪除。
9、免費網站空間。部分搜索引擎會拒絕索引來自免費空間的站點,理由是垃圾內容太多、質量參差。
10、網站轉移服務器。搜索引擎通常只認 IP 地址,換主機或域名時 IP/DNS 發生變化,需要重新提交站點。
11、搜索引擎無法解析你的 DNS。新域名註冊後需要一到兩天生效,不要註冊完就急著提交。
12、關鍵詞問題。如果正文裡沒有出現 META 標簽中提到的關鍵詞,搜索引擎可能判定為垃圾關鍵詞。
13、關鍵詞密度過高。搜索引擎從未公佈過明確的臨界值,一般認為 100 字描述中包含 3 到 4 個關鍵詞比較合適。
14、文本顏色與背景色相同。這是典型的隱藏關鍵詞作弊手法,搜索引擎判定為欺騙。
15、提交過於頻繁。一個月內提交兩次以上,很多搜索引擎就會認為你在投垃圾。
16、鏈接廣泛度太低。沒有足夠的外鏈指向,搜索引擎很難發現你。可以把站點登錄到知名分類目錄,或者多換幾個友情鏈接。