裡約奧運會落幕後,資訊站的小編們終於能鬆一口氣,可有些SEOer卻怎么也高興不起來:編輯熬夜搶先製作的原創稿件,百度竟然遲遲不收錄。奧運期間,站長平台接到了四五起類似反饋,追查之下才發現,原來是站點的「搶發」行為不夠友好,導致spider抓取失敗。結論是:
1,頁面製作完成後,再放到spider能發現的地方,才能達到最好的抓取效果。
2,頁面未對外公開之前,千萬不要通過工具推送給百度。
接到站長反饋後,站長平台联系了spider工程師。工程師在後台查詢這些未收錄的鏈接,發現它們均顯示為「死鏈」,然而如今訪問卻一切正常。根據後台記錄的抓取時間反覆溝通後,根源終於浮出水面:原來,站點為了搶新聞,提前製作好新聞稿並生成鏈接發布,雖然沒有在首頁等重要位置推送給用戶,卻被BaiduSpider發現,更關鍵的是,這些鏈接向BaiduSpider返回的狀態碼是404。
舉個例子,中國女排闖入決賽後,某網站做了A、B兩個頁面,分別對應奪冠和摘銀。為防止用戶在比賽結束前提前看到內容,站點乾脆把兩個鏈接都設為404,等比賽結束後,再把其中一個頁面的html返回碼改為200。頁面雖未向用戶推送,卻仍被「聰明」的BaiduSpider發現。問題就在於,BaiduSpider抓取時看到的是404,又無法判斷這是一個重要頁面,於是便將其打入冷宮、不再理睬。

所以站長平台反覆強調:確認頁面確實不需要被搜尋引擎保留時,可以使用404(臨時閉站則可使用百度站長平台的閉站保護工具);如果仍希望與搜尋引擎保持友好關係,請使用503,以防頁面被刪除。雖然百度對高價值內容設有「刪除保護」功能,但並非每個站點都能享受到這項特權。
(本文轉載自百度站長平台,原文地址:https://zhanzhang.baidu.com/college/articleinfo?id=892)
再為大家普及一下SEO過程中最常見的HTTP狀態碼:
200 - 伺服器成功返回網頁
301 - 請求的網頁已永久移動到新位置。當URLs發生變化時使用301,搜尋引擎索引中保存新的URL。
302 - 請求的網頁臨時移動到新位置。搜尋引擎索引中保存原來的URL。
404 - 請求的網頁不存在
503 - 伺服器目前無法使用(由於超載或停機維護)。通常這只是暫時狀態。
因此我們一定要熟悉這些返回碼的用法,別辜負了洪荒之力卻被搜尋引擎打入冷宮。若想與搜尋引擎保持友好關係,請使用503,以防頁面被刪除。