對新站來說,怎樣讓搜尋引擎穩定、頻繁地來訪並收錄內容,是大家最關心的問題之一。以下是具體做法。
新站上線後第一件事,是到搜尋平台的管理後台把站點加上去。加完之後做好三項基本配置:
提交站點地圖。生成 sitemap.xml 並提交,這是讓爬蟲快速了解站點結構最有效的方式。
檢查 robots 檔案。確保編碼與語法正確,上傳前用驗證工具跑一遍。一個寫錯的 robots 檔足以讓整站不被抓取。
設定首選域名。在站點配置中指定帶 www 或不帶 www 的版本,避免權重分散。
保持穩定更新,才會被判定為活躍站點,爬蟲才會養成定期來訪的習慣。這件事沒有捷徑,頻率穩定性比絕對數量更重要。
方法很多,這裡不展開。原則只有一個:重質不重量,重相關性不重速度。
這一點很關鍵,卻常被忽略。在持續更新內容的同時,要確保 sitemap.xml 同步更新。這樣爬蟲才能準確知道你的站有哪些新增內容。
實作方式依程式而異:用部落格套件的可以裝自動生成的擴充功能;用內容管理系統的可以利用其自由列表功能來產生。
有個細節要說明:每天生成地圖之後,不需要每天都去後台手動提交。爬蟲會依據檔案的更新日期與大小自動抓取下載。
大量死連結對抓取非常不友好,會直接影響站點評價。在正式提交之前,先用工具掃一遍全站,把失效連結清乾淨。
之後建議每月複查一次,因為外部連結失效是持續發生的問題。
當站點已被收錄,這時不要進行大改——包括標題都不要隨便動。系統分析和建立對一個站的判斷需要時間,你在觀察期內反覆變動,等於不斷把進度歸零。
真的有必要改,一次性改完,然後停下來。
只要穩定做到上面幾點,通常一兩週內抓取頻率就會明顯改善。
另一家引擎的邏輯是一樣的,只是對新站的觀察期更長,因此收錄與更新的節奏也較慢。這不是針對,而是常態。理解這一點,能省下很多不必要的折騰。