最近接手了一個企業站,用的是比較常見的織夢系統,文章大約一千八百篇。上線五天內,百度收了三百多頁,谷歌一千五百左右,整體算是能看。
這是一個別人用過的舊域名。上線前,我把過去被收錄過的URL先採下來,約五十條存好;站一上線立刻提交404,讓搜索引擎知道這些舊頁面已經不存在。
接著用站長工具把這個域名下幾千條舊連結全部拉出來,逐批處理。方法並不複雜——用條件篩選,比如按域名篩、按關鍵詞篩,幾千上萬條垃圾連結就這樣批量拒絕掉了。
新站加入站長平台後,我沒拿到sitemap提交名額,於是另外做了站點地圖,把HTML形式的清單當作URL提交給百度。
一般人的做法是首頁列表放最新文章,我也這麼做,但在首頁重要位置另外留了一塊區域,專門展示高質量、高原創的內容。
這要歸功於我給織夢文章表加了大量自訂屬性:文章字數、重複數量、原創度、連結、百度抓取次數、百度最近抓取時間、百度收錄狀態、百度快照、谷歌對應的各項數據。透過SQL語句就能自由調用,比如首頁那塊區域的條件是「百度未抓取且原創度大於90,且字數超過800」。想要什麼樣的數據,寫一句SQL就能拉出來,站內推薦和連結權重分布也就順勢均衡了,讓每篇文章都有被展示的機會。
這個想法落地靠一個插件:把織夢文章表和IIS日誌表做聯合查詢,用來分析上述屬性。插件是因為工作有需要才折騰出來的。

第三、四天抓取和收錄还算稳定,但SQL查下來發現百度仍有大量URL沒碰到。於是用織夢的自定義單頁做了一個列表模板,專門展示百度未抓取的文章,放在網站最底部,命名為 sitemap_1.html,且內容隨機變動,確保所有未收錄的頁面都有機會被推到蜘蛛面前。
這個檔案上線後,百度很快就抓到了它。那些原本抓不到的URL,透過這個入口又被走了出來。數據比對下來,確實如此。
裝上定時審核插件,保證每天有新文章放出;定時生成首頁與地圖,整站的連結展示就形成了閉環。蜘蛛抓取順暢,每次來都能找到新的、有價值的內容。外鏈方面每天偶爾發幾條引蜘蛛即可,不批量鋪垃圾連結,後續或許會嘗試影音外鏈和更有份量的連結來源。