最近收到一個很有代表性的抓取優化案例,整理出來給各位提個醒,千萬別踩同樣的坑。

站點反饋:
網站主體內容由JS生成,針對用戶訪問沒做優化;但站點特意針對爬蟲做了優化,甚至把圖片直接轉成base64嵌進頁面。結果優化之後,內容反而不再被百度收錄。
頁面質量不錯,還專門為爬蟲做了處理,為什麼反而不收錄?
工程師分析:
1、把圖片的二進制內容直接寫進HTML,導致頁面長度暴增到164k;
2、優化後主體內容被放到頁面最後,圖片卻排在前面;
3、爬蟲抓取時內容過長被截斷,已抓取的部分裡沒有主體內容,頁面最終被判定為空短頁而不予收錄。
工程師建議:
1、不建議用JS生成主體內容。一旦渲染出錯,很可能導致內容讀取失敗、頁面無法正常抓取。
2、若確實針對爬蟲做了優化,請把頁面長度控制在128k以內,不要過長。
3、同樣是為爬蟲優化,請把主題內容放在頁面靠前位置,避免抓取截斷造成內容讀不全。
(本文轉載自百度站長學院)