VIP 大講堂微信群裡有位同學問:我們有一個網頁 3000 多行中文+英文,快照顯示不完整,透過站長平台模擬抓取(即抓取診斷工具)時,文字也顯示不完整,對網站影響會不會很大?院長把這個籠統的問題拆成了幾個小問題,並向工程師確認。
第一個問題:百度對網頁內容多少、大小有限制嗎?
答:對內容文字多少沒有限制,但源碼大小上有一定限制,過長的話會取前面一部分,所以源碼還是越簡潔越好。
第二個問題:如果快照顯示網頁不完整,是不是說明 BaiduSpider 沒有完整收錄網頁?
答:不是的。快照的生成涉及很多環節,顯示不完整的原因會很多,不能簡單地認為沒有收錄完整。
第三個問題:使用平台抓取診斷工具也不能完整顯示,是不是就可以認為沒有收錄完整?
答:不是的,工具只展示前 200K。我們設計工具時對網頁做過調研,一般來說展示前 100K 就夠用了。
第四個問題:百度是否要求網頁上不能有任何特殊字符?
答:沒有這個限制。