網站優化可以拆成很多塊:外鏈、內鏈、內容編輯、數據分析等等,分析IIS日誌也是其中一項。看日誌的終點,是弄清蜘蛛每天在站內的爬行情況,從中找出問題並及時修正。分析的方法各家都有,這裡不談方法,只談哪些站點缺陷會讓蜘蛛的抓取壓力變大。

死鏈接對蜘蛛很不友好。它多產生於站點改版或更換域名之後,舊鏈接沒有及時處理。大量死鏈存在,會直接加大蜘蛛的訪問負擔:它每次高興地來爬鏈接,卻接連撞上和上次相同的死路,重複幾輪之後,對站點的信任自然下降,最終表現為收錄不暢。
解決方案:
一是用好百度站長平台提供的「死鏈接提交」功能,把站內無用、冗餘的死鏈批量提交,讓蜘蛛明確知道這些地址不必再抓。
二是對死鏈做重定向處理,具體方式取決於你的服務器環境。這種做法適合死鏈數量不大的情況;如果數量龐大,大量跳轉反而會拖累用戶體驗。
網站地圖是優化中的常規工作,做得好能明顯提升蜘蛛的爬行與收錄效率。問題是不少站長對這件事不上心,隨手找個不太靠譜的小工具生成,結果地圖本身漏洞百出,蜘蛛照著走反而在站內迷路。
解決方案:有能力就自己寫,畢竟你比任何工具都更熟悉自己的站點結構;實在不行,就選用權威性較強的工具生成,完成後務必逐條測試,盡量別留下明顯漏洞。
所謂網站陷阱,是指站點存在一些結構性問題,讓蜘蛛爬到一半出錯、陷進去再繞不出來。這種情況往往不容易被察覺,但可以通過IIS日誌或站長工具的抓取壓力反饋來判斷:如果蜘蛛的爬行壓力持續攀升,就該懷疑站內存在陷阱。
解決方案:
第一,盡量做靜態化。百度一直表示蜘蛛能處理帶動態參數的URL,但能力畢竟有限,某個頁面參數過多,抓取就變成一件苦差事。

參數一多,蜘蛛很容易陷入這個「參數黑洞」爬不出來。所以建站時應優先選擇支持靜態化的程序。
第二,別讓蜘蛛在內鏈裡打轉。外鏈可以一層扣一層形成鏈輪,內鏈同樣可以。有些站長為了快速拉排名,濫用錨文本,造成頁面之間鏈接迴圈,蜘蛛來回爬個不停,最後困在裡面。
蜘蛛再智能,本質上也不過是一段由人寫出來的程序。但我們仍 Should 尊重它——把站點的缺陷一項項補上,讓它能順利爬行、順利收錄,優化工作才算真正完整。