若網站還沒到可以隨意屏蔽蜘蛛的程度,建站時就應避免容易影響抓取與收錄的設計。提前避開,後續優化會更輕鬆。
Flash、框架結構與過度JavaScript,都可能讓蜘蛛難以讀取內容。視覺效果可用,但不宜作為主要內容載體。
動態URL容易產生重複頁面,應盡量靜態化。跳轉方式也要謹慎,非必要不使用不明確的轉向。
若要求登入才能查看內容,蜘蛛通常無法取得資訊。網站應讓重要內容可被正常抓取,才能進入索引流程。