有些網站設計雖然對用戶看似正常,卻會阻礙搜索引擎蜘蛛抓取。以下幾類常見陷阱,新手站長應特別注意。
小範圍使用 Flash 可以增強視覺效果,但若首頁幾乎只有一個大 Flash 文件,蜘蛛可能無法取得有效文字內容。必要時應提供 HTML 版本入口。
若每個訪問者都產生不同 Session ID,並附加在網址中,蜘蛛可能把同一頁面視為大量不同網址,造成抓取混亂。
除 301 等規範跳轉外,302、JavaScript、Flash、Meta Refresh 等跳轉都可能帶來不確定性,應盡量避免。
框架會讓蜘蛛難以判斷內容歸屬,建議避免使用過時框架結構。
過度複雜的動態參數不利抓取;JavaScript 生成的導航也可能被忽略,可改用 CSS 等更穩妥方式。
若內容必須登錄才能查看,或強制依賴 Cookies,蜘蛛將無法正常訪問,容易導致收錄困難。