蜘蛛陷阱,是指會阻礙搜尋引擎蜘蛛正常抓取的設計或技術。即使頁面對用戶看似正常,也可能讓蜘蛛無法順利進入或理解內容。
常見問題包括強制登錄、過於複雜的動態網址、強制使用Cookie、框架結構、非必要跳轉、大型Flash首頁、會話ID網址,以及過度依賴JavaScript。
改善方式包括:減少非必要登錄限制、將網址靜態化或偽靜態、避免強制Cookie、簡化結構、優先使用清楚的重定向,並以HTML與CSS呈現主要內容。
蜘蛛陷阱越少,頁面被發現與收錄的機會就越高,也更能讓優化效果穩定累積。