在國外網站上看到一張很有意思的圖,貼出來一起看。

這張圖很直觀地說明了蜘蛛在抓取網頁時會遇到的障礙,也就是那些對爬蟲不友善的因素。
蜘蛛是沿著連結前進的。沒有任何入口連結的頁面,它自然找不到,也就抓不到。
如果系統大量依賴 JS、AJAX 或框架結構,不利於獨立設置標題等 SEO 元素,也會造成障礙。
伺服器無法連線、DNS 異常、程式報錯——這些對蜘蛛來說是致命陷阱,直接讓抓取中斷。
針對搜尋引擎蜘蛛返回與一般訪客不同的內容,這種偽裝行為風險極高,後果通常很嚴重。
網址依據 cookie 隨機變化,或 HTML 裡塞滿無意義字元與空白,都會讓蜘蛛非常困惑。
沒有自訂錯誤頁,蜘蛛走錯路時無從引導,容易直接撞進死胡同。做好 404 引導,是把它帶回正軌的基本手段。