404 頁面與 ROBOTS 設定看似小細節,卻會影響用戶體驗與收錄品質。
當用戶點到失效連結時,好的 404 頁面能降低跳出,引導他們回到重要內容。
風格要親切、停留時間不宜過短、不要直接轉回首頁,並提供多個可返回的入口。
ROBOTS 用來告訴蜘蛛哪些內容可抓取,哪些不適合抓取。
語法要正確,避免誤把重要頁面屏蔽,也要定期檢查抓取結果。