對於中大型網站而言,讓爬蟲抓到重要頁面、避免浪費抓取預算,是 SEO 的重要工作。
robots.txt 可屏蔽重複內容、無意義頁面或暫時不需要抓取的目錄。也可將 sitemap 路徑寫入其中,方便搜尋引擎發現網站地圖。
meta robots 可控制頁面是否進入索引、是否跟隨連結。nofollow 則可減少權重傳遞,避免「關於我們」、「聯絡我們」等頁面分散爬蟲注意力。
動態網址不一定有問題,但应避免無限循環參數。偽靜態可提升可讀性,但過度依賴也可能增加伺服器負擔。靜態頁或靜態緩存有助於提升讀取速度,適合流量較大的網站。
此外,開啟 Gzip 壓縮,通常能以較低成本改善抓取與載入效率。