關於網站結構、抓取與收錄,甚至排名的大量問題,最後都能收攏成一個核心:搜尋引擎能多容易地抓取你的網站?以下是我們對這個問題的整理。
網路世界極其龐大,新內容每時每刻都在產生。搜尋引擎的資源有限,面對近乎無盡的內容,爬蟲只能找到並抓取其中一定比例,而在已抓到的內容裡,也只有一部分會被建立索引。
要被抓取,爬蟲得先找到並跨越這些橋樑。如果 URL 複雜冗長,爬蟲必須反覆耗時跟蹤;如果 URL 整潔並直接指向獨特內容,爬蟲就能把力氣花在理解你的內容上,而不是浪費在空白頁或最終指向同一份重複內容的岔路上。
實務上常見的反例包括:被入侵後插入的網址與編碼、偽裝成路徑的冗餘參數、無限延伸的抓取空間。以下是四個可以立刻著手的改善動作。
那些不影響頁面內容的參數,例如 session ID 或排序參數,可以從 URL 中拿掉,改以 cookie 記錄。把這些資訊寫入 cookie,再用 301 導向一個乾淨的 URL,既能保留原有功能,也能減少多個網址指向同一份內容的情況。
你的站上是否有一個日曆,連結指向無數過去與未來的日期,每個網址都獨一無二?網址加上某個頁碼參數後,即使實際上沒有那麼多頁,仍會回傳正常狀態碼?若答案是肯定的,你的站就存在「無限空間」,它會白白消耗抓取資源與頻寬。用適當規則把這類空間關起來。
透過 robots.txt,你可以攔下登入頁、聯絡表單、購物車這類爬蟲無法處理的頁面。爬蟲不會自己「把商品加入購物車」,也不會替你「聯絡我們」。把這些排除掉,等於讓它能把時間花在真正有價值的內容上。
理想狀態是 URL 與內容一對一:每個網址對應一段獨特內容,每段內容只有一個網址可進。越貼近這個狀態,網站越容易被抓取與收錄。若內容管理系統讓這件事難以實現,可以嘗試用 canonical 標籤指定你希望被採用的那一個網址。