URL是網站的骨架,也是搜尋引擎理解站點層次的第一層線索。它一旦上線就很難大改,因此必須在建站初期就做好前瞻性的規劃,而不是等收錄出問題才回頭補救。
常見的兩種結構是「根域名+欄目+文章頁」與「根域名+文章頁」,差異主要體現在文章頁的命名方式上。Google 在關於網址結構的建議中提到幾點值得遵循的原則:
命名規則最好在站點上線前定案,否則後續修改會產生大量錯誤頁與權重流失。
兩層結構通常意味著希望權重直接灌到這些頁面;三層是最普遍的做法,用於區分欄目;四層多見於規模較大的站點,欄目與首頁之間還有頻道頁;若還要再細分,長期來看不如直接開二級域名。
要注意一個常見誤解:並非層級越深就越難抓取。搜尋引擎沒有抓取某個URL,真正原因往往是內外鏈給出的抓取入口太少。適度補充外部連結引導蜘蛛,比糾結層級數字更有效。
最經典的做法是把可能出現的多種網址形式做301重定向,讓權重集中到主域名。但規範化不止於此,還需檢查是否存在內容相同或高度相似的動態URL。以 WordPress 為例,參數配置不當就會產生大量重複的動態頁面。這類情況可在 robots.txt 中寫入規則屏蔽,例如 Disallow: /*?*。
建站初期往往會規劃很多欄目,但並非每個欄目都在第一階段就要投入資源。此時可以先用 robots 屏蔽抓取,或加上 nofollow 讓權重不重複傳遞,把有限的權重引導到核心頁面;等人力到位再逐步開放,讓新欄目進入抓取隊列。
URL結構優化的本質,是在抓取效率、權重流向與後期擴展性之間找到平衡。