robots.txt 的作用是告訴爬蟲:伺服器上哪些檔案可以讀取,哪些不可以。爬蟲理解這件事之後,就能把精力集中在被允許的頁面上,讓有限的抓取配額發揮最大效益。
還有一個關鍵點常被忽略:robots.txt 是搜尋引擎拜訪網站時讀取的第一個檔案。明白這點,就有理由在它上面多下點功夫。
既然爬蟲第一站就是 robots.txt,那把網站地圖的位址寫進去,等於讓它在第一時間就被發現,也大幅提高頁面被快速抓取與收錄的機率。這招對新站效果明顯,對大型站點同樣有實際意義。
寫法示例如下:
所以無論新站還是老站,想讓更多頁面進入抓取隊列,都值得把 sitemap.xml 寫進 robots.txt。
推薦一個 Google 官方也提及的線上生成工具:xml-sitemaps.com。你可以依網站規模選擇適合的產生樣式,生成後把檔案放在根目錄即可。
總結來說,把 sitemap.xml 位址寫入 robots.txt 以提升抓取率,是可行且易於落地的做法。歡迎一起就網站推廣與優化繼續交流。
本文原創台州人才網,歡迎轉載並保留出處。