DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
巧用robots文件提升頁面抓取率
編輯:SEO優化集錦     

一、先認識robots.txt

robots.txt 的作用是告訴爬蟲:伺服器上哪些檔案可以讀取,哪些不可以。爬蟲理解這件事之後,就能把精力集中在被允許的頁面上,讓有限的抓取配額發揮最大效益。

還有一個關鍵點常被忽略:robots.txt 是搜尋引擎拜訪網站時讀取的第一個檔案。明白這點,就有理由在它上面多下點功夫。

二、把 sitemap.xml 寫進 robots.txt

既然爬蟲第一站就是 robots.txt,那把網站地圖的位址寫進去,等於讓它在第一時間就被發現,也大幅提高頁面被快速抓取與收錄的機率。這招對新站效果明顯,對大型站點同樣有實際意義。

寫法示例如下:

所以無論新站還是老站,想讓更多頁面進入抓取隊列,都值得把 sitemap.xml 寫進 robots.txt。

三、sitemap.xml 怎麼取得

推薦一個 Google 官方也提及的線上生成工具:xml-sitemaps.com。你可以依網站規模選擇適合的產生樣式,生成後把檔案放在根目錄即可。

總結來說,把 sitemap.xml 位址寫入 robots.txt 以提升抓取率,是可行且易於落地的做法。歡迎一起就網站推廣與優化繼續交流。

本文原創台州人才網,歡迎轉載並保留出處。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved