百度站長工具更新了robots提示功能。站長完成robots.txt製作後,可以直接在站長平台上直觀地看到哪些路徑允許抓取、哪些已被屏蔽,避免因一時疏忽誤擋蜘蛛,導致收錄量下滑。
我此前一直用Google的robots工具來製作,而這次百度推出的版本比Google管理工具更直觀一些。不會寫robots的站長朋友,可以直接用這個工具。

小知識:robots.txt的作用是告訴搜尋引擎,你的網站哪些頁面可以被收錄、哪些不可以。如果你不希望某些內容被搜尋引擎收錄,就用robots.txt指定抓取範圍。檔案製作完成後,放到網站的根目錄即可生效。
對站長來說,這個功能把原本需要反覆查文件、反覆測試的環節,變成了幾次點擊就能確認的事。robots.txt寫錯的代價往往不小——整個目錄被誤封,可能幾週之後才從收錄數據上看出來。有了視覺化的提示,這類失誤的成本就低多了。