今天面試了一個自稱做了三年SEO的人,態度頗為傲慢。聊到一個話題:robots.txt到底該不該寫。在他看來這文件用處不大,他以前做的電商站都沒寫,理由是沒有外部連結蜘蛛就不會爬到那些頁面,不必屏蔽。
我想說的是:robots.txt是必須的。不明白做了三年的人為何會這樣判斷。如果真像他說的那樣,為什麼蜘蛛進一個站會先找根目錄下的robots.txt?這個文件本身沒有任何外部連結,蜘蛛又是怎麼找到的?再說,網站源代碼裡必然有css、js、後台、圖片等連結,難道這些都不用屏蔽?
好,就算不寫robots.txt也能把SEO做好,我承認這有可能。但它是SEO的入門基礎知識,每個從業者都該重視。SEO做的就是細節,這個細節不管、那個細節也不管,累積下來還怎麼做?
百度和谷歌的官方文檔裡都寫得很清楚:
搜索引擎使用spider程序自動訪問互聯網上的網頁並獲取信息。spider在訪問一個網站時,會首先檢查該網站根域下是否有一個叫做robots.txt的純文本文件,這個文件用於指定spider在你網站上的抓取範圍。你可以在站點中創建robots.txt,在文件中聲明不想被收錄的部分,或指定只收錄特定部分。
robots.txt的用法其實屬於SEO的高階操作,在行業站上尤其明顯。行業站頁面多、無用頁也多,必須靠它屏蔽掉沒意義的部分,提升蜘蛛的抓取效率——這是策略層面的事。
所以,robots.txt確實有用,並不像有些人說的那麼無關緊要。有些人做了幾年SEO,思路還停在幾年前,這顯然不可取。搜索引擎技術在飛速推進,Zac說過,谷歌幾年前就能抓JS裡的連結並傳遞權重,你還認為JS不能被識別嗎?
技術一步步完善,我們的方法若不同步升級,就只能被淘汰。
來自鄭州朝陽頂尖SEO培訓學校:https://www.zhaoyangedu.cn/wlyx/News_Show.asp?ID=203
感謝 鄭州seo楊超 的投稿