DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
robots.txt不是小事:一次面試帶出的爭論
編輯:SEO優化集錦     

今天面試了一個自稱做了三年SEO的人,態度頗為傲慢。聊到一個話題:robots.txt到底該不該寫。在他看來這文件用處不大,他以前做的電商站都沒寫,理由是沒有外部連結蜘蛛就不會爬到那些頁面,不必屏蔽。

我想說的是:robots.txt是必須的。不明白做了三年的人為何會這樣判斷。如果真像他說的那樣,為什麼蜘蛛進一個站會先找根目錄下的robots.txt?這個文件本身沒有任何外部連結,蜘蛛又是怎麼找到的?再說,網站源代碼裡必然有css、js、後台、圖片等連結,難道這些都不用屏蔽?

好,就算不寫robots.txt也能把SEO做好,我承認這有可能。但它是SEO的入門基礎知識,每個從業者都該重視。SEO做的就是細節,這個細節不管、那個細節也不管,累積下來還怎麼做?

百度和谷歌的官方文檔裡都寫得很清楚:

搜索引擎使用spider程序自動訪問互聯網上的網頁並獲取信息。spider在訪問一個網站時,會首先檢查該網站根域下是否有一個叫做robots.txt的純文本文件,這個文件用於指定spider在你網站上的抓取範圍。你可以在站點中創建robots.txt,在文件中聲明不想被收錄的部分,或指定只收錄特定部分。

robots.txt的用法其實屬於SEO的高階操作,在行業站上尤其明顯。行業站頁面多、無用頁也多,必須靠它屏蔽掉沒意義的部分,提升蜘蛛的抓取效率——這是策略層面的事。

所以,robots.txt確實有用,並不像有些人說的那麼無關緊要。有些人做了幾年SEO,思路還停在幾年前,這顯然不可取。搜索引擎技術在飛速推進,Zac說過,谷歌幾年前就能抓JS裡的連結並傳遞權重,你還認為JS不能被識別嗎?

技術一步步完善,我們的方法若不同步升級,就只能被淘汰。

來自鄭州朝陽頂尖SEO培訓學校:https://www.zhaoyangedu.cn/wlyx/News_Show.asp?ID=203

感謝 鄭州seo楊超 的投稿

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved