前些天有位朋友問我一個問題:「我們的網站只收錄abc.XXX.com的二級目錄類域名,不收錄www.xxx.com的,怎麼辦?」我下意識地回答:用robots屏蔽就好了,於是針對他們各個二級站點(如合肥站、上海站)寫了一個robots檔案發給他:
User-agent: *
Disallow: /abc/
但緊接著,這些方法都被一一否決了,因為統通行不通——他們網站所有二級目錄與主目錄在ftp中都位於同一文件夾下。於是我又總結了他們網站面臨的問題:
1. 不帶www的二級域名已被收錄過萬,且每日都有蜘蛛爬取;而帶www的主域名至今只收錄二三十個,還有下降趨勢,所以希望讓網站收錄帶www的主域名頁面。
2. 網站所有頁面在同一個文件夾下,無法利用robots屏蔽路徑的方式屏蔽頁面。
我查了很久也沒找到太多有用資訊,大多是和我第一次給出的答案一樣。但最後我們還是想出了辦法解決了這個問題。關於屏蔽二級目錄收錄問題,總結了以下幾點可供選擇:
1. 若需要屏蔽的頁面與主頁面在不同文件夾下,可直接用robots檔案屏蔽,寫法如Disallow: /abc/。
2. 若無法用robots禁止搜索引擎收錄某個二級域名,最好的方法是301:對有用的頁面,把所有二級目錄類域名重定向;無用的則直接刪除。
3. 將二級目錄分配到不同的空間下,再利用robots屏蔽。
4. 寫一個判斷程式,讓要屏蔽的二級域名下有一個robots.txt檔案(如abc.xxx.com/robots.txt),再利用robots屏蔽。此方法我未親自試過,是看到前輩很久前給他人的建議,就理論而言應該行得通。
對於網站建設中如何避免此類不需收錄的二級域名,我羅列了幾點,若有不完善之處歡迎補充:
1. 虛擬主機空間自帶的二級域名地址若已被收錄,最直接的辦法是在站內統一URL規範,不給不想收錄的二級域名任何入口。
2. 必須分二級目錄時,將主目錄與二級目錄分開在不同的文件夾。
3. 域名解析時直接採用帶三W的主域名。