新站上線之前,內容還沒補齊、設置還沒調好,很多人的做法是先把蜘蛛屏蔽掉。
完全禁止搜尋引擎來訪:
User-agent: *
Disallow: /
屏蔽站內某個目錄:
User-agent: *
Disallow: /admin/
Disallow: /images/
很多習慣是:網站上線後先屏蔽蜘蛛,然後反覆修改,最後再放開。用 robots 屏蔽來「慢慢改站」,千萬不要這樣搞。
理論上說得通,實務上不要做。原因是蜘蛛的抓取節奏有自己的規律:當它來訪時被你擋住,它可能會隔很長一段時間才再過來。等你發現蜘蛛不來了,急著發外部連結、反覆改 robots,往往也恢復不了那個節奏。
我們的建議是:不要綁定正式域名,先用臨時地址訪問和調試。站點在臨時地址上完成內容填充、模板檢查、鏈接測試之後,再一次性上線正式域名。磨刀不誤砍柴工,比搶進度划算。