robots文件在搜索生態裡是個很關鍵、同時又極容易被忽視的環節。站長在日常運維中,很容易出現誤覆蓋或者全站封禁的操作,等到發現時損失已經造成。
那如果真的一把梭把robots封死了,還有救嗎?我們邀到廈門258網站運營負責人鄭軍偉,分享他處理這類事故的完整過程。

網站開發2.0版本時,技術團隊選擇了在線開發。為了避免搜索引擎抓取開發中的版本,工程師按要求設定了robots封禁。2.0的開發週期是一個月,上線時直接覆蓋了1.0版本——包括那個封禁文件。兩天後流量大幅下滑,查收錄才發現:800萬條收錄歸零,大量關鍵詞集體掉線。


1. 把robots由封禁改為允許,然後到百度站長後台檢測並更新robots。
2. 在站長後台做抓取檢測。此時仍顯示抓取失敗,不要慌,多點幾次抓取,主動觸發蜘蛛來站。
3. 到抓取頻次頁面,申請上調抓取頻次。
4. 透過百度反饋中心提交說明,註明這是一次誤操作導致的事故。
5. 在站長後台連結提交處,開啟數據主動推送(實時)。
6. 更新sitemap並重新提交百度,之後每天手工提交一次。
做完這些,剩下就是等。幸運的是兩天後數據開始回升,第三天基本恢復到正常水位。

這次事故絕對是運維生涯裡的一次敗筆,總結三點,希望大家繞開同樣的坑:
1. 產品開發一定要避免在線開發。不能為了省事就不搭獨立的開發環境,這是流程問題,不是勤儉問題。
2. 產品迭代要有流程記錄。開發過程中做了哪些設定、哪些不對外、哪些必須放出來,交接時要非常清楚,最好有清單可核對。
3. 要養成盯後台的習慣。經常關注站長平台的數據變化,很多问题能從曲線的異常裡提前被發現,而不是等流量腰斬才反應過來。