robots 檔是搜尋生態中很重要卻又容易被忽略的一環。很多站長在網站運營中經常無視它的存在,進行錯誤覆蓋或全站封禁,造成不必要的損失。那麼,如果誤操作封禁了 robots 該怎麼辦?今天特別邀請廈門 258 網站運營負責人鄭軍偉,來分享網站 robots 誤封後的處理方式。
【案例背景】
網站開發 2.0 版本時,技術團隊選擇了線上開發,為避免搜索引擎抓取開發版本,便請技術人員設定了 Robots 封禁。2.0 開發週期為一個月,一個月後版本迭代,直接覆蓋了 1.0 版本(連同 Robots 封禁檔),兩天後發現流量大幅下滑,檢查收錄才發現 800 萬收錄歸零,關鍵詞大量掉線。


【處理方式】
1. 把 Robots 封禁改為允許,然後到百度站長後台檢測並更新 Robots。
2. 在後台進行抓取檢測,此時可能顯示抓取失敗,別擔心,多點幾次抓取以觸發蜘蛛來站。
3. 在後台抓取頻次處,申請上調抓取頻次。
4. 透過百度反饋中心,說明此次為誤操作所致。
5. 在後台鏈接提交處,設定資料主動推送(即時)。
6. 更新 sitemap 網站地圖,重新提交百度,並每天手動提交一次。
完成以上處理後,接下來就是等待。萬幸的是,大約兩天後數據開始慢慢回升,第三天基本恢復到正常狀態。

【案例總結】
這次事故絕對是運營生涯的一大敗筆,總結反思如下,希望大家能避免類似問題:
1. 產品開發應避免線上開發,不要為了省事而不搭建開發環境。
2. 產品迭代要有流程記錄,清楚哪些設定在開發時做了處理、哪些不該放出、哪些必須放出。
3. 要经常關注百度站長後台,從相關數據變化中及時發現問題。