前陣子有說法稱新浪博客屏蔽百度蜘蛛,引起不少站長關注。但從robots文件來看,這更像是一場誤會。
舊版robots文件中針對不同蜘蛛設定了不同規則,部分站長看到限制內容後,便推測新浪已全面阻擋百度。
後來新浪更新了robots文件,加入更多主流搜索引擎的抓取設定,整體呈現更開放的狀態。
與其大量發布低質量內容,不如經營少量高質量博客。自然、穩定、有價值的內容,才是長期有效的策略。
這次事件也提醒站長,遇到robots或抓取問題時,應先確認文件內容,而不是急著下結論。