分析網站日誌時,辨識蜘蛛非常重要。百度Spider的hostname通常為*.baidu.com或*.baidu.jp,若非此格式,可能是偽裝。
不同平台可用不同指令反查IP:Linux可用host,Windows可用nslookup,macOS可用dig。學會這一步,才能進一步看懂抓取行為。