很多站長會好奇,搜尋引擎蜘蛛到底有沒有來過網站、什麼時候來、抓取哪些頁面。若能記錄蜘蛛活動,就能更了解網站的抓取狀況與優化方向。
可透過 PHP 判斷使用者代理是否包含常見蜘蛛名稱,例如 Baiduspider、Googlebot、MSNbot 等。若符合,就將拜訪時間、請求網址與來源資訊寫入日誌檔。
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'baiduspider') !== false) {
$bot = 'Baiduspider';
}
有了日誌後,就能觀察蜘蛛偏好哪些欄目、哪些頁面更新較快,也能判斷網站是否存在抓取異常。數據化分析,比憑感覺猜測更可靠。