DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO優化集錦
用 PHP 記錄搜索引擎蜘蛛:分析爬取規律的簡便方法
編輯:SEO優化集錦     

很多站長會好奇,搜尋引擎蜘蛛到底有沒有來過網站、什麼時候來、抓取哪些頁面。若能記錄蜘蛛活動,就能更了解網站的抓取狀況與優化方向。

基本思路

可透過 PHP 判斷使用者代理是否包含常見蜘蛛名稱,例如 Baiduspider、Googlebot、MSNbot 等。若符合,就將拜訪時間、請求網址與來源資訊寫入日誌檔。

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'baiduspider') !== false) {
    $bot = 'Baiduspider';
}

有了日誌後,就能觀察蜘蛛偏好哪些欄目、哪些頁面更新較快,也能判斷網站是否存在抓取異常。數據化分析,比憑感覺猜測更可靠。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved