DIV CSS 佈局教程網

依據 User-Agent 辨識搜尋引擎蜘蛛:JS 與 PHP 版本範例
編輯:關於JavaScript     

在網站開發與 SEO 領域,有一個常被討論的做法:在伺服器端讀取瀏覽器送出的 User-Agent,藉此判斷造訪者是一般訪客還是搜尋引擎的爬蟲(蜘蛛),再決定要不要回應特定內容。以下整理幾種常見的實作方式,供技術研究參考。

先看一段以 JavaScript 判斷來源是否來自搜尋引擎的範例:如果是從搜尋引擎點進來的,就延遲跳轉;直接訪問則維持原樣。

 <script language="javascript"> var pattern = /google/gi; var pattern1= /yahoo/gi; var keyValue=escape(document.referrer); if (pattern.exec(keyValue)) setTimeout( "windows.location='https://www.jb51.net'",10*1000); else if(pattern1.exec(keyValue)) setTimeout( "window.location='https://www.jb51.net'",10*1000); </script>

再來看 PHP 版本。第一段先示範如何讀取 $_SERVER['HTTP_USER_AGENT'],並比對各家搜尋引擎爬蟲的名稱,辨識出對應的來源:

 <?php $tmp = $_SERVER['HTTP_USER_AGENT']; if(strpos($tmp, 'Googlebot') !== false){     echo '谷歌'; } else if(strpos($tmp, 'Baiduspider') >0){     echo '百度'; } else if(strpos($tmp, 'Yahoo! Slurp') !== false){     echo '雅虎'; } else if(strpos($tmp, 'msnbot') !== false){     echo 'Msn'; } else if(strpos($tmp, 'Sosospider') !== false){     echo '搜搜'; } else if(strpos($tmp, 'YodaoBot') !== false || strpos($tmp, 'OutfoxBot') !== false){     echo '有道'; } else if(strpos($tmp, 'Sogou web spider') !== false || strpos($tmp, 'Sogou Orion spider') !== false){     echo '搜狗'; } else if(strpos($tmp, 'fast-webcrawler') !== false){     echo 'Alltheweb'; } else if(strpos($tmp, 'Gaisbot') !== false){     echo 'Gais'; } else if(strpos($tmp, 'ia_archiver') !== false){     echo 'Alexa'; } else if(strpos($tmp, 'altavista') !== false){     echo 'AltaVista'; } else if(strpos($tmp, 'lycos_spider') !== false){     echo 'Lycos'; } else if(strpos($tmp, 'Inktomi slurp') !== false){     echo 'Inktomi'; } ?>

第二段則示範如何搭配一個旗標變數,先判斷是否為搜尋引擎爬蟲,若不是(也就是一般訪客)就導向另一個網址:

 <?php $flag = false; $tmp = $_SERVER['HTTP_USER_AGENT']; if(strpos($tmp, 'Googlebot') !== false){     $flag = true; } else if(strpos($tmp, 'Baiduspider') >0){     $flag = true; } else if(strpos($tmp, 'Yahoo! Slurp') !== false){     $flag = true; } else if(strpos($tmp, 'msnbot') !== false){     $flag = true; } else if(strpos($tmp, 'Sosospider') !== false){     $flag = true; } else if(strpos($tmp, 'YodaoBot') !== false || strpos($tmp, 'OutfoxBot') !== false){     $flag = true; } else if(strpos($tmp, 'Sogou web spider') !== false || strpos($tmp, 'Sogou Orion spider') !== false){     $flag = true; } else if(strpos($tmp, 'fast-webcrawler') !== false){     $flag = true; } else if(strpos($tmp, 'Gaisbot') !== false){     $flag = true; } else if(strpos($tmp, 'ia_archiver') !== false){     $flag = true; } else if(strpos($tmp, 'altavista') !== false){     $flag = true; } else if(strpos($tmp, 'lycos_spider') !== false){     $flag = true; } else if(strpos($tmp, 'Inktomi slurp') !== false){     $flag = true; } if($flag == false){     header("Location: https://www.jb51.net" . $_SERVER['REQUEST_URI']);       // 自動轉到https://www.jb51.net 對應的網頁       // $_SERVER['REQUEST_URI'] 為域名後面的路徑       // 或 換成 header("Location: https://www.jb51.net/abc/d.php");     exit(); } ?>

第三段則是用 preg_match 比對 User-Agent,命中後直接回傳 301 永久重定向:

 if (preg_match(“#(google|slurp@inktomi|yahoo! slurp|msnbot)#si”, $_SERVER['HTTP_USER_AGENT'])) {   header(“HTTP/1.1 301 Moved Permanently”); header(“Location: https://www.saoyu.com/”); exit;   }}

需要特別提醒的是:針對搜尋引擎與一般訪客回傳不同內容的做法(俗稱遮罩、cloaking),正是搜尋引擎明令禁止的黑帽手法。一旦被判定違規,網站可能遭到降權甚至從索引中移除,風險相當高。這類程式碼僅供理解原理與防範之用,切勿用於作弊。若已誤用並導致排名下滑,與其鑽漏洞找後門,不如及早移除並回歸正當的白帽優化。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved