在網站開發與 SEO 領域,有一個常被討論的做法:在伺服器端讀取瀏覽器送出的 User-Agent,藉此判斷造訪者是一般訪客還是搜尋引擎的爬蟲(蜘蛛),再決定要不要回應特定內容。以下整理幾種常見的實作方式,供技術研究參考。
先看一段以 JavaScript 判斷來源是否來自搜尋引擎的範例:如果是從搜尋引擎點進來的,就延遲跳轉;直接訪問則維持原樣。
<script language="javascript"> var pattern = /google/gi; var pattern1= /yahoo/gi; var keyValue=escape(document.referrer); if (pattern.exec(keyValue)) setTimeout( "windows.location='https://www.jb51.net'",10*1000); else if(pattern1.exec(keyValue)) setTimeout( "window.location='https://www.jb51.net'",10*1000); </script>
再來看 PHP 版本。第一段先示範如何讀取 $_SERVER['HTTP_USER_AGENT'],並比對各家搜尋引擎爬蟲的名稱,辨識出對應的來源:
<?php $tmp = $_SERVER['HTTP_USER_AGENT']; if(strpos($tmp, 'Googlebot') !== false){ echo '谷歌'; } else if(strpos($tmp, 'Baiduspider') >0){ echo '百度'; } else if(strpos($tmp, 'Yahoo! Slurp') !== false){ echo '雅虎'; } else if(strpos($tmp, 'msnbot') !== false){ echo 'Msn'; } else if(strpos($tmp, 'Sosospider') !== false){ echo '搜搜'; } else if(strpos($tmp, 'YodaoBot') !== false || strpos($tmp, 'OutfoxBot') !== false){ echo '有道'; } else if(strpos($tmp, 'Sogou web spider') !== false || strpos($tmp, 'Sogou Orion spider') !== false){ echo '搜狗'; } else if(strpos($tmp, 'fast-webcrawler') !== false){ echo 'Alltheweb'; } else if(strpos($tmp, 'Gaisbot') !== false){ echo 'Gais'; } else if(strpos($tmp, 'ia_archiver') !== false){ echo 'Alexa'; } else if(strpos($tmp, 'altavista') !== false){ echo 'AltaVista'; } else if(strpos($tmp, 'lycos_spider') !== false){ echo 'Lycos'; } else if(strpos($tmp, 'Inktomi slurp') !== false){ echo 'Inktomi'; } ?>第二段則示範如何搭配一個旗標變數,先判斷是否為搜尋引擎爬蟲,若不是(也就是一般訪客)就導向另一個網址:
<?php $flag = false; $tmp = $_SERVER['HTTP_USER_AGENT']; if(strpos($tmp, 'Googlebot') !== false){ $flag = true; } else if(strpos($tmp, 'Baiduspider') >0){ $flag = true; } else if(strpos($tmp, 'Yahoo! Slurp') !== false){ $flag = true; } else if(strpos($tmp, 'msnbot') !== false){ $flag = true; } else if(strpos($tmp, 'Sosospider') !== false){ $flag = true; } else if(strpos($tmp, 'YodaoBot') !== false || strpos($tmp, 'OutfoxBot') !== false){ $flag = true; } else if(strpos($tmp, 'Sogou web spider') !== false || strpos($tmp, 'Sogou Orion spider') !== false){ $flag = true; } else if(strpos($tmp, 'fast-webcrawler') !== false){ $flag = true; } else if(strpos($tmp, 'Gaisbot') !== false){ $flag = true; } else if(strpos($tmp, 'ia_archiver') !== false){ $flag = true; } else if(strpos($tmp, 'altavista') !== false){ $flag = true; } else if(strpos($tmp, 'lycos_spider') !== false){ $flag = true; } else if(strpos($tmp, 'Inktomi slurp') !== false){ $flag = true; } if($flag == false){ header("Location: https://www.jb51.net" . $_SERVER['REQUEST_URI']); // 自動轉到https://www.jb51.net 對應的網頁 // $_SERVER['REQUEST_URI'] 為域名後面的路徑 // 或 換成 header("Location: https://www.jb51.net/abc/d.php"); exit(); } ?>第三段則是用 preg_match 比對 User-Agent,命中後直接回傳 301 永久重定向:
if (preg_match(“#(google|slurp@inktomi|yahoo! slurp|msnbot)#si”, $_SERVER['HTTP_USER_AGENT'])) { header(“HTTP/1.1 301 Moved Permanently”); header(“Location: https://www.saoyu.com/”); exit; }}需要特別提醒的是:針對搜尋引擎與一般訪客回傳不同內容的做法(俗稱遮罩、cloaking),正是搜尋引擎明令禁止的黑帽手法。一旦被判定違規,網站可能遭到降權甚至從索引中移除,風險相當高。這類程式碼僅供理解原理與防範之用,切勿用於作弊。若已誤用並導致排名下滑,與其鑽漏洞找後門,不如及早移除並回歸正當的白帽優化。