全站HTTPS會給爬蟲抓取帶來一個現實矛盾:安全層握手開銷更大,而部分搜索引擎對HTTPS頁面的抓取與索引支持在當時並不完善。解法思路很清晰——針對百度蜘蛛做定向回落,其他用戶一律走HTTPS。
通過 User-Agent 判斷請求是否來自蜘蛛,然後做301/302定向:百度蜘蛛導向HTTP版本,非百度蜘蛛導向HTTPS版本。
百度各產品線使用的UA如下:

RewriteEngine On
# BEGIN Force SSL
RewriteCond %{HTTPS} !on [NC]
RewriteCond %{HTTP_USER_AGENT} !(Baiduspider|Baiduspider-image|Baiduspider-video|Baiduspider-news|Baiduspider-favo|Baiduspider-cpro|Baiduspider-ads) [NC]
RewriteRule (.*) https://%{SERVER_NAME}%{REQUEST_URI} [R=301,NC,L]
# END Force SSL
規則含義:當請求非HTTPS,且UA不匹配任何百度蜘蛛標識時,才執行301跳轉到HTTPS。蜘蛛請求被放行,繼續走HTTP。
<?php
$useragent = $_SERVER['HTTP_USER_AGENT'];
if (strpos($useragent, 'baiduspider') !== false) {
// 百度蜘蛛:正常輸出HTTP內容
}
if (preg_match("#(baiduspider)#si", $_SERVER['HTTP_USER_AGENT'])) {
header("HTTPS/1.1 301 Moved Permanently");
header("Location: https://www.XXXXX.com/");
exit;
}
需要說明的是,按UA做差別化定向屬於過渡手段,長期維護成本高,也容易出現一致性問題。更穩妥的做法是按站點屬性拆域名:真正需要安全傳輸的部分(支付、會員、數據提交)放在獨立二級域名上全站HTTPS,其餘資訊展示類內容以目錄形式保留在主域下。
這樣既滿足了合規與安全要求,又避免了全站HTTPS帶來的抓取風險,同時讓適配規則和canonical關係更清晰可控。