DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO最新資訊 >> 關於SEO資訊
HTTPS站點如何兼顧安全性與百度蜘蛛抓取
編輯:關於SEO資訊     

全站HTTPS會給爬蟲抓取帶來一個現實矛盾:安全層握手開銷更大,而部分搜索引擎對HTTPS頁面的抓取與索引支持在當時並不完善。解法思路很清晰——針對百度蜘蛛做定向回落,其他用戶一律走HTTPS。

判斷依據:User-Agent

通過 User-Agent 判斷請求是否來自蜘蛛,然後做301/302定向:百度蜘蛛導向HTTP版本,非百度蜘蛛導向HTTPS版本。

百度各產品線使用的UA如下:

方案一:.htaccess 301重定向

RewriteEngine On

# BEGIN Force SSL
RewriteCond %{HTTPS} !on [NC]
RewriteCond %{HTTP_USER_AGENT} !(Baiduspider|Baiduspider-image|Baiduspider-video|Baiduspider-news|Baiduspider-favo|Baiduspider-cpro|Baiduspider-ads) [NC]
RewriteRule (.*) https://%{SERVER_NAME}%{REQUEST_URI} [R=301,NC,L]
# END Force SSL

規則含義:當請求非HTTPS,且UA不匹配任何百度蜘蛛標識時,才執行301跳轉到HTTPS。蜘蛛請求被放行,繼續走HTTP。

方案二:PHP判斷UA

<?php
$useragent = $_SERVER['HTTP_USER_AGENT'];

if (strpos($useragent, 'baiduspider') !== false) {
    // 百度蜘蛛:正常輸出HTTP內容
}

if (preg_match("#(baiduspider)#si", $_SERVER['HTTP_USER_AGENT'])) {
    header("HTTPS/1.1 301 Moved Permanently");
    header("Location: https://www.XXXXX.com/");
    exit;
}

更實際的建議:分域名承載

需要說明的是,按UA做差別化定向屬於過渡手段,長期維護成本高,也容易出現一致性問題。更穩妥的做法是按站點屬性拆域名:真正需要安全傳輸的部分(支付、會員、數據提交)放在獨立二級域名上全站HTTPS,其餘資訊展示類內容以目錄形式保留在主域下。

這樣既滿足了合規與安全要求,又避免了全站HTTPS帶來的抓取風險,同時讓適配規則和canonical關係更清晰可控。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved