DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> SEO優化
SEO 必看:7 個常見的「蜘蛛陷阱」與排除思路
編輯:SEO優化     

網頁能否被收錄,是所有 SEO 工作的起點。但對搜尋引擎而言,要百分之百收錄站內每一頁幾乎不可能——即使爬蟲程式的設計再精密,也時常會被某些技術障礙擋在門外。

所謂「蜘蛛陷阱」,指的是妨礙蜘蛛(爬蟲)順利爬行網站的技術障礙。它多半不是刻意設計,而是某種實作方式剛好讓爬蟲卡住。棘手之處在於:用瀏覽器開啟時一切正常,畫面上看不出任何異狀,但蜘蛛就是進不去。逐一排除這些障礙,收錄量往往就能明顯提升。

有些陷阱來自較新、開發成本較高的技術,卻會直接影響搜尋引擎對網站的理解,严重时甚至導致整站不被收錄。因此優先處理這些問題,後續的搜尋行銷才有施力點。

一、robots.txt 是否寫對了

robots.txt 看起來只是放在根目錄的一個文字檔,卻決定著哪些內容允許蜘蛛查看、哪些屬於私人區域。

User-agent 用來指定規則適用於哪一支蜘蛛,寫成星號(*)代表所有蜘蛛:

User-agent: Baiduspider
Disallow: /

User-agent: *
Disallow: /

Disallow 則指出禁止存取的具體路徑,可以是精確檔名、目錄,甚至是目錄名稱的一部分:

User-agent: *
Disallow: /

User-agent: Baiduspider
Disallow: /admin

User-agent: *
Disallow: /admin/

最常見的意外是:網站上線前為了避免被搜尋到而全面封鎖,上線後忙於其他雜事,卻忘了把規則改回來,結果整站遲遲不被收錄。除了 robots.txt,頁面中的 meta robots 標記(例如 noindex)也可能造成同樣效果,雖然不常見,仍值得一併檢查。

二、過度依賴彈出視窗

彈出視窗吸睛,但多數使用者並不喜歡——正在閱讀感興趣的內容時被強制打斷,體驗自然不好。若確實要用彈窗呈現補充或重要內容,務必在網站地圖或其他正常頁面上為這些頁面建立連結,否則它們很可能永遠等不到蜘蛛。

三、JavaScript 下拉選單

爬蟲對 JavaScript 的理解仍有限,寫在 JS 裡的連結經常被漏掉,而下拉選單中的連結往往正是重要的導覽入口。建議用 HTML 直接輸出這些連結,或以 <noscript> 提供替代版本——舊瀏覽器不支援 JS,或使用者基於安全考量關閉 JS 時,選單根本不會顯示。

使用 <noscript> 時,其中的連結請盡量使用絕對路徑;同時在網站地圖中補上這些頁面,能更穩妥地確保蜘蛛發現它們。

四、動態網址過於複雜

動態網址指的是 HTML 並非靜態存放於伺服器,而是由程式即時生成的頁面。當網址中帶有多個參數(例如「&」),蜘蛛就容易困惑:同一個頁面究竟會有多少版本?有些參數代表實質差異,有些只是記錄使用者行為的追蹤碼。後者一旦被反覆抓取,等於讓蜘蛛在同一頁上耗掉大量抓取預算,還會產生大量重複收錄。

近年搜尋引擎已針對動態網址做了不少優化,一般來說較能處理:

  • 網址含兩個以下動態參數:可透過 URL 重寫(rewrite,即偽靜態)解決;
  • 網址長度不超過約 1000 字元:越短越好讀,也越好記;
  • 網址不含 session id 一類的區段標記(如 id=、session=):這類參數通常用於記錄使用者行為,同樣建議以 URL 重寫處理;
  • 可從列表頁或網站地圖通往所有有效 URL:參數組合太多,蜘蛛無法自行窮舉,請主動為動態網址留一條可爬的路徑。

五、移除頁面顯示的前置條件

有些網站要求使用者先開啟某項瀏覽器功能或完成特定動作,內容才會出現。這類設計對體驗傷害很大,也讓蜘蛛空手而回:

1. 需要 cookie:cookie 存於使用者本機,蜘蛛無法接受。若頁面必須依賴 cookie,建議改用其他技術,讓搜尋引擎與使用者看到相同內容。

2. 需要下載軟體:蜘蛛主要讀得懂 HTML、PDF 等含文字的文件,遇到需要安裝外掛或下載程式的頁面多半直接跳過。首頁尤其應避免。

3. 要求填寫資料:若瀏覽前提是回答問題或輸入資訊,而不是點擊一個標準超連結,蜘蛛很可能無法理解而離開。

4. 需要 JavaScript:蜘蛛不執行 JS,加上部分使用者會基於安全關閉它。若網頁在顯示前先檢測 JS,內容對蜘蛛就是不可見的。

六、妥善處理重定向

重定向讓舊網址指向新網址,常用於網址變更、URL 規範化與設定首選域時。若變更網址卻沒有相應處理,這些舊網址仍可能被使用:

1. 書籤:使用者收藏的是舊網址,改版後首次點擊就會遇到 404;
2. 外部連結:網路上指向舊網址的連結,在沒有重定向的情況下全數成為死連結;
3. 搜尋結果:舊網址若已被收錄並出現在搜尋結果中,使用者點進去同樣會看到 404。

對蜘蛛而言,最理想的做法是回傳 301 永久重定向,因為它能:

  • 引導蜘蛛改爬新網址,並索引新頁面的內容;
  • 把舊頁面上累積的連結權重轉移到新網址。

以下兩種方式建議避免:

JavaScript 重定向,例如在舊頁面嵌入:

<script type="text/javascript">window.location="https://www.example.com/new-url.html"</script>

Meta 更新(網頁自動刷新)重定向,例如:

<meta http-equiv="refresh" content="5; url=https://www.example.com/new-url.html" />

若只是暫時變更網址,會用到 302 臨時重定向,此時搜尋引擎索引中保留的是原網址,但顯示內容來自重定向後的頁面。

無論 301 或 302,都要注意一個關鍵:設定重定向後,不要再為網址加上二次跳轉,否則容易形成循環重定向,不只影響體驗,跳轉層數過多也可能讓蜘蛛直接放棄。設定完成後,建議用 HTTP 狀態查詢工具檢測兩個網址,確認操作成功。

七、確保伺服器穩定且夠快

這個問題發生的機率看似不高,實際上卻相當普遍。蜘蛛來訪時,伺服器必須處於正常運作狀態;若多次抓取失敗,搜尋引擎可能誤判網站已不存在,進而刪除既有收錄。

另一個因素是速度。伺服器重啟或資源吃緊時回應會明顯變慢,蜘蛛往往很快就放棄,很少有爬蟲願意等一個頁面載入超過十秒。緩慢的速度同樣會流失忠實訪客——為了同時留住蜘蛛與使用者,快速而穩定的回應是基本配備。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved