論壇裡常見這類提問:「我已經提交 Sitemaps,為什麼 Google 還不收錄我的網頁?」潛臺詞是——只要在 Sitemap 裡提交了,就該被收錄。
這是相當荒唐的理解。從最基本的層面看,Sitemaps 只是 Google 提供給網站管理員的一個工具。它可以說是重要且有效的工具,但作用僅止於輔助索引與收錄的過程;真正決定 Google 會不會收錄的,是它對網站的信任度,以及網站是否具備良好的可索引架構。
所以千萬不要把 Google Sitemaps 理解成「後門」。它能幫助 Google 及時發現新內容、提高爬行與索引效率,但和「一定會被收錄」之間沒有必然關係。
舉例說,如果 Google 對某個網站的信任指數偏低,那它對該站爬行索引的廣度與深度都有很大限制,Spider 不會在站內充分索引。提交 Sitemaps 改變不了這個由演算法決定的選擇機制——即使 Google 從 Sitemap 拿到了新頁面的 URL,它同樣不會去索引那些頁面。
就算網頁有良好的導航架構,就算網站獲得了較高的信任指數,也不能保證 Sitemap 裡的 URL 都會被收錄。
另一個關鍵因素是:網站/網頁是否對 Spider 友善。不要指望 Spider 有「啃硬骨頭」的革命精神,它反而有「知難而退」的習慣。對於 Sitemap 中它難以辨識或根本無法辨識的 URL,它是真的沒興趣。包含在 Frameset 中的 URL 對 Spider 極難閱讀,JavaScript 裡的 URL 則根本看不到。因此建設者該換位思考,從 Spider 的視角設計網頁,避免在連結中使用這些元素。
很多人生成 Sitemap 時生怕漏東西,結果檔案龐大得驚人,網頁 URL、圖片、Flash 全部塞進去。事實上,這對 Google 的索引與收錄、對最終的 SEO 效果都沒有太大實際意義,反而白白浪費頻寬、增加伺服器負擔。
這不是說 Sitemap 裡不能放圖片。若你希望在圖片搜尋中受益,加入圖片或許有幫助——老實說我對此存疑,但因缺乏明確證據不敢斷言。比較起來,為圖片設定恰當的 alt 標籤、使用中英文語意清晰的檔名,效果要有效得多。反观一些人的 Sitemap,圖片 URL 還在用「1234567.gif」這類檔名,這恐怕不是好選擇。
至於把被 robots.txt 排除的頁面,或使用 meta NOINDEX 的頁面 URL 放進 Sitemap,就更沒有意義了。
Sitemap 只是在一定程度上提高頁面被收錄、索引的效率,從這個角度看,對整體 SEO 效果當然有所助益。但它與頁面最終在搜尋結果中的排名沒有直接關聯,這是兩套雖有交集但交叉部分很少的機制。硬要強辯的話,站內收錄量增加會帶動交叉連結的權值,進而影響排名,倒也能說得通——只是影響多大就很難說了。
所謂 Sandbox,反映的是 Google 對新站信任度不足,其中時間因素是一項重要考量。要盡快走出沙盒,只能靠權威的相關連結與高品質的內容,Sitemaps 在這件事上無能為力。
原本想寫五項就收手,但誤解優先度(Priority)的情況實在太普遍——常見到有人把所有 URL 都設成高優先度,誇張的甚至全部填 1。
先釐清兩件事。第一,Sitemap 中的優先度只是相對於同一網站內的其他 URL 而言的,比較 A 站 Priority=0.1 的頁面與 B 站 Priority=1 的頁面誰更優先,毫無意義。第二,優先度只是告訴 Google:建設者認為站內哪個頁面更重要。當同一站內有多個待索引頁面時,Robots 才會依優先度差異「聽從建議」先抓高優先度的頁面。而對搜尋結果排序時,Google 有自己的主見,不會被建設者左右。
所以優先度的意義僅在於幫助重要頁面盡可能被收錄、或更早被收錄。它與 PageRank 無關,當然也與最終排名無關。