談到網站SEO問題時,藝龍SEO負責人劉明表示:很多SEOER只看整體數據來判斷網站是否有問題,而站點真正該做的,是每週出具一份詳細、科學的「體檢報告」,這樣才能最早從眾多細節指標上發現隱患。
本文意義之一:很多站長對自己網站的健康狀況毫無頭緒。
在百度舉辦的活動上,不少站長會向工作人員提出一些根本無法回答的問題:收錄掉了怎麼辦?抓取掉了怎麼辦?流量掉了怎麼辦?排名掉了怎麼辦?收錄不及時怎麼辦?這些問題太籠統了,即使把百度所有後台數據完全開放,也無法解答。提問的人,多半連網站的基本結構都沒清晰認識。那什麼才是好問題?耐心看完就有答案了。
本文意義之二:產品改版,會對SEO造成毀滅性打擊。
SEO最嚴重的問題,往往不是SEO問題,而是產品或技術問題。有些大型網站每次大改版都這樣:一、換一套URL結構;二、由於數據不兼容,舊結構無法301到新版;三、即使數據兼容,也忘了做301。我曾問一個產品經理,這個產品的URL換過幾套結構,對方說3到4套,可我從web.archive.org上查,至少8套,平均每年換一套。稍微懂點搜索引擎常識的人都能意識到,這種站是典型的「no zuo no die」。
本文意義之三:在長期迭代開發中,SEO需求可能被逐步改錯。
在產品、技術和測試的思維裡,往往沒有URL的清晰定義,只要頁面能訪問、內容對就合格了。以下幾種URL都被認為沒問題,更別提其他SEO規範了。也就是說,事實上除了SEO,沒人關心這些,每個開發環節都可能遺漏或搞錯:
1、https://www.a.com/product(category)/
2、https://www.a.com/product.html/
3、https://www.a.com/product/?channel=123&category=abc&brand=def&tracking=other_website
曾經有個產品,谷歌收錄量達3000萬,百度2000萬,流量也很可觀。後來精力轉到別的產品上,一個月後流量略有下滑,我以為是季節因素沒在意;又過兩個月,流量大幅下降。仔細排查後,我發現一個驚人的變化:原本收錄的地址是 https://www.a.com/product/item100.html,卻在沒被告知的情況下,被技術同事加了一個301跳轉,指向 https://www.a.com/search/?product=a&item=100,而 /search/ 目錄在robots.txt裡是Disallow的。隨後兩週內,收錄量最低跌到約300萬。
我多希望能有個系統自動幫我梳理這些問題,讓我不再天天擔心SEO需求被誰悄悄改掉了;一旦有問題,能讓開發測試同事立刻收到警報,讓「擦屁股」的事不再佔用我太多時間。
我的解決方案:內容思維導圖、元信息、頁面單元測試、蜘蛛日誌監控。
基於前面幾點,我的方案是這四項。它們5年前就構思好了並小規模試用,但因複雜度和開發成本較高,踩過不少坑,直到最近兩年才逐步啟用。這套方案絕不適用於小公司,請廣大SEO從業者慎重決策。
· 內容思維導圖。
從產品角度看,網站由各類功能組成,有合理流程關係、符合用戶體驗,但可能不符合搜索引擎體驗:

而從SEO角度看,網站結構由各類用戶搜索需求組成,同樣有合理的層級關係:

不同網站會有截然不同的思維導圖,因為它取決於技術架構。所以建議SEO從業者深入了解網站技術架構後再來繪製。最起码,你要保證自己能回答這幾個問題:1、網站有哪些內容節點;2、哪些命中了用戶需求;3、哪些毫無檢索意義;4、缺少哪些節點;5、該如何部署層級關係。思維導圖絕非一勞永逸,每當產品上線新結構或下線舊結構,都要及時更新;每當發現新的用戶搜索習慣,也應更新並同步給產品同事。
· 元信息。
這裡說的不是單一標簽,而是一切SEO相關、有規律(最好能用正則表達)、可量化的信息,包括標題、關鍵詞、描述、h1等等。從SEO角度看,URL应当符合「思維導圖」的層次:
首頁:www.example.com/
首頁-頻道1:www.example.com/channel/
首頁-頻道1-維度1:www.example.com/channel/abc/
首頁-頻道1-維度1-維度2:www.example.com/channel/abc/xyz/
首頁-頻道1-詳情頁:www.example.com/channel/item12345/
而從產品、開發、測試角度看,URL可能是無序的,下一版改成別的樣子也「沒問題」。如果沒有清晰的規則定義,幾乎無法知道現在的網站還是不是你優化過的那個樣子。根據內容思維導圖,我們就能得到一張清晰的元信息表格。

· 頁面單元測試。
「單元測試」借用了研發術語,本是測試某個函數或類的,我用它來測試SEO的具體細節定義,工具則基於「Rspec」二次開發。這個模塊分production和testing兩個環境運行。production環境的測試叫「回歸測試」,目的是保證已上線的SEO需求依然穩穩在位,一旦報警要及時修復;testing環境則供研發做類似TDD(測試驅動開發)之用,它既包含production的回歸測試,也包含新的需求,可當作需求文檔——只要研發把測試全跑通,就說明需求完成了。需求上線後,把測試合併到production一起回歸,就圓滿了。測試內容可涵蓋:元信息中的所有細節、已知鏈接的錨文本、站內URL、站外URL、面包屑、alt、響應時間、頁面尺寸等等。
· 蜘蛛日誌監控。
有了「元信息」的定義,做蜘蛛日誌監控便易如反掌。以下是我親身經歷的一些現象:1、全站85%的訪問response code都是301;2、蜘蛛抓取量的50%都在抓異步請求(ajax、iframe)的URL;3、某些類別頁面平均響應時間超過10秒/次;4、response code為200的訪問中,60%的請求都不是SEO需要的URL。

針對本文開頭的那些問題,比較靠譜的提問方式應該是:「我的某某結構頁面每天抓取量多少,其中response 200的有多少,平均響應時間多少,主要內容與SEO元素都正常、無作弊行為,但這個結構最近抓取掉了、收錄掉了。」其實能問出這種問題的人,基本也不用再問了——大多數問題只要足夠細化,就已經迎刃而解。