常有人問我:百度如何判斷偽原創與原創?它喜歡什麼樣的文章?什麼樣的內容容易拿到長尾詞排名?面對這些問題,我常常不知道怎麼回答。如果給一個大方向的答案,比如「重視用戶體驗」「要有意義」,提問的人會覺得我在敷衍,抱怨太模糊;可我也拿出具體內容——畢竟我不是百度,憑什麼替它指點演算法?
於是我開始寫「如果是我」這個系列。在這裡,我假設自己絞盡腦汁要為網民提供更好的搜尋服務,我會怎麼對待文章內容、外鏈、網站結構這些元素。技術有限,我只能寫一點自己稍微理解的東西;百度和其他商業引擎有遠比我優秀的人才,他們的方案必然完善得多。寫這些,無非是拋磚引玉。
需要鄭重聲明:本系列涉及的思想、算法與程式,均非我所原創,全部整理自公開資料。也相信大家能理解,如果免費公開的東西都已經做到這個程度,商業機密就更不必提了。
我會喜歡我的使用者喜歡的文章。硬要給出判定標準,只有兩類:原創且使用者喜歡;非原創但使用者喜歡。我的態度很明確:偽原創就是非原創。
那使用者喜歡什麼?新觀點、新知識永遠受歡迎,也就是說原創通常天然佔優;而且即使使用者一時不喜歡,原創站作為新鮮內容的生產者,也應該獲得一定保護。
但非原創就一定不受歡迎嗎?顯然不是。有些站點的內容經過搜集、整理、聚合之後,對使用者是有價值的,這些文章理應拿到不錯的位置。
所以我只需要重視兩類:原創文章,以及有價值資訊聚合站點下的文章。另外先界定範圍:本文只討論內容頁,不含專題頁、列表頁與首頁。
在甄別之前,得先取得乾淨的內容。spider部分不在此贅述。當程式把網頁抓回來後,內容處理模塊要做的第一件事是除噪。
除噪不只是去掉程式碼,還要去掉非正文的文字:導航條、頁腳、側邊的文章列表等。清乾淨之後,剩下的才是純正文。寫過採集規則的人都知道這不難,但搜尋引擎是通用程式,不可能為每個站寫一套規則,所以必須建立通用的降噪算法。

上圖中,內容1是使用者的核心需求,內容2是可能感興趣的延伸,其餘都是噪音。由此可以歸納幾個特徵:
1、所有調用列表通常集中在一個資訊塊裡,這個塊絕大部分由標籤組成;即使有游離於標籤外的文字,內容也基本固定,且在站內大量重複,判斷難度不高。
2、內容2一般緊鄰內容1,且其錨文本與內容1存在相關性。
3、內容1由文字與標籤混合構成,通常情況下,這些文字在整站範圍內具有唯一性。
我採用廣為人知的標籤樹方式來分解內容頁。從標籤佈局看,網頁是由若干資訊塊組成的,而這些塊又由特定標籤界定,常見的有div、ul、li、p、table、tr、td等。依這些標籤把網頁拆解成樹狀結構。

上圖是我手繪的簡易標籤樹。透過這種方式,可以輕鬆識別各個資訊塊。接著設定一個內容比重閾值A,定義為資訊塊內文字字數與標籤數量的比值。當某資訊塊的比值大於A時,才列入有效內容塊——這樣做也是為了杜絕過量的站內連結,因為一篇文章塞滿內鏈對體驗並無好處。然後比對塊內文字,當其具有唯一性時,這些內容塊的集合就是我要的「內容1」。
先說內容2的意義。如果是一個注重體驗的聚合型網站,它的價值在於把現有網路內容精心分類與關聯,讓使用者讀得更有效率。針對這類站點,即便文章不是原創而是摘錄彙整,我也會給予足夠的重視與排名,因為良好的聚合確實更能滿足需求。
判斷方法很直接:良好的聚合站,內容頁必然存在內容2,且內容2佔有重要比重。
識別上,凡是內容比重低於特定值的資訊塊,一律判為連結模塊。接著透過某些方式(後半段再講)從內容1提取主題B,把連結模塊中所有a標籤的錨文本分詞;若全部錨文本都與主題B相符,就把該模塊判定為內容2。再設定連結閾值C,計算方式為內容2中的標籤出現次數除以所有連結模塊的a標籤總數;若結果大於C,則該站可能屬於聚合網站,在內容排名計算時會套用聚合站點專屬的演算法。
很多SEO剛入行時就聽過幾件事:內容頁的導出連結要有相關性;頁面下方要有相關閱讀來引導縱深點擊;內鏈要適中,不可過量。
但很少有人解釋為什麼。加上早期部分演算法對內容的重視不足,這些細節就在不知不覺中被忽略了。若換一個角度推演,道理其實很清楚:絕大多數搜尋結果的第一頁只有十個位置,扣掉自家產品,真正開放競爭的往往只剩七個左右。在這樣稀缺的位置裡,能不能進入,取決於內容的相關性與聚合價值——這也正是上述種種細節存在的原因。