記住,蜘蛛的「抓取」是一個依「邏輯順序」執行的過程,它並非人工智能,不會用人類的判斷邏輯去理解相關性。蜘蛛程序本身(相對而言)並不複雜。明白這一點,再來談談我對「相關性」的理解和建設心得,不到之處還請指正。
假設你的網頁是全新的,剛提交不久,蜘蛛通過「抓取索引」或其他鏈接爬了過來。
首先,蜘蛛通過各種鏈路到達頁面。對它而言,新頁面的特徵是從代碼head部分的title標籤裡讀取的。
假設蜘蛛抓到的title是「動漫論壇-新動漫-動漫新主張」,它會先以title中的文字作為「關鍵詞」參考,再到代碼中尋找相關詞。可以放心,蜘蛛能識別JS代碼與頁面標籤,並比較看重正文及div塊中標題(即h1-h4一系列)的關鍵詞——這也解釋了為什麼h1-h4中的內容,權重往往高於普通body文本。接著,蜘蛛會把title中、在正文裡重複出現次數最多的詞,定為「參考關鍵詞」(重複次數有上限,由搜索引擎設定)。
然後,蜘蛛會依據「參考關鍵詞」做「關鍵詞擴展」,結合搜索引擎既有的相關詞數據與title關鍵詞進行分析對比,綜合確定大體的關鍵詞,作為下一步抓取的參考。
接下來,蜘蛛會統計所有關鍵詞在代碼中出現的數量作為基數,再計算body標籤中「關鍵詞」的數量作為分子,兩者相除,得出該頁面的關鍵詞密度。密度得出後,搜索引擎會依據一個(人為設計、並定期調整的)標準來判斷等級——最合理、一般、最差各對應不同區間,且這個標準會隨一段時期的數據而不斷微調。
密度判斷之後,進入本頁的關鍵詞差別對比:以title關鍵詞為基礎,結合擴展關鍵詞作參考,對比body中抓取到的每個詞的具體差異。差別不大的被歸為長尾關鍵詞,差別大的則被捨棄。如此一來,頁面的長尾詞與搜索關鍵詞便確定了下來。
當「密度」與「關鍵詞差別」這兩項結果出爐後,會經過一個加權計算公式(同樣由引擎設定並定期調整),得出頁面「相關性」的得分,從而判斷頁面內容與關鍵詞的關聯水平。頁面關鍵詞與內容的相關性,就是這樣得出的。
單向鏈接:當A頁鏈向B頁時,A頁上這條鏈接的錨文字,必須與B頁要優化的關鍵詞相關或相近。蜘蛛的判斷方法與前文一致,只是起始的「關鍵詞」參考,變成了這條鏈接的錨文字。