今天的互聯網上堆滿了龐雜的信息,重複內容不可避免。那麼搜索引擎爬蟲是怎麼區分這些內容、判斷誰才是原創的?搞懂這套機制,對我們做高質量內容站有實際幫助。先看一張示意圖:

從圖中可以看到,判斷過程大致分為四步。
當爬蟲發現新內容時,會立刻與此前已收錄的內容做比對,確認其原創性。
這一階段會先放棄一批頁面:來自鏈接農場的、為廣告聯盟量身定做的 MFA 站點(Made For AdSense),以及已被列入黑名單的 IP 所屬頁面。
接著分析每個頁面的入站鏈接,判斷這些鏈接的質量與來源。
最後回顧此前收錄的頁面及相關鏈接,決定哪一個頁面才是絕對意義上的原創。
這四步解決的是站點與站點、域名與域名之間的歸屬判定。但站內自身存在的大量重複內容該怎麼規避?這其實是另一個值得單獨展開的話題,有機會再細聊。
(轉載自網站推廣博客 www.1860z.com)