新站排名突然消失又出現,是網路新手與老手都深感頭痛的一類現象,也就是所謂的「Google 幽靈現象」。一般情況下,把網站遞交上線後,在每月固定更新之前,你會發現它出現在索引裡,有時甚至能獲得很高的排名;但可怕的是,幾天或一週後,網站又會突然消失。其實,這種現象並不難理解。
Google 有兩種網路爬蟲:主爬蟲與新爬蟲。主爬蟲主要負責發現新網頁,一個網頁在新索引建立後,很快會被主爬蟲發現;若建立索引需時約一個月,網頁就可能暫時失效。
新索引的建立還需考量其他非詢問式的決定因素,這些因素關係著排名高低。為了充分利用網頁、又不浪費時間等下一次索引演算法更新,Google 必須先做一些簡單的猜測,試著研判排名、以及訪客難以利用的新內容是什麼。
儘管 Google 在「猜測」,以下兩點仍真實可信:其一,幽靈登陸頁上的排名,不能等同於索引頁的排名;其二,在每月新資料庫建立前,幽靈登陸頁必須被暫時移走。
若你的索引中有這樣的登陸頁,主要目標應是讓它在 Google 新頁上擁有排名。要做到這點,需定期、有規律、最好每天、以固定間隔更新網站內容。為何想在新頁上排名?因為在新頁上有排名的網站更容易被抓取、索引更容易更新;但新頁排名並非真正的排名,具有很強的不穩定性,需經一段時間才能轉化為真正排名。
五天前,我上傳了一個新的小網站。這次我沒有像以往那樣把它與其他網站建立連結,而是透過提交網址的方式加入 Google,靜待它被發現。三天後,用主要關鍵詞搜尋,這個網站竟排進前十名,記錄顯示有 130 位訪客造訪。然而一天之後,網站消失了——不僅掉出前十名,甚至掉出整個 Google 目錄。網站本身毫無問題,沒有作弊、沒有隱藏連結、沒有內容複製、沒有關鍵詞堆砌,就這樣默默消失。仔細思量,排名消失的原因或許在於缺少導入連結,也許因為有一個彈出視窗……有無數個「也許」在等著我。
當 Google 搜尋蜘蛛抓取一個新網頁後,它在被主目錄收錄前,必須滿足兩個條件:一是該網頁被主目錄搜尋蜘蛛抓取;二是在抓取之後須經過一段更新時間。只有兩者皆滿足,新網頁上的排名才有可能轉化為真正排名。
Google 有兩種抓取形式:主抓取與新抓取。一個新網頁通常先被「新抓取」蜘蛛抓取,但也有特例——在每月更新剛完成的短暫期間,網頁通常會被「主抓取」蜘蛛抓取。每月更新一般在 20 號到 28 號之間,可持續數天。為區分兩者,可參考兩組 IP:「主抓取」為 216.239.46.*,「新抓取」為 64.68.82.*。
假設該網頁首先被「新抓取」蜘蛛抓取。在兩次月更新之間,新抓取蜘蛛會持續抓取新網頁;在主抓取期間,透過連結也能被抓取。儘管這個網頁尚未經此次更新、也未收錄進主目錄,但抓取之後,蜘蛛開始衡量其內容與質量,並把它收錄進搜尋結果——這次衡量極不穩定,易受外界影響、經常變化。
當每月定期更新來臨,這些網頁會產生波動,也就是所謂的「Google 波動」。但由於「主抓取」蜘蛛還沒讀過這個網頁,它仍未加入主索引,因此每月更新結束後,它仍被視為新網頁。不久後「主抓取」蜘蛛會閱讀它,再下個月更新之後,頁面才被收錄進主索引。在此之前,Google 不顯示任何導入連結,排名也因此多變、不穩定。
總結來說:若一個新網頁先被「新抓取」蜘蛛抓取,再被「主抓取」蜘蛛抓取,它需要經過兩次月更新,也就是約兩個月才能進入主索引,之後才可能獲得穩定排名。這期間它在搜尋結果中出現或消失,都是正常的。另一種情況是,若新網頁首先被「主抓取」蜘蛛抓取(通常發生在一月下旬),那麼它只需等一個月就能進入主索引。
網站設計者與擁有者若不了解 Google 抓取新網頁的過程,工作將難以開展:排名可能一路飆升、名列前十令人欣喜,也可能陡然狂降、甩到兩百名外令人沮喪。掌握 Google 抓取新網頁的規律,才能有的放矢、不再迷茫。