搜尋引擎會收錄符合使用者搜尋體驗的網站與網頁。若想加快被發現的速度,可以主動提交首頁網址——只需提交首頁,不必逐頁提交。要强调的是,收錄機制只與網頁價值有關,與付費排名等商業因素沒有任何關聯。
搜尋引擎嚴格遵循 Robots 協定。你可以撰寫 robots.txt 來限制全站或特定目錄不被抓取。若網站是在被收錄之後才設定,檔案通常在兩週內生效,被限制的內容會從搜尋結果中移除。若需求急迫,也可以透過站長信箱請求處理。
蜘蛛是透過頁與頁之間的連結來抓取的,而連結除了站內頁面之外,還包括不同網站之間的互相連結。所以即使站內沒有入口,只要別人的網站連過來,這些頁面還是會被抓到。
至於權限問題:蜘蛛的訪問權限與普通使用者相同,一般使用者看不到的內容,蜘蛛也看不到。之所以看起來有受限內容被收錄,通常是兩個原因——一是抓取當時並沒有權限限制,之後權限才變更;二是網站存在安全漏洞,使人能透過特殊路徑直接訪問,而一旦這條路徑暴露在網路上,蜘蛛就會沿著它抓走受限內容。若不希望這些內容被收錄,可以用 Robots 協定限制,或聯繫站長信箱處理。
搜尋引擎並不承諾所有網頁都能被搜到。若網頁長期搜不到或突然消失,可能原因包括:伺服器不穩定導致暫時被移除,穩定後會恢復;內容不符合當地法律法規;內容不符合使用者搜尋體驗;或其他技術性問題。
以下說法都是錯誤且毫無根據的:沒續繳廣告費就會消失、投放了其他引擎的廣告就會消失、與該公司旗下網站競爭就會消失、帶來的流量太大就會消失。
只收錄被認為有價值的網頁,去留變化都是機器演算法計算的結果。明確不受歡迎的類型有三種:一是針對搜尋引擎而非使用者做處理,使搜尋結果看到的內容與實際頁面完全不同,或取得不恰當的排名,讓使用者產生被欺騙感——這類頁面較多時,會影響整站的收錄與排序;二是從網路上高度重複複製的內容;三是違反當地法律法規的內容。
凡做出完整修正的網站,都有機會被重新收錄,系統會定期對被處理站點自動評估,符合條件者會恢復。需要說明的是,技術與產品團隊只對使用者搜尋體驗負責——「成為廣告客戶就能恢復」「付錢就能恢復」「認識裡面的人就能恢復」,這些說法都是錯誤且毫無根據的。
搜尋引擎會定期自動更新所有網頁,包括移除死連結、更新域名變化與內容變化。耐心等一段時間,站上的改變就會被察覺並修正。