隨著網路持續發展,愈來愈多新手站長投入其中。多數人並不具備建站技術背景,於是常遇到同一個狀況:搜尋引擎只收錄了網址,標題與描述卻一片空白。
蜘蛛是透過連結爬到網站的,這是事實。但為什麼結果只剩一個網址?主要有三個原因。
網站上線之前,最好先在本地檢查標題、描述、關鍵詞標籤是否正確,特別是使用開源程式的站長。在本地確認無誤後再上傳伺服器。
我自己就遇過這種情況:上傳幾分鐘後用 site 指令查詢已被收錄,但站長工具查不到——原因是站長工具的資料並非即時同步。
我接觸過的站長中,高達八成在網站上線前沒有設定好標籤。那麼很可能檔案一上傳,蜘蛛就已經來爬過了。此時頁面已進入索引資料庫,只是尚未顯示;你事後再補標題與描述,對網站已經造成一點影響。等下次蜘蛛來訪,發現內容不同,可能暫停收錄,好一點的情況是只放出網址。這類狀態通常不會長期維持只有網址的樣子,但確實會影響新站被收錄的速度。
新手剛起步時常帶著試水溫的心態,不願投入太多,於是選用免費空間或不穩定的主機。
有一次做客戶網站,域名與空間都是客戶自己採購的。安裝時我就覺得速度偏慢,當時沒太在意,三天後接到電話問為什麼只收錄網址。
我立刻檢查程式是否出錯或被掛馬,沒有發現任何問題;打開日誌一看,竟然完全沒有蜘蛛爬行的記錄。無奈之下把網站遷到自己的伺服器,百度當天刪除網址,第四天收錄恢復正常,Google 第二天就恢復了。這種情況不換空間就很難解決,只是碰到的機率不高。
多數站長建站時會先把程式上傳,用 robots 對網址下禁止協定,這其實是正確做法,但有些情況下禁止不起作用。
原因是外部連結。只要有任何一條連結指向網站的任一頁面,它就會被收錄。此時禁止的只是內容本身,網址仍會持續被收錄,而且快照會天天更新。百度站長平台已明確說明:有外鏈指向的網站,或檔案不在根目錄時,禁止協定不會生效;Google 雖未明說,也有類似情況。
如果沒有外部連結,用 robots 禁止收錄再進行整站調整,是非常方便的做法,也是各類站長常用的方式。但網站準備上線、要開放的時候,卻常忘了修正協定,或路徑寫錯。檔案裡若寫著 Disallow: /,網站自然不會被正常收錄。如果已經開始發外鏈,那結果就只能是收錄網址。
若你確認協定寫法都正確,那請檢查後台的隱私設定,看是否禁止了搜尋引擎訪問。