這幾天榮文被一個案子折騰得半死。外鏈加了不少,排名卻遲遲不動,一直在第二頁游來游去,好的時候勉強摸到第一頁,差的時候又掉回第二頁。我本來以為是人工詞,後來發現不是——排在首頁的那些,都是各站的内頁。這個案子早就該上了,起因是同事疏忽,把「汗蒸館」做成了「汗蒸房」。現在的問題是快照不更新,標題裡全是「汗蒸房」的詞,搜「汗蒸館」排不上去,其實理所當然。
排名上不了首頁,禍根在快照
在百度裡搜「汗蒸館」你會發現,前幾名網站的標題幾乎都以「汗蒸館」開頭。細心的朋友大概也注意到了:百度會把「汗蒸館」拆成「汗蒸」和「汗蒸館」兩個詞。我這個案子排在第二頁,靠的就是「汗蒸」這部分在起作用。外鏈我一直是以「汗蒸館」這個詞組在做的,數量也比其他站多。想擠進首頁,最直接的辦法就是刷新快照。
首頁不被抓取,蜘蛛只帶走了robots.txt
榮文在 IIS 日誌裡看到了 baiduspider 的蹤影,但每看一次就失望一次。本以為蜘蛛來了總會帶走點什麼,結果它帶走的只有 robots.txt。如下:
2010-07-05 22:00:34 W3SVC559 210.52.223.69 GET /robots.txt - 80 - 220.181.7.47 Baiduspider
這個狀況持續了兩週多。不論百度大更新還是小更新,它都是抓完 robots.txt 就走。一開始我把 robots.txt 直接刪掉,蜘蛛得到 404 提示,但這樣並不好,它同樣沒有繼續往下爬,這條路不可行。
做百度站點地圖,要麼不做,要做就做好
我的處理方式是把 robots.txt 裡的 sitemap 參數去掉,因為我這個站的 sitemap 實在太難看。大家可以去看看大站的網站地圖:結構清楚、層次分明。而小站長通常不會這麼用心,隨便找個在線生成工具就交差。這種方式生成 xml 版還勉強能用,html 版就差得多。原因有三:
其一,生成的全是 table 佈局,不利於蜘蛛爬行。
其二,仔細看還混著廣告,這個不多說。
其三,像我接的這些案子,多數是 asp 版程式,或許當初設計時偷了懶,好幾個欄目共用同一個頁面,於是大量頁面的標題都一模一樣。這樣的 sitemap,別說蜘蛛,你自己看了也不舒服吧。
本文是由北京新也裝修公司站長首發,轉載請務必保留出處:電子圍欄 https://www.bjyttc.com/
感謝 意思網 的投稿