對站長而言,最關鍵的莫過於搜尋引擎能夠正常收錄——一旦不被收錄,一切都是癡人說夢。為什麼會出現收錄困難?因為搜尋引擎機器人本質上是一個簡單的程序,對站點並無理解能力,只能依據一些固有標準來判斷好壞。一旦站點在寫法上出了差錯,機器人就無法完成采集。以下六個常見原因值得逐一排查。
原因一:網站尚未建好就上線(如死鏈很多)。這點很容易被忽視。上線之前,哪怕把那些沒用的死鏈全部去掉,也不能因為「好看」而保留它們。
原因二:robots.txt 文件已損壞或書寫時出錯(例如出現錯別字)。如果機器人錯誤理解了你的 robots.txt,可能會完全無視你的網頁。解決辦法是仔細檢查該文件,確保其中參數正確無誤。
原因三:網址中包含太多變數。URL 變數過多會造成機器人搜索困難,甚至忽略你的網頁。這在動態網頁(如ASP、PHP生成)中尤為常見,解決辦法是使用靜態頁面。
原因四:網址中使用了會話ID(Session ID)。許多搜尋引擎不收錄含會話ID的網頁,因為它們會導致內容重復。若可能的話,避免會話ID出現在網址中,改用其他方式存儲會話信息。
原因五:網頁中包含太多代碼。若頁面充斥Java代碼、CSS及其他腳本,這些代碼與內容並無直接關聯。你可以查看頁面源文件,如果自己都很難從中找出實際內容,那麼搜尋引擎收錄起來自然也倍感吃力。
原因六:網站導航問題。大多數搜尋引擎機器人無法解析Java或DHTML菜單,對Flash與Ajax菜單的支持更差。機器人遵循的是HTML鏈接,一旦鏈接出錯,收錄也會隨之受阻。