如果你的網站還在測試階段,那麼最好具備一點「特工式的保密精神」,讓它盡量繞開搜索引擎的爬蟲。因為一旦被提前收錄,你會相當懊惱:每次搜索自家站點,總會跳出那些你不願看見的無效頁面——標滿「test」的測試文、打不開的死鏈、毫不相關的內容。要知道,搜索引擎並非全能,在它眼裡網頁文字意義都差不多,區別只在關鍵詞。
據百科記載,上世纪80年代初,一家頗受歡迎的個人電腦廠商奧斯本,因為太早宣布要推出更高檔的新機、卻遲遲無法交貨,消費者紛紛停止下單等待,最終導致公司收入枯竭而破產。
企業網站的提交頁,或多或少也存在這種效應。建站者總盼著早點看到搜索效果,於是在站點還不完善時就急著提交,結果後期搜索結果出現一堆意料之外的亂象,網站原有的魅力也就打了折扣。
對搜索引擎而言,每個頁面都是文本與鏈接的記錄。爬蟲一旦找到你的網站,就會生成對應的記錄文檔,而此時你想呈現的、不想呈現的頁面都可能被一一記錄(除非用Robots文件屏蔽全部或部分目錄)。記錄一旦確認,爬蟲便會認定站點的內容與鏈接規模;下次再訪時,若因為測試文刪除等人為原因找不到相關鏈接,就可能造成收錄減少甚至中斷訪問。
所以,提交網址前,務必對網站的信息結構做最終確認,確認無誤再提交。
由於算法特殊,很難判斷搜索引擎會優先收錄哪些頁面,因此要在建站初期做足準備:
其一,處理好測試頁。與其直接刪除,不如在原有鏈接上覆蓋新內容,避免留下無效頁;其二,做好鏈接檢測,尤其是搜索著陸頁的鏈接,一旦失效要及時修復;其三,檢查站外鏈接的目標頁是否有效,否則蜘蛛從外鏈爬來卻打不開,外鏈的價值也就蕩然無存。
我們無法得知收錄規則的全部,也無法預知爬蟲何時到來,但至少可以在前期就規劃好:它來的時候,會收錄哪些內容。