更新內容、吸引蜘蛛,目的就是讓它來抓取。而在抓取的同時,蜘蛛帶有一層過濾機制:內容質量太差,會被抓取器當成一個「通道」——只是路過,不存內容。
有些人看日誌會疑惑:返回碼明明是 200,為什麼總是不收錄?也許只是還沒放出來,但也許,你真的被當成了一個通道。
頁面會被放進資料庫進行一系列計算,排序之後,根據使用者的查詢返回對應結果。
一個常見的操作失誤是:新站上線時內容還沒補齊、設置還沒調好,於是先用 robots 屏蔽蜘蛛,等準備好再放開。
理論上說得通,實務上不要這樣做。蜘蛛的抓取節奏有自己的規律,你在它來訪時把它擋在門外,它可能真的會很長一段時間不再回來。等你發現蜘蛛不來了,急著發外部連結、改 robots,往往也救不回那個節奏。
上線之前就把站點調試好。如果實在需要保密,不要綁定正式域名,用臨時地址訪問和內部測試。磨刀不誤砍柴工,穩中求勝,比搶那幾天時間划算得多。