很多新手站長都是自學成才,沒經過系統訓練,遇到問題上論壇發帖,帖子下面的回復往往只有幾個字,問的人還是雲裡霧裡。最基礎的操作之一——通過網站日誌查看蜘蛛來訪——就有不少人不知道去哪看、怎麼看。前兩天論壇裡又出現類似提問,乾脆以自己的站點為例完整走一遍流程,供各位參考。有說錯的地方歡迎指正。
第一步:登錄 FTP
打開 FTP 客戶端(我用的是 FlashFXP),連上網站空間。

登錄後你會在根目錄下看到一個名為 wwwlogs 的文件夾。不同伺服器生成的目錄名稱不一致,有的叫 weblog,判斷方法很簡單:檔名裡帶 log 字樣的通常就是日誌目錄。
第二步:找到並下載日誌檔
打開 wwwlogs,裡面是一批以日期為檔名特徵、以 .gz 結尾的壓縮檔,這些就是我們要下載到本地的日誌。

第三步:解壓並打開
下載到桌面後解壓,得到的是純文字檔。打開後會看到下面這樣的記錄,我下載的是 3 月 7 日那份。


第四步:讀懂每一欄
上圖中:1 是百度蜘蛛的 IP 位址;
2 是蜘蛛到訪的日期時間(2012 年 3 月 6 日 1 時 21 分 22 秒)。注意 3 月 7 日這份日誌記錄的其實是從 3 月 6 日凌晨到 3 月 7 日 1 時 11 分 39 秒之間的多次拜訪;
3 是百度蜘蛛 baiduspider 的標識;
4 是被訪問的網頁位址;
5 是搜狗蜘蛛的到訪記錄,同樣能看到時間與被訪頁面。
如果只是粗略查看,在記事本裡直接搜索 baiduspider 即可;若想精確統計,建議借助專業的日誌分析工具。重點是找出哪個時段蜘蛛來得最頻繁,然後把內容更新安排在這個時間點,收錄效率通常會明顯提高。
通過分析蜘蛛記錄,你能對站點的整體狀態有清晰判斷,不必再為「百度不放出內頁」或「遲遲不收錄」而無從下手。只要蜘蛛來訪規律正常,基本可以確認搜索引擎對你的站點抱有善意,堅持更新,收錄會逐步改善。
補充一點:部分共享 IP 空間不提供日誌功能,獨立 IP 虛擬主機一般都支持每日日誌下載。實在沒有日誌的空間,可以考慮用蜘蛛爬行類外掛工具做替代分析。