做 SEO 的人幾乎都繞不開伺服器日誌。蜘蛛來了幾次、抓了哪些路徑、回傳什麼狀態碼、耗掉多少頻寬,答案全躺在 log 檔案裡。問題是日誌動輒幾十萬、幾百萬行,用記事本打開只會讓電腦當機。真正順手的工具,是 shell。
Windows 使用者想用 shell,得先裝一套 Cygwin(Git Bash、WSL 也是不錯的替代方案)。裝好之後,虛擬終端機裡的指令跟 Linux 幾乎一致,後面所有範例都能直接跑。想把某個指令的用法弄懂,查 man 說明或丟到搜尋引擎,會比硬背參數表有效得多。
語法:awk -F '分隔符' '{action}' 檔案
舉個例子,要算出 baiduspider 抓走的檔案總大小:
awk '{print $10}' baidu.log | awk 'BEGIN{total=0}{total+=$1}END{print total}'
cat log.log | grep -i 'baiduspider' > baidu.log
只針對特定蜘蛛做分析,檔案小、速度快,效率自然高。
awk '{print $9}' baidu.log | sort | uniq -c | sort -nr
一眼看出 200、301、404、503 各佔多少,抓取品質好不好立刻見分曉。
wc -l baidu.log
awk '{print $7}' baidu.log | sort | uniq | wc -l
awk '{print $10}' baidu.log | awk 'BEGIN{a=0}{a+=$1}END{print a/NR/1024}'
awk '$7~/\.com\/$/' baidu.log | wc -l
grep '/news/' baidu.log | wc -l
awk '{print $7}' baidu.log | sort | uniq -c | sort -nr | head -10
awk '$9~ /^404$/ {print $7}' baidu.log | sort | uniq | sort -nr
awk '$7~ /\.js$/ {print $7}' baidu.log | sort | uniq -c | sort -nr
通常會發現次數少得可憐,這也說明了為什麼把關鍵內容藏在 JS 裡風險有多高。
把這十條玩熟,你已經有能力自己設計維度了:換成不同蜘蛛、不同時段、不同目錄、不同回傳碼,交叉出來的報表遠不只 SEO 用得上。更複雜的統計當然需要更深的 shell 功底,但入門的門檻真的不高。