DIV CSS 佈局教程網

您现在的位置: DIV+CSS佈局教程網 >> 網頁SEO優化 >  >> SEO相關 >> 關於SEO
用 Shell 指令玩轉 SEO 日誌分析
編輯:關於SEO     

做 SEO 的人幾乎都繞不開伺服器日誌。蜘蛛來了幾次、抓了哪些路徑、回傳什麼狀態碼、耗掉多少頻寬,答案全躺在 log 檔案裡。問題是日誌動輒幾十萬、幾百萬行,用記事本打開只會讓電腦當機。真正順手的工具,是 shell。

先把環境準備好

Windows 使用者想用 shell,得先裝一套 Cygwin(Git Bash、WSL 也是不錯的替代方案)。裝好之後,虛擬終端機裡的指令跟 Linux 幾乎一致,後面所有範例都能直接跑。想把某個指令的用法弄懂,查 man 說明或丟到搜尋引擎,會比硬背參數表有效得多。

常用指令速查

看檔案

  • less *.log:分頁瀏覽檔案內容,按 q 離開。
  • cat 1.log 2.log:把多個檔案串起來輸出,也支援 cat *.log 這種萬用字元寫法。
  • head -100 log.log:只看前 100 行。
  • tail -10 log.log:只看最後 10 行,追最新請求特別好用。

找內容

  • grep -i:忽略大小寫比對。
  • grep -v:反選,印出不符合條件的行。
  • grep -c:只回傳符合條件的行數。
  • egrep:grep 的延伸版,正規表達式支援更完整,要寫 regex 時優先用它。

排序、計數與去重

  • wc -l 統計行數;-c 看位元組數;-m 看字元數。
  • sort -n 以數字排序;sort -r 反向排序。
  • uniq -c 去除重複行並標出出現次數。特別注意:uniq 只處理「相鄰」的重複,所以前面一定要先接 sort。

切檔與串接

  • split -100 log.log:每 100 行切一個檔;split -C 25m log.log 則是每 25 MB 切一個檔,處理超大日誌時很實用。
  • | 是管線,把前一條指令的輸出餵給後一條指令。
  • > 是覆寫寫入(等同 Python 的 w 模式),>> 是附加寫入(等同 a 模式)。

awk:日誌分析的瑞士刀

語法:awk -F '分隔符' '{action}' 檔案

  • -F 指定欄位分隔符。網站日誌預設以空格分欄,通常不用特別設定。
  • pattern 是 action 的執行條件,可以寫成正規表達式。
  • $n 代表第 n 欄,$0 是整行;NF 是目前這筆資料的欄位數,$NF 就是最後一欄。
  • BEGIN 與 END 分別在讀檔前、讀檔後執行,拿來做初始化與收尾統計很方便。

舉個例子,要算出 baiduspider 抓走的檔案總大小:

awk '{print $10}' baidu.log | awk 'BEGIN{total=0}{total+=$1}END{print total}'

幾個順手會用到的雜項指令

  • bash shell.sh:執行腳本。
  • nslookup 某個 IP:反查對方是否真的來自搜尋引擎蜘蛛,別讓偽裝的爬蟲騙了你。
  • dos2unix *.sh:把 Windows 的 \r\n 換行轉成 Linux 的 \n。這一步不能偷懶,否則在 Windows 寫好的腳本丟到 Linux 執行會直接報錯;反向操作是 unix2dos。
  • rm xx.txt:刪除檔案。

實戰:拆解百度抓取資料

1. 先把蜘蛛的紀錄切出來

cat log.log | grep -i 'baiduspider' > baidu.log

只針對特定蜘蛛做分析,檔案小、速度快,效率自然高。

2. 各狀態碼的筆數分佈

awk '{print $9}' baidu.log | sort | uniq -c | sort -nr

一眼看出 200、301、404、503 各佔多少,抓取品質好不好立刻見分曉。

3. 總抓取量

wc -l baidu.log

4. 不重複抓取量

awk '{print $7}' baidu.log | sort | uniq | wc -l

5. 平均每次抓取回傳的資料量(KB)

awk '{print $10}' baidu.log | awk 'BEGIN{a=0}{a+=$1}END{print a/NR/1024}'

6. 首頁抓取次數

awk '$7~/\.com\/$/' baidu.log | wc -l

7. 特定目錄的抓取量

grep '/news/' baidu.log | wc -l

8. 被爬最多的十個頁面

awk '{print $7}' baidu.log | sort | uniq -c | sort -nr | head -10

9. 抓到的 404 頁面

awk '$9~ /^404$/ {print $7}' baidu.log | sort | uniq | sort -nr

10. JS 檔案的抓取情況

awk '$7~ /\.js$/ {print $7}' baidu.log | sort | uniq -c | sort -nr

通常會發現次數少得可憐,這也說明了為什麼把關鍵內容藏在 JS 裡風險有多高。

把這十條玩熟,你已經有能力自己設計維度了:換成不同蜘蛛、不同時段、不同目錄、不同回傳碼,交叉出來的報表遠不只 SEO 用得上。更複雜的統計當然需要更深的 shell 功底,但入門的門檻真的不高。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved