從這篇開始,我不打算再花大量篇幅講程式語言本身的知識,那些書上都有。真正需要熟悉的是內建函式與幾個模組的用法,尤其pycurl、re、threading這幾個,得慢慢上手。閱讀中有不清楚的地方可以在評論提問,有空我會盡量回答。
稍大一點的網站,往往有大量關鍵詞需要按週期監控排名,用來評估SEO成效,也用來判斷百度與Google的動向。
關鍵在於資料收集是否全自動。常用Google Analytics的人應該有感:分析需求是五花八門的,只有事先具備完整的多維度數據,才能隨時按當下的想法做分析,而不會被資料匱乏綁住。GA之所以好用,正是因為它把這些數據自動收集起來了。同理,想讓分析更自由,就要記錄盡量多種類的歷史數據;但若靠人工每日記錄,工時會長到不可行——這就是自動化的價值。
現有的排名監控方案主要是商業軟體Rank Tracker,但它有幾個不理想之處。一是功能不夠靈活,這幾乎是所有既有軟體的通病;二是它必須在有圖形介面的系統上運行(雖是Java實作、跨平台,但仍不一定是Windows環境)。
自製的Python腳本則可以丟進Linux的crontab,全自動定時收集原始數據,需要時再用另一支腳本做各維度分析。所需環境很簡單:一台低規格的Linux VPS,加上不超過一百行的Python程式碼。Windows也能做,只是相對麻煩。
1. 能記就多記。除非數據量大到會壓垮硬碟(例如每日數Gの日誌分析),否則把想到的指標盡量都記錄下來。分析需求多變,資料齊全才能有備無患。
2. 歷史數據務必保留。除非量級極大,否則不要刪舊數據。真的太大時,也要按實際情況分層保存——例如前三年每月存一份,當年每週存一份。歷史對比在很多時候意義重大。
3. 依複雜度選儲存方式。數據單一就用txt按行存;簡單就用csv按行列存;較複雜可考慮MongoDB這類key-value型NoSQL;再複雜就用MySQL之類的關聯式資料庫。這些不是鐵則,仍要看實際情況。
回到目前的需求:監控關鍵詞排名趨勢,通常幾千個詞就夠了。網站再大、想了解數十萬詞的排名,也不必全查——掌握趨勢只需隨機抽樣其中一小部分。
幾千個詞的量級,每天記錄一次排名即可(在穩定的前提下,單一IP每天查Google五千多個詞、百度數萬個詞都沒問題)。而每筆資料主要就是關鍵詞、排名、著陸頁URL這三項,檔案很小,所以每天存一份。
儲存格式建議用csv,它在數據組織方式上和Excel(xls)幾乎一致,後續處理方便。
需要兩個條件:Linux環境,以及安裝Python的第三方模組pycurl。
Python下載網頁最簡單的寫法是:
import urllib2
print urllib2.urlopen('https://***.com/').read()
但urllib2功能雖堪用,與pycurl仍有明顯差距;操作稍複雜時,pycurl寫起來方便得多。它是必須熟練掌握的模組之一,只是上手門檻讓人頭疼,因此我封裝了一個簡易模組:
from pycurl import *
import StringIO, time, random
def curl(url, retry=False, delay=1, **kwargs):
'''基本用法:curl('https://www.xxx.com/') 即可下載該網址。
若將 retry 設為 True,網路錯誤時會自動重試。
delay 設定每次重試之間的間隔秒數。
**kwargs 可傳入 curl 參數,例如:
curl(url, FOLLOWLOCATION=False, USERAGENT='Firefox')
'''
useragent_list = [
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)',
'Opera/9.20 (Windows NT 6.0; U; en)',
'Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 5.1; .NET CLR 1.1.4322)',
'Opera/9.00 (Windows NT 5.1; U; en)',
有了這層封裝,後續抓取搜尋結果頁、解析排名與著陸頁URL的程式碼就能寫得很短,整體維持在百行上下。