長尾詞靠手工一個個挖,效率太低。以百度為例,可以用「相關搜索」作為節點,做一層層的遞歸抓取,最終收攏出一份關鍵詞表。
1、搜索主關鍵詞,解析相關搜索鏈接,存入網址庫,標記為未抓取。
2、讀取標記為未抓取的網址,抓取後再次解析相關搜索,同樣存入庫中並保持未抓取狀態。
3、重複第2步直到達到指定深度。熱門詞一般六層左右基本能覆蓋完,普通詞四層就夠;理論上可以無限深入,但待抓數據量呈級數增長,且越深相關性越差,沒有必要。
4、人工複核。把明顯無關的詞剔掉,留下真正可用的。目前搜索引擎的語義理解還不足以完全替代這一步。
走完這四步,一份相對完整的長尾詞表就出來了。我自己因為還想研究不同層次詞之間的關係,所以額外保存了搜索結果頁面、記錄了父子關係,也沒有過濾跨層重複的詞——這些對單純找長尾詞來說並非必需。
下面這份PHP腳本是我自用的版本,僅作為一種實現參考。要跑起來需要根據自己的環境調整,前提是懂PHP和SQL。關鍵環節(相關詞的解析與提取)已經調得比較穩,可以放心改。
其中mykeyword.dat存放主關鍵詞,每行一個;$depth為抓取深度,默認5層,對普通關鍵詞足夠。
抓取結果存入PostgreSQL,默認UTF-8編碼,可按實際需要修改。表結構如下:
-- Table: mykeywords -- DROP TABLE mykeywords; CREATE TABLE mykeywords (id serial NOT NULL, father text, "content" text, sons text, depth text, keyname text, remark text, is_spidered boolean, CONSTRAINT mykeywords_pkey PRIMARY KEY (id) ) WITH (OIDS=FALSE); ALTER TABLE mykeywords OWNER TO postgres;
father記錄父關鍵詞,sons記錄子詞,depth標記層級,is_spidered用來區分是否已抓取。把這幾個字段用起來,後續做詞的分組、聚類和內容規劃都會方便很多。