朋友開了網店,看著後台琳瑯滿目的商品分類,於是想研究一下這些分類資料是怎麼載入的。本文記錄了如何用一段嵌在瀏覽器控制台的 JavaScript,把三層商品分類完整爬下來,簡單又實用。
觀察後可以發現,商品分類的載入完全是透過 AJAX 異步完成的。由於需要登入後台,為了省去處理身分驗證的麻煩,最簡單的做法就是直接登入後台、打開瀏覽器開發者工具的控制台,把程式碼貼上去執行。這樣一來,所有分類資料就會被收集到 CAT.data 這個結構裡。
整個流程分為三個步驟:先抓取一級分類,再逐一抓取二級分類,最後針對每個二級分類深入抓取三級分類。資料結構為「分類 → 子分類陣列」的多層巢狀形式:
var CAT = {
// [{id:'', name:'', data:[{id:'', name:'', data:[{id:'', name:''}]}, ...]}, ...]
data: [],
url: function () {
return 'https://upload.taobao.com/auction/json/reload_cats.htm?t=' + Math.random();
},
init: function () {
var url = CAT.url(), post_data = 'path=all';
CAT.ajax(url, post_data, CAT.first_r);
},
first_r: function (data) {
var rs = data[0]['data'], first_l, first_d, i, j, second_id, second_d, func;
for (i = 0; i < rs.length; i++) {
// 保存一級分類
first_d = rs[i]['data'];
first_l = [];
for (j = 0; j < first_d.length; j++) {
// 保存二級分類同時查詢三級分類,並提供存儲數據的容器
second_id = first_d[j]['sid'];
second_d = {
'id': first_d[j]['sid'],
'name': first_d[j]['name'],
'spell': first_d[j]['spell'],
'data': []
};
first_l.push(second_d);
func = CAT.second_r(second_d['data']);
CAT.ajax(CAT.url(), 'path=next&sid=' + second_id, func);
}
CAT.data.push({
'id': rs[i]['id'],
'name': rs[i]['name'],
'data': first_l
});
}
},
second_r: function (container) {
return function (data) {
if (data.length < 1) { return; }
var rs = data[0]['data'], i, j, here, third_d;
for (i = 0; i < rs.length; i++) {
third_d = rs[i]['data'];
for (j = 0; j < third_d.length; j++) {
here = third_d[j];
container.push({
'id': here['sid'],
'name': here['name'],
'spell': here['spell']
});
}
}
};
},
ajax: function (url, post_data, func) {
var xhr = new XMLHttpRequest(), result;
xhr.open('POST', url, true);
xhr.setRequestHeader("Content-type", "application/x-www-form-urlencoded");
xhr.send(post_data);
xhr.onreadystatechange = function () {
if (xhr.readyState == 4 && xhr.status == 200) {
result = JSON.parse(xhr.responseText);
func(result);
} else if (xhr.readyState == 4 && (!xhr.status == 200)) {
console.log('Ajax Return Error!');
}
};
}
};
CAT.init();
執行完成後,打開主控台印出 CAT.data,就能看到完整的三層分類樹了。這是一個很好的練習,能幫助你理解 AJAX 異步請求與巢狀資料結構的組織方式。