DIV CSS 佈局教程網

用 Node.js 抓取電商後台的商品分類結構
編輯:JavaScript綜合知識     

朋友開了網店,看著後台琳瑯滿目的商品分類,於是想研究一下這些分類資料是怎麼載入的。本文記錄了如何用一段嵌在瀏覽器控制台的 JavaScript,把三層商品分類完整爬下來,簡單又實用。

思路說明

觀察後可以發現,商品分類的載入完全是透過 AJAX 異步完成的。由於需要登入後台,為了省去處理身分驗證的麻煩,最簡單的做法就是直接登入後台、打開瀏覽器開發者工具的控制台,把程式碼貼上去執行。這樣一來,所有分類資料就會被收集到 CAT.data 這個結構裡。

完整程式碼

整個流程分為三個步驟:先抓取一級分類,再逐一抓取二級分類,最後針對每個二級分類深入抓取三級分類。資料結構為「分類 → 子分類陣列」的多層巢狀形式:

var CAT = {
  // [{id:'', name:'', data:[{id:'', name:'', data:[{id:'', name:''}]}, ...]}, ...]
  data: [],
  url: function () {
    return 'https://upload.taobao.com/auction/json/reload_cats.htm?t=' + Math.random();
  },
  init: function () {
    var url = CAT.url(), post_data = 'path=all';
    CAT.ajax(url, post_data, CAT.first_r);
  },
  first_r: function (data) {
    var rs = data[0]['data'], first_l, first_d, i, j, second_id, second_d, func;
    for (i = 0; i < rs.length; i++) {
      // 保存一級分類
      first_d = rs[i]['data'];
      first_l = [];
      for (j = 0; j < first_d.length; j++) {
        // 保存二級分類同時查詢三級分類,並提供存儲數據的容器
        second_id = first_d[j]['sid'];
        second_d = {
          'id': first_d[j]['sid'],
          'name': first_d[j]['name'],
          'spell': first_d[j]['spell'],
          'data': []
        };
        first_l.push(second_d);
        func = CAT.second_r(second_d['data']);
        CAT.ajax(CAT.url(), 'path=next&sid=' + second_id, func);
      }
      CAT.data.push({
        'id': rs[i]['id'],
        'name': rs[i]['name'],
        'data': first_l
      });
    }
  },
  second_r: function (container) {
    return function (data) {
      if (data.length < 1) { return; }
      var rs = data[0]['data'], i, j, here, third_d;
      for (i = 0; i < rs.length; i++) {
        third_d = rs[i]['data'];
        for (j = 0; j < third_d.length; j++) {
          here = third_d[j];
          container.push({
            'id': here['sid'],
            'name': here['name'],
            'spell': here['spell']
          });
        }
      }
    };
  },
  ajax: function (url, post_data, func) {
    var xhr = new XMLHttpRequest(), result;
    xhr.open('POST', url, true);
    xhr.setRequestHeader("Content-type", "application/x-www-form-urlencoded");
    xhr.send(post_data);
    xhr.onreadystatechange = function () {
      if (xhr.readyState == 4 && xhr.status == 200) {
        result = JSON.parse(xhr.responseText);
        func(result);
      } else if (xhr.readyState == 4 && (!xhr.status == 200)) {
        console.log('Ajax Return Error!');
      }
    };
  }
};
CAT.init();

執行完成後,打開主控台印出 CAT.data,就能看到完整的三層分類樹了。這是一個很好的練習,能幫助你理解 AJAX 異步請求與巢狀資料結構的組織方式。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved