本文分享一段以 Node.js 撰寫的爬蟲範例,示範如何抓取網頁並解析出結構化資料,供大家參考。
var http=require('http'); var cheerio=require('cheerio');//頁面獲取到的數據模塊 var url='https://www.jcpeixun.com/lesson/1512/'; function filterData(html){ /*所要獲取到的目標數組 var courseData=[{ chapterTitle:"", videosData:{ videoTitle:title, videoId:id, videoPrice:price } }] */ var $=cheerio.load(html); var courseData=[]; var chapters=$(".list-collapse"); chapters.each(function(item){ var chapterTitle=$(this).find(".collapse-head").find("label").text(); var videos=$(this).find(".listview5").children("li"); var chaptersData={ chaptersTitle:chapterTitle, videosData:[] } videos.each(function(item){ var videoTitle=$(this).find(".ml10").attr('data-lesson-name'); var videoId=$(this).find(".ml10").attr('data-lesson-id'); var vadeoPrice=$(this).find(".colblue").text(); chaptersData.videosData.push({ title:videoTitle, id:videoId, price:vadeoPrice }) }) courseData.push(chaptersData) }) return courseData } function printCourseInfo(courseData){ courseData.forEach(function(item){ console.log(item.chaptersTitle+'\n'); item.videosData.forEach(function(item){ console.log(item.title+'【'+item.id+'】'+item.price+'\n') }) }) } http.get(url,function(res){ html=""; res.on("data",function(data){ html+=data }) res.on('end',function(){ var courseData=filterData(html); printCourseInfo(courseData) }) })
這段程式碼的運作流程很直觀:先用 http.get 抓取目標網頁,把回應的資料流 (`data` 事件) 一段段拼接成完整的 html;等 `end` 事件觸發後,再交給 filterData 解析。解析環節靠的是 cheerio——它讓你能像寫 jQuery 一樣用選擇器操作伺服器端的 html,逐一取出章節標題、影片名稱、id 與價格,最後 printCourseInfo 把整理好的結果印出來。
執行結果如下圖:

以上就是 Node.js 爬蟲抓取資料的相關程式碼,希望對你的學習有所幫助。