DIV CSS 佈局教程網

用 Python 抓取 Ajax 動態資料:以淘寶評論為例
編輯:AJAX基礎知識     

動態資料為何需要不同爬取方式

有些網站的內容不是直接寫在 HTML,而是透過 Ajax 在背景請求 JSON。若只用傳統解析 HTML 的方式,往往拿不到完整資料,必須先找到實際的資料介面。

步驟一:找出 Ajax 請求網址

以 Chrome 開發者工具為例,開啟 Network,操作頁面觸發資料載入,例如點擊評論或翻頁,就能觀察到新的請求。找到回傳 JSON 的那一筆,複製其 Request URL。

步驟二:取得回應內容

使用 Python 的 requests 可直接請求該網址。若回應是 JSONP,可能會包一層 callback 函式,此時需先用正則表達式取出括號內的 JSON 字串,再交給 json 模組解析。

步驟三:解析並保存

解析後可依欄位路徑取出評論內容,例如從 rateDetail 與 rateList 中遍歷 appendComment。若需要長期保存,可寫入 CSV、資料庫或 JSON 檔。

注意事項

此類做法依賴頁面結構與介面參數,網站改版後常需重新調整。此外,爬取時應遵守網站條款、頻率限制與相關法規,避免造成對方服務負擔。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved