DIV CSS 佈局教程網

用JavaScript與Ajax非同步爬取優酷專輯的所有影片資訊
編輯:AJAX基礎知識     

本文分享一個以JavaScript的Ajax搭配正規表達式,非同步擷取優酷影片專輯所有影片及其資訊的實作案例。相較於在伺服器端以VB.NET執行爬取(會產生大量網路連線與正則比對,消耗可觀),改用客戶端腳本在效能上更具優勢。

設計思路

由於過去沒有系統性學習JavaScript與正規表達式,作者花費了比預期更長的時間。最終應用於影片採集提交場景,因此選擇以Ajax搭配正則表達式來完成目標。整體思路是:從專輯網址解析出listid,再依序請求每一頁的播放頁,從中擷取videoId與標題,直到遇到重複的videoId便停止。

完整程式碼

<html>
<head>
<title>JavaScript AJAX & 正則表達式 test</title>
<script type="text/javascript" language="javascript">
function wrt(s){
  subret.value = s + "\n" + subret.value;
}
var objRequest; //定義一個XML請求物件
var previd = "",nowid =0,listid = "",iscancel=false; //其他變數
function getlid(){
  var listid = weburl.value.match(/playlist_show\/.*(?=id_(\d+)).*\.html$/i);
  if(!listid){
    return null;
  } else {
    return listid[1];
  }
}
function retweb(){
  if(objRequest.readyState == 4 && objRequest.status == 200){
    var webstr = objRequest.responseText;
    vid = webstr.match(/var\s+videoId\s*=\s*"(\d+)"\s*;/)[1];
    vtitle = webstr.match(/<title>(.+) - (.+) - 視頻 - 優酷視頻 - 在線觀看( - )?<\/title>/)[2];
    wrt(nowid + ":" + vtitle + "=" + vid);
    if(previd == vid) return;
    previd = vid;
    nowid += 1;
    if(iscancel) return;
    tstart();
  } else {
    return;
  }
}
function getweb(u){
  objRequest = new XMLHttpRequest();
  objRequest.onreadystatechange = retweb; //非同步回呼方法
  objRequest.open("GET",u,true);
  objRequest.send(null);
}
function tstart(){
  if(listid==""){
    listid=getlid();
  }
  url = "https://v.youku.com/v_playlist/f" + listid + "o1p" + nowid + ".html";
  getweb(url);
}
</script>
</head>
<body>
<input type="text" id="weburl" value="https://www.youku.com/playlist_show/id_2350764.html" style="width:640" /><br />
<textarea id="subret" readonly="readonly" style="width:640; height:360;"></textarea>
<br/>
<input type=button value="開始提取專輯" onclick="if(iscancel)iscancel=false;tstart();" />
<input type=button value="清除文本" onclick="subret.value='';nowid =0;previd='';listid='';" />
<input type=button value="暫停" onclick="iscancel=true;" />
</body>
</html>

效能比較

相較於以VB.NET抓取(單頁約需1秒),這段依賴客戶端腳本的程式每頁抓取僅約0.3至0.5秒,實際速度視使用者電腦配置而定。

此範例在IE7測試通過,但由於程式碼較為隨意,相容性並非最佳。若需實際使用,建議自行調整以符合目標網站的結構與瀏覽器環境。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved