本文分享一個以JavaScript的Ajax搭配正規表達式,非同步擷取優酷影片專輯所有影片及其資訊的實作案例。相較於在伺服器端以VB.NET執行爬取(會產生大量網路連線與正則比對,消耗可觀),改用客戶端腳本在效能上更具優勢。
由於過去沒有系統性學習JavaScript與正規表達式,作者花費了比預期更長的時間。最終應用於影片採集提交場景,因此選擇以Ajax搭配正則表達式來完成目標。整體思路是:從專輯網址解析出listid,再依序請求每一頁的播放頁,從中擷取videoId與標題,直到遇到重複的videoId便停止。
<html>
<head>
<title>JavaScript AJAX & 正則表達式 test</title>
<script type="text/javascript" language="javascript">
function wrt(s){
subret.value = s + "\n" + subret.value;
}
var objRequest; //定義一個XML請求物件
var previd = "",nowid =0,listid = "",iscancel=false; //其他變數
function getlid(){
var listid = weburl.value.match(/playlist_show\/.*(?=id_(\d+)).*\.html$/i);
if(!listid){
return null;
} else {
return listid[1];
}
}
function retweb(){
if(objRequest.readyState == 4 && objRequest.status == 200){
var webstr = objRequest.responseText;
vid = webstr.match(/var\s+videoId\s*=\s*"(\d+)"\s*;/)[1];
vtitle = webstr.match(/<title>(.+) - (.+) - 視頻 - 優酷視頻 - 在線觀看( - )?<\/title>/)[2];
wrt(nowid + ":" + vtitle + "=" + vid);
if(previd == vid) return;
previd = vid;
nowid += 1;
if(iscancel) return;
tstart();
} else {
return;
}
}
function getweb(u){
objRequest = new XMLHttpRequest();
objRequest.onreadystatechange = retweb; //非同步回呼方法
objRequest.open("GET",u,true);
objRequest.send(null);
}
function tstart(){
if(listid==""){
listid=getlid();
}
url = "https://v.youku.com/v_playlist/f" + listid + "o1p" + nowid + ".html";
getweb(url);
}
</script>
</head>
<body>
<input type="text" id="weburl" value="https://www.youku.com/playlist_show/id_2350764.html" style="width:640" /><br />
<textarea id="subret" readonly="readonly" style="width:640; height:360;"></textarea>
<br/>
<input type=button value="開始提取專輯" onclick="if(iscancel)iscancel=false;tstart();" />
<input type=button value="清除文本" onclick="subret.value='';nowid =0;previd='';listid='';" />
<input type=button value="暫停" onclick="iscancel=true;" />
</body>
</html>
相較於以VB.NET抓取(單頁約需1秒),這段依賴客戶端腳本的程式每頁抓取僅約0.3至0.5秒,實際速度視使用者電腦配置而定。
此範例在IE7測試通過,但由於程式碼較為隨意,相容性並非最佳。若需實際使用,建議自行調整以符合目標網站的結構與瀏覽器環境。