原本用 VB.NET 在伺服器端做采集,但 .NET 環境下每次抓取產生的網路連線與正則比對消耗都不小,而最終應用場景是影片采集的提交環節,於是便改用 JavaScript 的 AJAX 加正則表達式來完成,把運算負擔移到用戶端。
以前沒有系統學過 JS 與正則,實際花的時間比預期長,折騰了一個晚上才有下面的成果。
<!--
夜聞香原創,轉載請保留此資訊,萬分感謝!
部落格: https://clso.cnblogs.com
-->
<html>
<head>
<title>JavaScript AJAX & 正則表達式 test</title>
<script type="text/javascript" language="javascript">
function wrt(s){
subret.value = s + "\n" + subret.value;
}
var objRequest; // 定義一個 XML 請求物件
var previd = "", nowid = 0, listid = "", iscancel = false;
// 從播放清單網址中取出 listid
function getlid(){
var listid = weburl.value.match(/playlist_show\/.*(?=id_(\d+)).*\.html$/i);
if (!listid) {
return null;
} else {
return listid[1];
}
}
// 異步回呼:解析頁面並啟動下一輪
function retweb(){
if (objRequest.readyState == 4 && objRequest.status == 200) {
var webstr = objRequest.responseText;
vid = webstr.match(/var\s+videoId\s*=\s*"(\d+)"\s*;/)[1];
vtitle = webstr.match(/<title>(.+) - (.+) - 視頻 - 優酷視頻 - 在線觀看( - )?<\/title>/)[2];
wrt(nowid + ":" + vtitle + "=" + vid);
if (previd == vid) return; // 連續兩次抓到同一支,代表已到清單結尾
previd = vid;
nowid += 1;
if (iscancel) return; // 使用者按下暫停
tstart(); // 啟動新循環
} else {
return;
}
}
function getweb(u){
objRequest = new XMLHttpRequest(); // 舊 IE 需改用 ActiveXObject("Msxml2.XMLHTTP")
objRequest.onreadystatechange = retweb; // 異步回呼
objRequest.open("GET", u, true);
objRequest.send(null);
}
function tstart(){
if (listid == "") {
listid = getlid();
}
url = "https://v.youku.com/v_playlist/f" + listid + "o1p" + nowid + ".html";
getweb(url);
}
</script>
</head>
<body>
<input type="text" id="weburl" value="https://www.youku.com/playlist_show/id_2350764.html" style="width:640" /><br />
<textarea id="subret" readonly="readonly" style="width:640; height:360;"></textarea>
<br/>
<input type="button" value="開始提取專輯" onclick="if(iscancel) iscancel = false; tstart();" />
<input type="button" value="清除文本" onclick="subret.value=''; nowid=0; previd=''; listid='';" />
<input type="button" value="暫停" onclick="iscancel = true;" />
</body>
</html>
整體思路和伺服器端版本一樣,只是把請求改由瀏覽器發出,逐頁抓下來再用正則取出 videoId 與標題。效能上差異明顯:VB.NET 抓一個頁面的時間約一秒,這個版本每頁約 0.3 到 0.5 秒,實際速度仍取決於用戶電腦配置與網路狀況。
程式中有兩個值得說明的設計:一是用 previd == vid 作為終止條件,因為清單頁抓到最後會不斷重複同一支影片,這比猜測總頁數可靠;二是 iscancel 這個旗標,暫停並不會中斷當前請求,而是在回呼裡判斷後停止啟動下一輪,避免留下游離的連線。
實測在 IE7 下通過,但程式碼寫得比較隨意,相容性不夠嚴謹,需要的話請自行調整。另外要補充兩點現實考量:這種做法是跨網域抓取其實依賴對方未設定的同源政策寬鬆行為,瀏覽器日趨嚴格後已難以直接執行;更重要的是,在未取得授權的情況下大量采集他人網站內容可能違反服務條款,實作前請先確認使用範圍。