DIV CSS 佈局教程網

用 AJAX 搭配正則表達式采集優酷專輯的所有影片
編輯:關於JavaScript     

原本用 VB.NET 在伺服器端做采集,但 .NET 環境下每次抓取產生的網路連線與正則比對消耗都不小,而最終應用場景是影片采集的提交環節,於是便改用 JavaScript 的 AJAX 加正則表達式來完成,把運算負擔移到用戶端。

以前沒有系統學過 JS 與正則,實際花的時間比預期長,折騰了一個晚上才有下面的成果。

<!--
夜聞香原創,轉載請保留此資訊,萬分感謝!
部落格: https://clso.cnblogs.com
-->

<html>
<head>
<title>JavaScript AJAX & 正則表達式 test</title>
<script type="text/javascript" language="javascript">
function wrt(s){
    subret.value = s + "\n" + subret.value;
}

var objRequest;   // 定義一個 XML 請求物件
var previd = "", nowid = 0, listid = "", iscancel = false;

// 從播放清單網址中取出 listid
function getlid(){
    var listid = weburl.value.match(/playlist_show\/.*(?=id_(\d+)).*\.html$/i);
    if (!listid) {
        return null;
    } else {
        return listid[1];
    }
}

// 異步回呼:解析頁面並啟動下一輪
function retweb(){
    if (objRequest.readyState == 4 && objRequest.status == 200) {
        var webstr = objRequest.responseText;
        vid   = webstr.match(/var\s+videoId\s*=\s*"(\d+)"\s*;/)[1];
        vtitle = webstr.match(/<title>(.+) - (.+) - 視頻 - 優酷視頻 - 在線觀看( - )?<\/title>/)[2];
        wrt(nowid + ":" + vtitle + "=" + vid);

        if (previd == vid) return;   // 連續兩次抓到同一支,代表已到清單結尾
        previd = vid;
        nowid += 1;

        if (iscancel) return;        // 使用者按下暫停
        tstart();                    // 啟動新循環
    } else {
        return;
    }
}

function getweb(u){
    objRequest = new XMLHttpRequest();   // 舊 IE 需改用 ActiveXObject("Msxml2.XMLHTTP")
    objRequest.onreadystatechange = retweb;  // 異步回呼
    objRequest.open("GET", u, true);
    objRequest.send(null);
}

function tstart(){
    if (listid == "") {
        listid = getlid();
    }
    url = "https://v.youku.com/v_playlist/f" + listid + "o1p" + nowid + ".html";
    getweb(url);
}
</script>
</head>
<body>
<input type="text" id="weburl" value="https://www.youku.com/playlist_show/id_2350764.html" style="width:640" /><br />
<textarea id="subret" readonly="readonly" style="width:640; height:360;"></textarea>
<br/>
<input type="button" value="開始提取專輯" onclick="if(iscancel) iscancel = false; tstart();" />
<input type="button" value="清除文本" onclick="subret.value=''; nowid=0; previd=''; listid='';" />
<input type="button" value="暫停" onclick="iscancel = true;" />
</body>
</html>

整體思路和伺服器端版本一樣,只是把請求改由瀏覽器發出,逐頁抓下來再用正則取出 videoId 與標題。效能上差異明顯:VB.NET 抓一個頁面的時間約一秒,這個版本每頁約 0.3 到 0.5 秒,實際速度仍取決於用戶電腦配置與網路狀況。

程式中有兩個值得說明的設計:一是用 previd == vid 作為終止條件,因為清單頁抓到最後會不斷重複同一支影片,這比猜測總頁數可靠;二是 iscancel 這個旗標,暫停並不會中斷當前請求,而是在回呼裡判斷後停止啟動下一輪,避免留下游離的連線。

實測在 IE7 下通過,但程式碼寫得比較隨意,相容性不夠嚴謹,需要的話請自行調整。另外要補充兩點現實考量:這種做法是跨網域抓取其實依賴對方未設定的同源政策寬鬆行為,瀏覽器日趨嚴格後已難以直接執行;更重要的是,在未取得授權的情況下大量采集他人網站內容可能違反服務條款,實作前請先確認使用範圍。

XML學習教程| jQuery入門知識| AJAX入門| Dreamweaver教程| Fireworks入門知識| SEO技巧| SEO優化集錦|
Copyright © DIV+CSS佈局教程網 All Rights Reserved