本文提供兩段可直接貼進瀏覽器使用的去重程式碼,搭配一個線上文字去重的小工具。
線上文字去重工具
這種寫法把已出現過的值記在 hash 物件裡,用屬性查找取代陣列遍歷,速度明顯較快;同時為物件型別的元素掛上一個隨機產生的暫時 key 來標記,處理完再清掉,避免污染傳入資料。
<textarea id="list" class="toolarea"> www.jb51.net www.baidu.com www.jb51.net shouce.jb51.net www.jb51.net tools.jb51.net www.baidu.com shouce.jb51.net tools.jb51.net www.jb51.net</textarea> <input type="button" onclick="process()" value="去重處理" class="bt-green"> <script type="text/javascript"> function unique(ary) { var i = 0, gid='_'+(+new Date)+Math.random(), objs = [], hash = { 'string': {}, 'boolean': {}, 'number': {} }, p, l = ary.length, ret = []; for (; i < l; i++) { p = ary[i]; if (p == null) continue; tp = typeof p; if (tp in hash) { if (!(p in hash[tp])) { hash[tp][p] = 1; ret.push(p); } } else { if (p[gid]) continue; p[gid]=1; objs.push(p); ret.push(p); } } //清除暫時掛上的標記屬性 for(i=0,l=objs.length;i<l;i++) { p=objs[i]; p[gid]=undefined; delete p[gid]; } return ret; } function process(){ list = document.getElementById('list'); arr = list.value.split('\n'); arr = unique(arr); list.value = ""; for(key in arr){ list.value += arr[key] + '\n'; } alert("處理完成!"); } </script>
這段程式把 hash 分成 string、boolean、number 三個子表,是為了避開型別混淆的問題——物件屬性名稱一律會被轉成字串,若不做分流,數字 1 與字串 "1" 就會被誤判為重複。
寫法更直白,用一個新陣列暫存結果,逐項比對是否已存在:
function sx(){ var rntArray=[],temp,hasValue; var array=document.getElementById("neirong").value.split("\n"); for(var i in array){ temp=array[i]; hasValue=false; for(var j in rntArray){ if(temp===rntArray[j]){ hasValue=true; break; } } if(hasValue===false){ rntArray.push(temp); } } document.getElementById("neirong1").value=rntArray.join("\n"); }
兩者取捨很清楚:第二種好懂、沒有副作用,但資料量大時是 O(n²) 的巢狀迴圈;第一種靠 hash 把時間成本壓下來,代價是多用了記憶體,也就是典型的空間換時間。資料量小就用第二種,成千上萬筆以上再考慮第一種。