用于重复数据删除行的工作表脚本:意外行为

Question

我有一个脚本，将数据从一个工作表发布到另一个工作表，然后对数据进行重复数据删除。重复数据删除脚本似乎只对部分数据进行重复数据删除。例如，第 2-13 行保持重复，而第 35 行之后的行被重复数据删除。顶部的行是从插入脚本中发布的。

如何使脚本：

a( 对全部数据进行重复数据删除。
b( 删除从插入脚本中发布的新重复行，而不是已经存在的行。

我尝试设置要检查的工作表的全部范围，但这似乎会干扰新数据的发布。这是我设法找到/开发的最简单的脚本。

function Run(){
  insert();
  dedupe();
}
function insert() {
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var source = ss.getSheetByName('Candidate Refresh'); // change here
  var des = ss.getSheetByName('Candidate Listing'); // change here
  var sv = source
    .getDataRange()
    .getValues();
  sv.shift();
  des.insertRowsAfter(1, sv.length);
  des.getRange(2, 1, sv.length, source.getLastColumn()).setValues(sv);
}
function dedupe() {
var sheet = SpreadsheetApp.getActive().getSheetByName('Candidate Listing');
var data = sheet.getDataRange().getValues();
var newData = new Array();
for(i in data){
var row = data[i];
var duplicate = false;
for(j in newData){
  if(row.join() == newData[j].join()){
    duplicate = true;
  }
}
if(!duplicate){
  newData.push(row);
}
}
sheet.clearContents();
sheet.getRange(1, 1, newData.length, 
newData[0].length).setValues(newData);
}

我希望发布新数据，检查

所有数据是否存在重复项，如果发现脚本发布的新数据重复，则删除脚本发布的新数据。

Answer 1

所以我认为我的原始帖子从重复数据消除的角度来看确实有效，但我也需要它只查看一个值，所以我找到了下面的脚本来这样做，效果更好。

function removeDuplicates() {
 var sheet = SpreadsheetApp.getActiveSheet();
 var rows = sheet.getLastRow();
 var firstColumn = sheet.getRange(1, 2, rows, 1).getValues();
 firstColumn = firstColumn.map(function (e) {return e[0]})
 for (var i = rows; i >0; i--) {
   if (firstColumn.indexOf(firstColumn[i-1]) != i-1) {
    sheet.deleteRow(i);
        }
   }
}