Java堂  


7月 23, 2006

SQL Server中删除重复数据最快的方法

归档在: Database — Jet @ 11:34 下午
Tags: ,
原文出处: http://www.javatang.com/archives/2006/07/23/342351.html
作者: Jet Mah from Java堂
声明: 可以非商业性任意转载, 转载时请务必以超链接形式标明文章原始出处、作者信息及此声明！

由于种种原因，在数据库中出现了我们不希望出现的重复数据，当对这些重复的数据进行删除的时候有许多种方法。我发现在网上流行的一种方法是利用临时表的方法，SQL脚本如下：

  1. select distinct * into #Tmp from tableName
  2. drop table tableName 
  3. select * into tableName from #Tmp
  4. drop table #Tmp

该方法首先使用select distinct命令将不重复的列表数据写入到临时表#Tmp中，然后删除原来的表，再将临时表中的数据写入到tableName中，最后删除临时表。
但是这种方法执行效率是一个方面，另外如果数据库中有text类型的字段的话将不能执行，非常的有局限性。

下面提供一个通用的方法并且执行效率也是非常不错的，脚本如下：

  1. declare @max int,@rowname varchar(400) 
  2. declare cur_rows cursor local for 
  3.     select repeatedrow,count(*) from tableName  group by repeatedrow having count(*) > 1 
  4.  
  5. open cur_rows 
  6. fetch cur_rows into @rowname ,@max 
  7. while @@fetch_status=0 
  8. begin 
  9.     select @max = @max -1 
  10.     set rowcount @max 
  11.     delete from tableName  where repeatedrow = @rowname 
  12.     fetch cur_rows into @rowname ,@max 
  13. end 
  14. close cur_rows 
  15. set rowcount 0

简单说明一下：首先声明了两个变量，一个是记录重复的数量，另外一个是记录重复字段的值，变量的类型以及长度可根据你实际的字段进行定义；接下来声明一个游标，该游标主要是列出重复的数据以及重复的数量；然后打开游标并从中取出数据，其中“select @max = @max -1”这句的意思是保留一条重复数据，剩下的逐一删除；最后关闭游标，搞定。

执行完教本之后可以使用下面的教本检查是否含有重复的数据：

  1. select repeatedrow,count(*) from tableName  group by repeatedrow having count(*) > 1