SQL删除重复数据
(2009-05-16 12:40:00)
转载
标签：
分类：一路辛酸---C#
sql删除
重复数据
delete
执行效率
it
重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。
一、对于部分字段重复数据的删除
先来谈谈如何查询重复的数据吧。
下面语句可以查询出那些数据是重复的：
select字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1
将上面的>号改为=号就可以查询出没有重复的数据了。
想要删除这些重复的数据，可以使用下面语句进行删除
delete from表名a where 字段1,字段2 in
(select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1)
上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下：
CREATE TABLE临时表AS
(select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1) 上面这句话就是建立了临时表，并将查询到的数据插入其中。
下面就可以进行这样的删除操作了：
delete from 表名a where 字段1,字段2 in (select 字段1，字段2 from 临时表);
这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。
这个时候，大家可能会跳出来说，什么？你叫我们执行这种语句，那不是把所有重复的全都删除吗？而我们想保留重复数据中最新的一条记录啊！大家不要急，下面我就讲一下如何进行这种操作。
在oracle中，有个隐藏了自动rowid，里面给每条记录一个唯一的rowid，我们如果想保留最新的一条记录，我们就可以利用这个字段，保留重复数据中rowid最大的一条记录就可以了。
下面是查询重复数据的一个例子：
select a.rowid,a.* from表名a
where a.rowid !=
(
select max(b.rowid) from 表名b
where a.字段1 = b.字段1 and
a.字段2 =
b.字段2
)
下面我就来讲解一下，上面括号中的语句是查询出重复数据中rowid最大的一条记录。
而外面就是查询出除了rowid最大之外的其他重复的数据了。
由此，我们要删除重复数据，只保留最新的一条数据，就可以这样写了：
delete from 表名a
where a.rowid !=
(
select max(b.rowid) from 表名b
where a.字段1 = b.字段1 and
a.字段2 =
b.字段2
)
随便说一下，上面语句的执行效率是很低的，可以考虑建立临时表，讲需要判断重复的字段、rowid插入临时表中，然后删除的时候在进行比较。
create table 临时表as
select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表a GROUP BY a.字段1,a.字段2;
delete from 表名a
where a.rowid !=
(
select b.dataid from 临时表b
where a.字段1 = b.字段1 and
a.字段2 =
b.字段2
);
commit;
二、对于完全重复记录的删除
对于表中两行记录完全一样的情况，可以用下面语句获取到去掉重复数据后的记录：select distinct * from 表名
可以将查询的记录放到临时表中，然后再将原来的表记录删除，最后将临时表的数据导回原来的表中。如下：
CREATE TABLE 临时表AS (select distinct * from 表名);
drop table 正式表;
insert into 正式表(select * from 临时表);
drop table 临时表;
如果想删除一个表的重复数据，可以先建一个临时表，将去掉重复数据后的数据导入到临时表，然后在从临时表将数据导入正式表中，如下：
INSERT INTO t_table_bak
select distinct * from t_table;
结构大概这样，这只是一个简单的例子，实际情况会复杂得多。 比如我想用一条语句查询得到name不重复的所有数据，那就必须使用distinct去掉多余的重复记录。 select distinct name from table 得到的结果是: name a b c 好像达到效果了，可是，我想要得到的是id值呢？改一下查询语句吧: select distinct name, id from table 结果会是: id name 1 a 2 b 3 c 4 c 5 b distinct怎么没起作用？作用是起了的，不过他同时作用了两个字段 ，也就是必须得id与name都相同的才会被排除。。。。。。。 我们再改改查询语句: select id, distinct name from table 很遗憾，除了错误信息你什么也得不到，distinct必须放在开头。难 到不能把distinct放到where条件里？能，照样报错。。。。。。。 很麻烦吧？确实，费尽心思都没能解决这个问题。没办法，继续找人问。
拉住公司里一JA V A程序员，他给我演示了oracle里使用distinct之后，也没找到mysql里的解决方案，最后下班之前他建议我试试group by。 试了半天，也不行，最后在mysql手册里找到一个用法，用 group_concat(distinct name)配合group by name实现了我所需要的 功能，兴奋，天佑我也，赶快试试。 报错。。。。。。。。。。。。郁闷。。。。。。。连mysql手册也 跟我过不去，先给了我希望，然后又把我推向失望，好狠哪。。。。 再仔细一查，group_concat函数是4.1支持，晕，我4.0的。没办法，升级，升完级一试，成功。。。。。。 终于搞定了，不过这样一来，又必须要求客户也升级了。 突然灵机一闪，既然可以使用group_concat函数，那其它函数能行吗？ 赶紧用count函数一试，成功，我。。。。。。。想哭啊，费了这么 多工夫。。。。。。。。原来就这么简单。。。。。。 现在将完整语句放出: select *, count(distinct name) from table group by name 结果: id name count(distinct name) 1 a 1 2 b 1 3 c 1 最后一项是多余的，不用管就行了，目的达到。。。。。
重复数据删除(De-duplication)技术研究 文章地直址：https://www.doczj.com/doc/1e7219062.html,/liuaigui/article/details/5829083 1、Dedupe概述 De-duplication，即重复数据删除，它是一种目前主流且非常热门的存储技术，可对存储容量进行有效优化。它通过删除数据集中重复的数据，只保留其中一份，从而消除冗余数据。如下图所示。这种技术可以很大程度上减少对物理存储空间的需求，从而满足日益增长的数据存储需求。Dedupe技术可以带许多实际的利益，主要包括以下诸多方面： (1) 满足ROI(投资回报率，Return On Investment)/TCO(总持有成本，Total Cost of Ownership)需求； (2) 可以有效控制数据的急剧增长； (3) 增加有效存储空间，提高存储效率； (4) 节省存储总成本和管理成本； (5) 节省数据传输的网络带宽； (6) 节省空间、电力供应、冷却等运维成本。 Dedupe技术目前大量应用于数据备份与归档系统，因为对数据进行多次备份后，存在大量重复数据，非常适合这种技术。事实上，dedupe技术可以用于很多场合，包括在线数据、近线数据、离线数据存储系统，可以在文件系统、卷管理器、NAS、SAN中实施。Dedupe也可以用于数据容灾、数据传输与同步，作为一种数据压缩技术可用于数据打包。Dedupe技术可以帮助众多应用降低数据存储量，节省网络带宽，提高存储效率、减小备份窗口，节省成本。 Dedupe的衡量维度主要有两个，即重复数据删除率(deduplocation ratios)和性能。Dedupe性能取决于具体实现技术，而重复数据删除率则由数据自身的特征和应用模式所决定，影响因素如下表[2]所示。目前各存储厂商公布的重复数据删除率从20:1到500:1不等。
SQL删除重复数据 (2009-05-16 12:40:00) 转载 标签： 分类：一路辛酸---C# sql删除 重复数据 delete 执行效率 it 重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。 一、对于部分字段重复数据的删除 先来谈谈如何查询重复的数据吧。 下面语句可以查询出那些数据是重复的： select字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1 将上面的>号改为=号就可以查询出没有重复的数据了。 想要删除这些重复的数据，可以使用下面语句进行删除 delete from表名a where 字段1,字段2 in (select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1) 上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下：
CREATE TABLE临时表AS (select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1) 上面这句话就是建立了临时表，并将查询到的数据插入其中。 下面就可以进行这样的删除操作了： delete from 表名a where 字段1,字段2 in (select 字段1，字段2 from 临时表); 这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。 这个时候，大家可能会跳出来说，什么？你叫我们执行这种语句，那不是把所有重复的全都删除吗？而我们想保留重复数据中最新的一条记录啊！大家不要急，下面我就讲一下如何进行这种操作。 在oracle中，有个隐藏了自动rowid，里面给每条记录一个唯一的rowid，我们如果想保留最新的一条记录，我们就可以利用这个字段，保留重复数据中rowid最大的一条记录就可以了。 下面是查询重复数据的一个例子： select a.rowid,a.* from表名a where a.rowid != ( select max(b.rowid) from 表名b where a.字段1 = b.字段1 and a.字段2 = b.字段2 ) 下面我就来讲解一下，上面括号中的语句是查询出重复数据中rowid最大的一条记录。 而外面就是查询出除了rowid最大之外的其他重复的数据了。 由此，我们要删除重复数据，只保留最新的一条数据，就可以这样写了： delete from 表名a where a.rowid !=
SQL中重复数据的查询与删除 ========第一篇========= 在一张表中某个字段下面有重复记录，有很多方法，但是有一个方法，是比较高效的，如下语句： select data_guid from adam_entity_datas a where a.rowid > (select min(b.rowid) from adam_entity_datas b where b.data_guid = a.data_guid) 如果表中有大量数据，但是重复数据比较少，那么可以用下面的语句提高效率 select data_guid from adam_entity_datas where data_guid in (select data_guid from adam_entity_datas group by data_guid having count(*) > 1) 此方法查询出所有重复记录了，也就是说，只要是重复的就选出来，下面的语句也许更高效select data_guid from adam_entity_datas where rowid in (select rid from (select rowid rid,row_number()over(partition by data_guid order by rowid) m from adam_entity_datas) where m <> 1) 目前只知道这三种比较有效的方法。 第一种方法比较好理解，但是最慢，第二种方法最快，但是选出来的记录是所有重复的记录，而不是一个重复记录的列表，第三种方法，我认为最好。 ========第二篇========= select usercode,count(*) from ptype group by usercode having count(*) >1 ========第三篇========= 找出重复记录的ID: select ID from ( select ID ,count(*) as Cnt from 要消除重复的表 group by ID ) T1 where https://www.doczj.com/doc/1e7219062.html,t>1 删除数据库中重复数据的几个方法 数据库的使用过程中由于程序方面的问题有时候会碰到重复数据，重复数据导致了数据库部分设置不能正确设置…… 方法一
删除SQL Server 的特定实例 若要删除SQL Server 的特定实例，请按照下列步骤操作： 1.找到并删除%drive%:\Program Files\Microsoft SQL Server\MSSQL\Binn 文件 夹，其中%drive%是要删除的SQL Server 实例的位置。 2.找到以下注册表项： o HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\MSSQLServer 注意：如果要删除默认实例，则必须删除除Client项以外的所有项。 o HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Microsoft SQL Server 必须使用Regedt32.exe 来编辑要删除的实例的InstalledInstances 值。默认实例的显示名称为MSSQLSERVER，而命名实例的显示名称则为给该 实例指定的名称。 注意：不能使用Regedit.exe 编辑该值；您必须使用Regedt32.exe。 注意：如果这是SQL Server 2000 的群集实例，请为群集中的每个节点重复执行这些步骤。 删除SQL Server 的所有已知实例 若要删除SQL Server 的所有已知实例，请按照下列步骤操作： 1.找到并删除%drive%:\Program Files\Microsoft SQL Server\MSSQL\Binn 文件 夹。 2.找到并删除以下注册表项： o HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\MSSQLServer o HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Microsoft SQL Server 3.找到并删除以下注册表项： o HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\MSSQL Server o HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\SQLSER VERAGENT o HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\MSSQL ServerADHelper 4.步骤3 中的三个注册表项对应于Microsoft SQL Server 2000 的默认实例。命名实例 对应的注册表项与步骤 3 中列出的注册表项类似，但后面带有$instance_name，因
重复数据删除技术的产生是有一定的渊源，那就从头说起，虽然现在存储介质的价格直线下滑，单位存储成本已经很低。但是仍然跟不上企业数据文件增长的速度。随之而来的，能源消耗、数据备份管理等等也都成了老大难问题。而且一些重复的文件也随着增多了。为此企业现在迫切需要一门技术，能够确保在存储设备中存储的是独一无二的文件。在这种背景下，重复数据删除技术就应运而生啦。重复数据删除技术的目的很简单，就是确保存储的文件不重复，从而减少数据容量。不过在实际工作中，由于种种原因用户对这个技术还存在着一些误解。消除这些误区，对于大家正确使用重复数据删除技术很关键。 误区一：后期处理重复数据删除技术的工作时机。 重复数据删除技术根据其实现的方式可以分为“联机重复数据删除技术”和“后期处理重复数据删除技术”。两个技术各有各的特点。不过由于“后期处理重复数据删除技术”这个名字起得有点其一，所以不少用户对此存在着误解。如一些人会误认为后期处理重复数据删除方式是当所有数据备份过程结束后才进行验证、删除操作的。如果大家这么认为，那么就是大错特错了。 其实后期处理重复数据删除技术通常是在虚拟的磁带介质写入备份数据后就开始进行工作了。也就是说实在等待虚拟磁带写满之后就开始。当然这中间根据需要有一定的延迟。如存储管理员可以根据不同的情况对这个延迟进行设置。可以只延迟短短的几分钟，也可以延迟几个小时。延迟时间具体为多少，主要还是根据企业的实际情况来选择。如有些管理员可能会将这个作业放在服务器比较空闲的时候进行，此时就会把这个延迟设置的比较长一点，如等到下班后进行等等。 这里需要注意的是一般情况下，为了提高数据备份的效率，会对数据备份进行分组管理。此时等待时间是从第一组备份任务传送备份数据流开始算起。当第一盘虚拟的备份磁带写满或者第一组备份数据写入结束后，重复数据删除处理就不存在延迟等待问题。这主要是因为当系统在进行前一组写入备份数据进行重复数据删除处理时，被分系统可以继续往后续虚拟磁带介质中写入第二组的备份数据。简单的说，就是重复数据处理作业与备份数据的写入作业可以独立运行。从而提高数据处理的效率。 误区二：后期处理重复数据删除方式会降低整体备份的效率。 如果光从技术上看，这个结论是成立的。一方面重复删除方式会占用服务器的资源。另一方面，重复删除方式存在着一定的延迟。但是这是一个比较孤立的观点。因为根据现在的重复数据删除技术，完全可以通过合理的配置来消除这种负面影响。 在实际工作中，如果技术人员发现后期处理重复数据删除技术降低了数据备份的效率，那么可以通过如下几种方式来消除这个不利影响。一是可以将重复数据删除技术分配到多个单独的服务器上来分担服务器的压力。一般情况下在对已写入的备份数据进行重复数据删除时，不同的处理引擎往往会访问同一磁盘阵列。不过现在的技术可以使得他们访问同一磁盘阵列的不同区域。换句话说，就是可以实现高速的并发处理。这样的话，就不会和持续写入的备份数据流产生任何的冲突，从而不会影响数据备份的效率。二是可以适当调整数据延迟的时间。如可以缩短延迟时间，或者适当延长延迟时间避开数据备份的高峰时间等等。 总之，后期处理重复数据删除技术在一定程度上确实会影响到数据备份的整体效率。但是通过合理的配置，可以将这个负面影响降低到最低的程度。至少与其优势相比，这个负面影响是可以忽略不计的。 误区三：降低备份数据流的读取速度不利于数据备份。
重复数据删除技术简介 这篇文章基于现有的SNIA材料，描述了重复数据删除流程可以进行的几个不同的地方；探讨了压缩与单实例文件以及重复数据删除之间的不同点；研究了次文件层重复数据删除执行的几个不同方式。它同时还解释了哪种类型的数据适合重复数据删除，以及哪些不适合。 介绍 重复数据删除已经成为存储行业非常热门的话题和一大类商业产品。这是因为重复数据删除可以大幅减少购置和运行成本，同时提高存储效率。随着数据量的爆炸性增长，接近一半的数据中心管理员都将数据增长评为三大挑战之一。根据最近的Gartner调查结果，重复数据删除可以减轻存储预算的压力并帮助存储管理员应对数据的增长。 虽然重复数据删除主要被视为一种容量优化技术，不过该技术也可以带来性能上的好处--随着所需存储的数据的减少，系统所需迁移的数据也减少。 重复数据删除技术可以应用在数据生命周期上的不同点上：从来源端重复数据删除，到传输中重复数据删除，一直到存储目标端重复数据删除。这些技术还可以应用在所有的存储层上：备份、归档和主存储。 重复数据删除的解释 无论使用哪种方式，重复数据删除就是一个在不同层次的粒度性上识别重复数据并将重复数据替代为指向共享复件的指针的过程，这样可以节约存储空间和迁移数据所需的带宽。 重复数据删除流程包括跟踪并识别那些被删除的重复数据，以及识别和存储那些新的和独一无二的数据。数据的终端用户完全不会感到这些数据可能已经被执行重复数据删除流程并已经在其数据生命周期中被重建许多次。 对数据进行重复数据删除操作有几种不同的方式。单实例存储（SIS）是在文件或块层次上进行重复数据删除。重复副本会被一个带着指针的实例所取代，而指针则指向原始文件或对象。 次文件层重复数据删除的操作粒度则比文件或对象更小。这种技术有两种常见的方式：固定块重复数据删除--数据被分解成固定长度的部分或块；可变长度重复数据删除--数据根据一个滑行的窗口进行重复数据删除。 数据压缩是对数据进行编码以减小它的大小；它还可以用于那些已经被重复数据删除的数据以进一步减少存储消耗。重复数据删除和数据压缩虽不同但互补--例如，数据可能重复数据删除的效率很高但是压缩的效率很低。 此外，重复数据删除数据可以在线执行；也就是说，在数据被写入目标端的时候进行重复数据删除操作；当然，重复数据删除也可以以后处理的方式执行，也就是在数据已经被写入并存储在磁盘上的时候执行。 这是一个简化的重复数据删除例子，我们有两个由块组成的对象或文件。下图显示了这些对象或文件的情况。对象或文件可以是可变的或基于窗口的部分、固定块或文件集合--可以应用同样的原则。在这个例子中，每个对象所包含的块由字母来区分。
（Oracle管理）ORACLE 中删除重复记录
ORACLE中删除重复记录 平时工作中可能会遇见当试图对库表中的某一列或几列创建唯一索引时，系统提示ora-01452：不能创建唯一索引，发现重复记录。 下面总结一下几种查找和删除重复记录的方法（以表cz为例）： 表cz的结构如下： sql>desccz namenull?type ------------------------------------------------------------------- c1number(10) c10number(5) c20varchar2(3) 删除重复记录的方法原理： (1).在oracle中，每一条记录都有一个rowid，rowid在整个数据库中是唯一的，rowid确定了每条记录是在oracle中的哪一个数据文件、块、行上。 (2).在重复的记录中，可能所有列的内容都相同，但rowid不会相同，所以只要确定出重复记录中那些具有最大rowid的就能了，其余全部删除。 重复记录判断的标准是： c1,c10和c20这三列的值都相同才算是重复记录。 经查看表cz总共有16条记录： sql>setpagesize100 sql>select*fromcz; c1c10c20 -----------------------
12dsf 12dsf 12dsf 12dsf 23che 12dsf 12dsf 12dsf 12dsf 23che 23che 23che 23che 34dff 34dff 34dff 45err 53dar 61wee 72zxc 20rowsselected. 1.查找重复记录的几种方法：
文件级和块级重复数据删除技术的优缺点 https://www.doczj.com/doc/1e7219062.html, 2008年 12月 12日 11:23 https://www.doczj.com/doc/1e7219062.html, 作者:TechTarget 中国 重复数据删除技术大大提升了基于磁盘的数据保护策略、基于 WAN 的远程分公司备份整合策略、以及灾难恢复策略的价值主张。这种技术能识别重复数据,消除冗余,减少需转移和存储的数据的总体容量。 一些重复数据删除技术在文件级别上运行,另一些则更加深入地检查子文件或数据块。尽管结果存在差异, 但判断文件或块是否唯一都能带来好处。两者的差异在于减少的数据容量不同,判断重复数据所需的时间不同。 文件级重复数据删除技术 文件级重复数据删除技术通常也称为单实例存储(SIS ,根据索引检查需要备份或归档的文件的属性,并与已存储的文件进行比较。如果没有相同文件,就将其存储, 并更新索引;否则,仅存入指针,指向已存在的文件。因此,同一文件只保存了一个实例,随后的副本都以“存根”替代,而“存根”指向原始文件。 块级重复数据删除技术 块级重复数据删除技术在子文件的级别上运行。正如其名所示, 文件通常被分割成几部分——条带或块,并将这些部分与之前存储的信息予以比较,检查是否存在冗余。 最常见的检查重复数据的方法是:为数据块指定标识符, 例如, 利用散列算法产生唯一的 ID 或“足迹”,标识数据块。然后,将产生的 ID 与集中索引对比。如果 ID 已经存在, 就说明以前曾处理并存储该数据块。因此,只需存入指针,指向之前存储的数据。如果 ID 不存在,就说明数据块独一无二。此时,将 ID 添加到索引中,将数据块存储到磁盘中。
一个简单的去除重复字段的SQL查询语句 2009-11-16 17:12 一个简单的去除重复字段的SQL查询语句 [2008-11-04 16:01:15 by rainoxu] | 分类：我的知识库 今天公司里让.Net程序修改一个程序，需要去掉输出中的重复楼盘名称，一开始想到的是Distinct，但死路不通，只能改道，最终偶在网上找到了一个思路，修改了一下就有了。 先看所有记录（这是我在测试的数据库里做的）： OK，我们这样来消除重复项：
1. select * from table1 as a where not exists(select 1 from table1 where logID=a.LogID and ID>a.ID) 2. 最近做一个数据库的数据导入功能，发现联合主键约束导致不能导入，原因是源表中有重复数据，但是源表中又没有主键，很是麻烦。经过努力终于解决了，现在就来和大家分享一下，有更好的办法的可以相互交流。 有重复数据主要有一下几种情况： 1.存在两条完全相同的纪录 这是最简单的一种情况，用关键字distinct就可以去掉
example：select distinct * from table(表名) where (条件) 2.存在部分字段相同的纪录（有主键id即唯一键） 如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组 example: select * from table where id in (select max(id) from table group by [去除重复的字段名列表,....]) 3.没有唯一键ID 这种情况我觉得最复杂，目前我只会一种方法，有那位知道其他方法的可以留言，交流一下： example: select identity(int1,1) as id,* into newtable(临时表) from table select * from newtable where id in (select max(id) from newtable group by [去除重复的字段名列表,....]) drop table newtable 关于一个去除重复记录的sql语句
探讨重复数据删除技术在中央电台媒资备 份存储系统中应用 导读：本文探讨重复数据删除技术在中央电台媒资备份存储系统中应用，仅供参考，如果觉得很不错，欢迎点评和分享。 探讨重复数据删除技术在中央电台媒资备份存储系统中应用作者/ 刘华 一、引言 2012年初，中央电台媒资备份存储系统正式投入使用。经过一年的运行，大量的节目内容，丰富的历史资料迅速将中央电台媒资备份存储系统填满，严重掣肘了节目归档、素材入库等媒资管理工作。近期中央电台完成了媒资备份存储系统在线扩容工作。备份存储的磁盘容量由之前的20T B，增加30TB，总计达到50T B。短短一年时间，磁盘空间需求已经翻番，可以预见，中央电台媒资备份存储系统还将面临磁盘空间短缺的问题。面对日益爆炸的数据增长和由此不断上升产生的存储压力难题，如何控制和有效降低海量数据显得尤为重要。重复数据删除技术无疑是“瘦身”的一项不错选择。 二、数据冗余 目前，中央电台媒资备份存储系统中，存在大量的重复和冗余数据，造成数据冗余的原因可能是人为的： ·为了确保文件的安全性，无意中将同样的文件存储了多份；
·不同文件的部分内容重复。 冗余数据占据了大量的存储空间，降低了存储空间的利用效率。图1展示了关于媒资备份存储系统中重复数据的比例、来源和分析。 更重要的是：这些大量的冗余数据给媒资备份存储系带来了大量的问题： ·占用大量存储空间，降低存储利用效率； ·增加建设成本； ·增加额外数据管理代价。 三、重复数据删除概念 通过相关研究和对实际系统的分析发现，在海量数字存储系统中，存在大量的重复数据和相似数据。通过重复数据删除技术可以有效去除这些重复数据，对相同数据只存储一份和只存储相似数据的不同部分，可以有效利用存储空间，从而有效降低存储系统成本。 重复数据删除是一种数据缩减技术，旨在最小化文件之间的冗余和重复的无损压缩，并对存储容量进行有效优化。它通过删除数据集中重复的数据，只保留其中一份，从而达到消除冗余数据目的。 目前，绝大多数的重复数据删除算法都工作在二进制数据层次上，通常使用一些数据切分算法，如以整个文件为切分粒度，固定大小的数据切分，或者某些H A S H函数（如R a b i nFingerprinting算法），将每一个带归档的文件切分成若干相互不重叠的数据片段，并把这些数据片段作为逻辑单位进行后续处理和存储操作。在这些数据片段中，只有不重复的数据片段才真正存储到存储设备中，而其他的
六种SQL Server删除重复行的方法 SQL Server删除重复行是我们最常见的操作之一，下面就为您介绍六种适合不同情况的SQL Server删除重复行的方法，供您参考。 1.如果有ID字段，就是具有唯一性的字段 1.delect table where id not in ( 2. 3.select max(id) from table group by col1,col2,col3... 4.) group by 子句后跟的字段就是你用来判断重复的条件，如只有col1，那么只要col1字段内容相同即表示记录相同。 2. 如果是判断所有字段也可以这样 1.select * into #aa from table group by id1,id2,.... 2.delete table 3.insert into table 4.select * from #aa 3. 没有ID的情况 1.select identity(int,1,1) as id,* into #temp from tabel 2.delect # where id not in ( 3.select max(id) from # group by col1,col2,col3...) 4.delect table 5.inset into table(...) 6.select ..... from #temp 4. col1+','+col2+','...col5 联合主键 1.select * from table where col1+','+col2+','...col5 in ( 2.select max(col1+','+col2+','...col5) from table 3.where having count(*)>1 4.group by col1,col2,col3,col4 5.) group by 子句后跟的字段就是你用来判断重复的条件，如只有col1，那么只要col1字段内容相同即表示记录相同。 5.
如何用EXCEL删除重复数据 EXCEL删除重复数据在新旧版本中操作方法有所不同。 先来说说EXCEL2003吧。 这里就要用到“高级筛选”功能，不多说了。大家可以自己去了解下“高级 筛选”这个功能就知道如何弄了。呵 再来看看重点excel2007 Excel 2007设计得比较人性化，直接就增加了一个“删除重复项”功能!使 用步骤如下： 1、选择需要删除重复项的所有单元格。如果是要对所有数据进行这一操作， 可以任意选择一个单元格。 2、在工具栏中选择“数据”选项卡，再单击“排序与筛选”区中的“删除重 复项”按钮。 3、在弹出的“删除重复项”对话框选择要检查的字段，最终将只对选中的字 段进行比较。 4、最后单击“确定”按钮，多余的重复项就被删除了。 也可按以下的EXCEL删除重复数据三步法： 1、标识重复数据 打开工作表，选中可能存在重复数据或记录的区域。单击“开始”选项卡中的“条件格式”打开菜单，在“突出显示单元格规则”子菜单下选择“重复值”，打开如图1所示对话框。在左边的下拉列表中选择“重复”，在“设置为”下拉列表中选择需要设置的格式（例如“绿填充色深绿色文本”），
就可以在选中区域看到标识重复值的效果，单击“确定”按钮正式应用这种 效果。 2、筛选重复数据 如果需要进一步识别并删除重复数据，可以根据上面的标识结果将数据筛选出来：选中按上述方法标识了重复数据的待筛选区域，单击“数据”选项卡中的“筛选”按钮，使筛选区域首行的各单元格显示下拉按钮。接着单击某个下拉按钮打开菜单，选择“按颜色筛选”子菜单中的“按字体颜色排序”，即可将存在重复数据或记录的行筛选出来，这时就可以查看并手工删 除重复数据了。 3.自动删除重复数据 Excel 2007提供了名为“删除重复项”的功能，它可以快速删除工作表中的重复数据，具体操作方法是：选中可能存在重复数据或记录的区域，单击“数据”选项卡中的“删除重复项”按钮，打开如图2所示对话框。如果需要保留若干完全相同记录中的一条，然后将剩余的相同记录全部删除，必须将如图2中的列标题全部选中，点击“确定”后，会弹出对话框显示删 除结果。
厂商采纳的执行重复数据删除的基本方法有三种与及各种的优缺点。 第一种是基于散列（hash）的方法，Data Domain、飞康、昆腾的DXi 系列设备都是采用SHA-1, MD-5 等类似的算法将这些进行备份的数据流断成块并且为每个数据块生成一个散列（hash）。如果新数据块的散列（hash）与备份设备上散列索引中的一个散列匹配，表明该数据已经被备份，设备只更新它的表，以说明在这个新位置上也存在该数据。 基于散列（hash）的方法存在内置的可扩展性问题。为了快速识别一个数据块是否已经被备份，这种基于散列（hash）的方法会在内存中拥有散列（hash）索引。当被备份的数据块数量增加时，该索引也随之增长。一旦索引增长超过了设备在内存中保存它所支持的容量，性能会急速下降，同时磁盘搜索会比内存搜索更慢。因此，目前大部分基于散列（hash）的系统都是独立的，可以保持存储数据所需的内存量与磁盘空间量的平衡，这样，散列（hash）表就永远不会变得太大。 第二种方法是基于内容识别的重复删除，这种方法主要是识别记录的数据格式。它采用内嵌在备份数据中的文件系统的元数据识别文件；然后与其数据存储库中的其它版本进行逐字节地比较，找到该版本与第一个已存储的版本的不同之处并为这些不同的数据创建一个增量文件。这种方法可以避免散列（hash）冲突（请参阅下面的“不要惧怕冲突”），但是需要使用支持的备份应用设备以便设备可以提取元数据。 ExaGrid Systems的InfiniteFiler就是一个基于内容识别的重复删除设备，当备份数据时，它采用CommVault Galaxy 和Symantec Backup Exec 等通用的备份应用技术从源系统中识别文件。完成备份后，它找出已经被多次备份的文件，生成增量文件（deltas）。多个 InfiniteFilers合成一个网格，支持高达30 TB的备份数据。采用重复删除方法的ExaGrid在存储一个1GB的 .PST文件类的新信息时表现优异，但它不能为多个不同的文件消除重复的数据，例如在四个.PST文件具有相同的附件的情况下。 Sepaton 的用于它的VTL 的DeltaStor也采用内容识别方法，但是它将新文件既与相同位置上的以前的文件版本进行比较，同时也与从其它位置上备份的文件版本进行比较，因此它能够消除所有位置上的重复数据。
Windows Server 2012重复数据删除七项注意 【文章摘要】微软公司敏锐地发现了这一需求，在其最新的服务器操作系统Windows Server 2012中，该公司增加了重复数据删除子系统的特性，它提供了一种方式，在由一个给定的Windows Server实例管理的所有卷上执行重复数据删除。它并是把重复数据删除的任务推给一个硬件或软件层，而是在OS中进行，包括块级和文件级的 - 也就是说，多种类型的数据(例如虚拟机的多个实例)都可以成功地以最小的开销进行重复数据删除。 在当前的“大数据”时代，尽管磁盘空间越来越便宜，I/O速度在提升，但重复数据删除仍是存储管理员最为关注的神奇策略之一，这项技术的存在，使得我们能够以更低的存储成本和管理成本，得到更高的存储效率。 微软公司敏锐地发现了这一需求，在其最新的服务器操作系统Windows Server 2012中，该公司增加了重复数据删除子系统的特性，它提供了一种方式，在由一个给定的Windows Server实例管理的所有卷上执行重复数据删除。它并是把重复数据删除的任务推给一个硬件或软件层，而是在OS中进行，包括块级和文件级的 - 也就是说，多种类型的数据(例如虚拟机的多个实例)都可以成功地以最小的开销进行重复数据删除。 如果您打算实施Windows Server 2012的重复数据删除技术，确保您了解以下七点： 1、重复数据删除默认情况下不启用 不要指望升级到Windows Server 2012之后，节省空间的情况会自动出现。重复数据删除被当做一项文件和存储服务的功能，而不是核心OS组件。为了达到这个目的，您必须启用它并手动配置，在服务器角色文件和存储服务文件和iSCSI服务(Server Roles File And Storage Services File and iSCSI Services)。启用之后，还需要进行基础配置。 2、重复数据删除将无系统负担 在设置重复数据删除技术，微软投入了相当的精力，所以它只要一个很小的系统占用空间，甚至可以运行在有较大的负载的服务器上。这是三条理由： 首先，存储内容只会在n天(默认情况下n为5)之后才重复数据删除，这是用户可配置的。这个时间延迟，阻止了deduplicator试图处理这样的内容：当前的和常用的，或正在被写入到磁盘上的文件(这将构成重大的性能损失)。 其次，重复数据删除受到目录或文件类型的限制。如果您要排除某些类型的文件或文件夹的重复数据删除，您可以指定自如。
相似性的块级重复数据删除算法的研究 科技以追风逐电的速度渗透到各行各业,使数据量出现爆炸式增长,为减少存储成本与网络开销,重复数据删除技术被越来越广泛地应用于云存储、备份与 归档系统中。然而在数据块级重复数据删除算法中,传统分块算法的分块效果均较差。 固定分块(FSP)不能很好的满足数据多变性,可变长度分块(CDC)的参数设定掺杂了过多人为干预,导致基于经典分块算法的重复数据删除技术性能表现不稳定。另外,随着数据量级的增加,越来越多的指纹信息不能快速被检测对比,机械式的I/O操作严重增加了算法时间,性能难以保证。 针对可变长度分块(CDC)的分块大小难以控制,指纹计算对比开销大,预先设置参数等问题,提出Winnowing指纹串匹配的分块算法(CAWM)。首先在数据分块前引入分块大小预测模型,能够较准确地根据应用场景计算出合适的分块大小;然后在计算指纹时采用ASCII/Unicode编码方式作为数据块指纹;最后在确定分块边界时,提出指纹串匹配的分块算法,无须预先设置参数,使得指纹计算和对比开销减少。 通过将FSP、CDC、CAWM三种分块算法应用于重删实验,来验证CAWM分块效果,相比于FSP和CDC分块算法,CAWM在数据的重删率上提升了10%左右,在指纹计算和对比开销方面减少了18%左右。因此,CAWM的分块大小和边界更加符合数据特性,减少了参数设置对重复数据删除算法性能的影响,在处理不同类型的数据时,可以有效地消除更多的重复数据。 针对重复数据删除算法指纹对比I/O瓶颈问题,提出了一种基于相似聚类的二级索引重复数据删除算法。首先计算所有数据块的Simhash值,基于Simhash
SQL删除某些字段重复的记录(只保留一条) 前一阵做了个会员系统,又写了个程序把以往的会员数据导入到SQL数据库中.因为某些原因导了好几遍,造成了某些重复的记录存在.前两天使用人员才发现问题,于是想办法解决. 搜啊搜,搜到了使用SQL句子删除重复记录的方法.又一次体会到了SQL的强大(其实是我的SQL水平太菜了而已).写下来,加强记忆. 会员数据需要用到的是下面三个字段:ID(自增),MemberName,MemberAddress.只要会员姓名与会员地址相同就认为是重复记录,重复记录在删除时只保留ID最大的那个.SQL如下: delete MemberInfo where ID not in ( select max(ID) from MemberInfo group by MemberName, MemberAddress) not in的效率可能会低些,但因为是直接操作数据库,所以这并不重要.这个句子还是非常的简单有效的. 在真正的删除操作前,通常会先了解一下重复记录的情况.可以使用下面的句子: SELECT COUNT(MemberName) AS TheCount, MemberName, MemberAddress FROM MemberInfo GROUP BY MemberName, MemberAddress HA VING (COUNT(*) > 1)
SQL中删除某字段重复的数据 我们可能会出现这种情况，某个表原来设计不周全，导致表里面的数据数据重复，那么，如何对重复的数据进行删除呢？ 重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。 一、对于部分字段重复数据的删除 先来谈谈如何查询重复的数据吧。 下面语句可以查询出那些数据是重复的： select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1 将上面的>号改为=号就可以查询出没有重复的数据了。 想要删除这些重复的数据，可以使用下面语句进行删除 delete from 表名a where 字段1,字段2 in (select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1) 上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下： CREATE TABLE 临时表AS (select 字段1,字段2,count(*) from 表名group by 字段1,字段2 having count(*) > 1) 上面这句话就是建立了临时表，并将查询到的数据插入其中。 下面就可以进行这样的删除操作了 delete from 表名a where 字段1,字段2 in (select 字段1，字段2 from 临时表); 这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。 这个时候，大家可能会跳出来说，什么？你叫我们执行这种语句，那不是把所有重复的全都删除吗？而我们想保留重复数据中最新的一条记录啊！大家不要急，下面我就讲一下如何进行这种操作。 在oracle中，有个隐藏了自动rowid，里面给每条记录一个唯一的rowid，我们如果想保留最新的一条记录， 我们就可以利用这个字段，保留重复数据中rowid最大的一条记录就可以了，
如何删除Excel表里的重复数据 如何在Excel 中删除重复记录或创建不重复记录的列表 概要 当Microsoft Excel导入或合并多条记录时，可能会创建重复的记录。本文介绍如何创建不重复记录的汇总列表。 更多信息 要创建不重复记录的汇总列表，请按照下列步骤操作：1. 选择要排序的行或记录上方的列标题。 2. 在数据菜单中，指向筛选，然后单击高级筛选。如果收到如下提示，请单击确定。 未检测到任何标题。是否将选定区域的首行用作标题行？ 3. 在方式下，单击“将筛选结果复制到其他位置”。 4. 单击以选中“选择不重复的记录”复选框。 5. 在“列表区域”框中，键入或选择一个记录范围（如A3:H10）。 6. 在“条件区域”框中，键入或选择相同的记录范围（即A3:H10） 7. 在“复制到”框中，键入用于存放信息的第一个单元格的地址，或直接选择该单元格。请确保该区域有足够的空间，以免覆盖已存在的数据。 注意：只能在活动的工作表中执行此操作。 8. 单击确定。 注意 如果原始数据的第一条记录是重复的，则该记录在新列表中将出现两次。只隐藏第一行。 如果就地执行高级筛选命令，工作表仍包含所有记录。重复的记录将被隐藏。要变通解决这一问题，请指向“格式”菜单上的“行”，然后单击“取消隐藏”。 为两个函数“IF、COUNTIF”判断和统计来查找重复数据，方法：如B列中B1－B218的数据查找或数组查找B1－E50，公式如下: =IF(COUNTIF(B1:B218,B1)=1,"无重复","有重复") =IF(COUNTIF(B1:E50,B1)=1,"无重复","有重复") 边输入时边查找重复数据方法： 1．使用“数据有效性” 选定我们需要检查的数据，如“B1:E20”，单击“数据→有效性”，出现“数据有效性”对话框(请见图1)。在“允许”列表框处选择“自定义”，“公式”文本框中输入如下公式：“=COUNTIF($B$1:$E$20,B1)=1”。单击“出错警告”标签，勾选“输入无效数据时显示出错警告”，“样式”列表处选择“停止”，右侧为出错提示信息，在“标题”处输入“数据重复”，“错误信息”处输入“数据重复，请重新输入 当我们在B1:E20区域中的D7单元格中输入“张三”后，因为与同在该区域的B4单元格内容重复，所以立刻会弹出一个警告对话框，阻止重复输入的数据。只有取消或更换输入的内容后，输入操作才得到允许