php筛选重复数据库,数据库查询过滤重复的

php 如何找出数据库表中所有存在相同的值

下面的语句可以找出重复的编码：

SELECT `编码`,count(*) from `表名` group by `编码` having count(*)1

注意执行的时候把`编码`和`表名`改为具体的名称，如果不是中文字段名和表名，就可以无需反单引号，千万别打成单引号，否则会报告语法错误的。

如何用原生php在数据库里删除重复的数据（筛选重复的，然后删除，留下一条就可以 ）

delete YourTable

where [id] not in (

select max([id]) from YourTable

group by (name + value))

php根据相似度查找重复数据怎么实现？

1.首先，题主应该选一个相似度的计算维度，比如content字段，type字段等；

2.其次，题主考虑一下各个字段的权重，比如type字段必须相同，则让type字段使用typeWeight（例如赋值0.8）作为乘积的因子，而content字段本身是比较长的，所以需要计算出一个hash值，比如使用特定算法计算出一个hash值，然后把这个hash值按照16进制计算得到10进制数，再给一个权重contentWeight（例如0.2），另外再选取一个字段，比如description描述字段，再给一个权重descriptionWeight...

3.最后得到一个当前插入到表中的记录综合hash，typeWeight(contentHashcontentWeight+descriptionHash*descriptionWeight

+...),可能会涉及到大整数计算，不过PHP有BCMATH扩展可以使用，最终得到一个数值的综合hash值，保存到数据库的一个字段中，这个东西就可以理解为本条记录的特征值。