mysql表中记录重复处理方案
今天写了一个airport表,主要有这么几个字段
//主键id,机场英文名称,机场中文名称,机场三字码,机场所在城市名子
id, name, c_name, code,city_name
由于机场三字码是不重复的,所以一开始我为airport表添加唯一索引
ALTER TABLE `airport` ADD UNIQUE (`code` );
但在写的过程中发现我爬虫爬到的信息有重复的情况,所以先暂时去掉唯一索引。
show index from airport;//查看索引情况
DROP INDEX code ON airport
上下爬虫程序代码
<?php
require('phpQuery.php');
phpQuery::newDocumentFile("http://******************因为某些原因***********");
$res = pq('tbody')->find('tr')->text();
根据自己的业务逻辑插入到表中
很快完成了工作,完成之后,还是要理解三字码重复的问题。
我的做法是采用了把所有重复的最小的三字码记录进行删除处理,最早写的代码如下:
DELETE FROM airport WHERE
id IN (SELECT id FROM airport GROUP BY code HAVING COUNT(code) > 1)
AND id NOT IN ( SELECT max(id) FROM airport GROUP BY code HAVING COUNT(code ) >1);
但运行这条sql的时候出错,原因是在选择的时候,不能同步进行删除或更新操作。这时候引用一个临时表吧
create TEMPORARY table tmp select id from airport WHERE
id IN (SELECT id FROM airport GROUP BY code HAVING COUNT(code) > 1)
AND id NOT IN (SELECT max(id) FROM airport GROUP BY code HAVING COUNT(code ) >1);
delete from airport where id in (select id from tmp)
ok,操作完成,再看看有没有重复的情况:
SELECT id FROM airport GROUP BY code HAVING COUNT(code) > 1
如果有再进行删除。表的三字码已经不重复了,再为三字码添加唯一索引了。。。
您可能感兴趣的文章:
精解:MySQL UPDATE更新的语句
mysql修改root密码的几种方法
mysql insert的操作分享(DELAYED、IGNORE、ON DUPLICATE KEY UPDATE )
修改mysql密码与忘记mysql密码的处理方法
mysql中update更新语句的用法详解
mysql Replication(复制)基本原理介绍
理解Mysql binlog 日志的三种模式
CentOS 6.2 RPM安装MySQL5.0.16的方法介绍
忘记MySql的root密码的解决方法
mysql跨表delete删除多表记录的方法介绍