玩蛇网提供最新Python编程技术信息以及Python资源下载!
您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容

mysql重复数据表如何根据字段去重的问题

现在有一个表,表的数据主要是有一个phone字段,这个字段会有很多重复的数据
现在我需要查出这个表的数据并根据phone这个字段去除重复数据

我现在是用group by处理 但是发现数据量大了之后有性能问题

求问下有没有什么办法可以解决

建索引,使用sphinx辅助mysql

分组统计操作放到程序中

1、如果不需要即时获取这个信息的话,可以异步处理,利用定时任务或mysql事件和存储过程来不停处理这个任务。
2、如果实时性要求高的话,可以使用redis或memcache再缓存一下。
3、海量数据的话要考虑分表,这样可以快速的获取需要的数据。

索引,分库,分表,nosql定时写库。

给phone字段加上索引

索引 or 建分表

对于内容重复率特别高的列(如性别)加索引,并不能实现优化,反而会增加索引维护的开销.

如果phone列重复率不是那么高,可以考虑创建索引,具体用MySQL的explain来执行对该列建立索引后的查询,看看相比原来是否有更好的性能.如果发现MySQL放弃使用该列索引,那么该列应该是不适合建立索引的.

题外话:建立联合索引时,也要考虑把重复率低而又用得多的列放在前面.

为什么不先查询出来,然后在进行数组去重呢?

海量的数据不可能是要全部显示吧,可以分批处理,交由php处理

玩蛇网文章,转载请注明出处和文章网址:http://www.iplaypy.com/wenda/wd14083.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年06月01日 - 17时08分23秒 发布自玩蛇网

我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules