mysql重复数据表如何根据字段去重的问题

现在有一个表，表的数据主要是有一个phone字段，这个字段会有很多重复的数据
现在我需要查出这个表的数据并根据phone这个字段去除重复数据

我现在是用group by处理但是发现数据量大了之后有性能问题

求问下有没有什么办法可以解决

建索引，使用sphinx辅助mysql
分组统计操作放到程序中
1、如果不需要即时获取这个信息的话，可以异步处理，利用定时任务或mysql事件和存储过程来不停处理这个任务。
2、如果实时性要求高的话，可以使用redis或memcache再缓存一下。
3、海量数据的话要考虑分表，这样可以快速的获取需要的数据。
索引，分库，分表，nosql定时写库。
给phone字段加上索引
加索引 or 建分表
对于内容重复率特别高的列(如性别)加索引,并不能实现优化,反而会增加索引维护的开销.
如果phone列重复率不是那么高,可以考虑创建索引,具体用MySQL的explain来执行对该列建立索引后的查询,看看相比原来是否有更好的性能.如果发现MySQL放弃使用该列索引,那么该列应该是不适合建立索引的.
题外话:建立联合索引时,也要考虑把重复率低而又用得多的列放在前面.
为什么不先查询出来，然后在进行数组去重呢？
海量的数据不可能是要全部显示吧，可以分批处理，交由php处理

玩蛇网文章，转载请注明出处和文章网址：https://www.iplaypy.com/wenda/wd14083.html