stream去重_Java中对List去重 Stream去重的解决方法

问题

当下互联网技术成熟,越来越多的趋向去中心化、分布式、流计算,使得很多以前在数据库侧做的事情放到了java端。今天有人问道,如果数据库字段没有索引,那么应该如何根据该字段去重?大家都一致认为用java来做,但怎么做呢?

解答

忽然想起以前写过list去重的文章,找出来一看。做法就是将list中对象的hashcode和equals方法重写,然后丢到hashset里,然后取出来。这是最初刚学java的时候像被字典一样背写出来的答案。就比如面试,面过号称做了3年java的人,问set和hashmap的区别可以背出来,问如何实现就不知道了。也就是说,初学者只背特性。但真正在项目中使用的时候你需要确保一下是不是真的这样。因为背书没用,只能相信结果。你需要知道hashset如何帮我做到去重了。换个思路,不用hashset可以去重吗?最简单,最直接的办法不就是每次都拿着和历史数据比较,都不相同则插入队尾。而hashset只是加速了这个过程而已。

首先,给出我们要排序的对象user

@data

@builder

@allargsconstructor

public class user {

private integer id;

private string name;

}

list users = lists.newarraylist(

new user(1, "a"),

new user(1, "b"),

new user(2, "b"),

new user(1, "a"));

目标是取出id不重复的user,为了防止扯皮,给个规则,只要任意取出id唯一的数据即可,不用拘泥id相同时算哪个。

用最直观的办法

这个办法就是用一个空list存放遍历后的数据。

@test

public void dis1() {

list result = new linkedlist<>();

for (user user : users) {

boolean b = result.stream().anymatch(u -> u.getid().equals(user.getid()));

if (!b) {

result.add(user);

}

}

system.out.println(result);

}

用hashset

背过特性的都知道hashset可以去重,那么是如何去重的呢? 再深入一点的背过根据hashcode和equals方法。那么如何根据这两个做到的呢?没有看过源码的人是无法继续的,面试也就到此结束了。

事实上,hashset是由hashmap来实现的(没有看过源码的时候曾经一直直观的以为hashmap的key是hashset来实现的,恰恰相反)。这里不展开叙述,只要看hashset的构造方法和add方法就能理解了。

public hashset() {

map = new hashmap<>();

}

/**

* 显然,存在则返回false,不存在的返回true

*/

public boolean add(e e) {

return map.put(e, present)==null;

}

那么,由此也可以看出hashset的去重复就是根据hashmap实现的,而hashmap的实现又完全依赖于hashcode和equals方法。这下就彻底打通了,想用hashset就必须看好自己的这两个方法。

在本题目中,要根据id去重,那么,我们的比较依据就是id了。修改如下:

@override

public boolean equals(object o) {

if (this == o) {

return true;

}

if (o == null || getclass() != o.getclass()) {

return false;

}

user user = (user) o;

return objects.equals(id, user.id);

}

@override

public int hashcode() {

return objects.hash(id);

}

//hashcode

result = 31 * result + (element == null ? 0 : element.hashcode());

其中, objects调用arrays的hashcode,内容如上述所示。乘以31等于x<<5-x。

最终实现如下:

@test

public void dis2() {

set result = new hashset<>(users);

system.out.println(result);

}

使用java的stream去重

回到最初的问题,之所以提这个问题是因为想要将数据库侧去重拿到java端,那么数据量可能比较大,比如10w条。对于大数据,采用stream相关函数是最简单的了。正好stream也提供了distinct函数。那么应该怎么用呢?

users.parallelstream().distinct().foreach(system.out::println);

没看到用lambda当作参数,也就是没有提供自定义条件。幸好javadoc标注了去重标准:

returns a stream consisting of the distinct elements

(according to {@link object#equals(object)}) of this stream.

我们知道,也必须背过这样一个准则:equals返回true的时候,hashcode的返回值必须相同. 这个在背的时候略微有些逻辑混乱,但只要了解了hashmap的实现方式就不会觉得拗口了。hashmap先根据hashcode方法定位,再比较equals方法。

所以,要使用distinct来实现去重,必须重写hashcode和equals方法,除非你使用默认的。

那么,究竟为啥要这么做?点进去看一眼实现。

node reduce(pipelinehelper helper, spliterator spliterator) {

// if the stream is sorted then it should also be ordered so the following will also

// preserve the sort order

terminalop> reduceop

= reduceops.>makeref(linkedhashset::new, linkedhashset::add, linkedhashset::addall);

return nodes.node(reduceop.evaluateparallel(helper, spliterator));

}

内部是用reduce实现的啊,想到reduce,瞬间想到一种自己实现distinctbykey的方法。我只要用reduce,计算部分就是把stream的元素拿出来和我自己内置的一个hashmap比较,有则跳过,没有则放进去。其实,思路还是最开始的那个最直白的方法。

@test

public void dis3() {

users.parallelstream().filter(distinctbykey(user::getid))

.foreach(system.out::println);

}

public static predicate distinctbykey(function super t, ?> keyextractor) {

set seen = concurrenthashmap.newkeyset();

return t -> seen.add(keyextractor.apply(t));

}

当然,如果是并行stream,则取出来的不一定是第一个,而是随机的。

上述方法是至今发现最好的,无侵入性的。但如果非要用distinct。只能像hashset那个方法一样重写hashcode和equals。

小结

会不会用这些东西,你只能去自己练习过,不然到了真正要用的时候很难一下子就拿出来,不然就冒险用。而若真的想大胆使用,了解规则和实现原理也是必须的。比如,linkedhashset和hashset的实现有何不同。

附上贼简单的linkedhashset源码:

public class linkedhashset

extends hashset

implements set, cloneable, java.io.serializable {

private static final long serialversionuid = -2851667679971038690l;

public linkedhashset(int initialcapacity, float loadfactor) {

super(initialcapacity, loadfactor, true);

}

public linkedhashset(int initialcapacity) {

super(initialcapacity, .75f, true);

}

public linkedhashset() {

super(16, .75f, true);

}

public linkedhashset(collection extends e> c) {

super(math.max(2*c.size(), 11), .75f, true);

addall(c);

}

@override

public spliterator spliterator() {

return spliterators.spliterator(this, spliterator.distinct | spliterator.ordered);

}

}

补充:

java中list集合去除重复数据的方法

1. 循环list中的所有元素然后删除重复

public static list removeduplicate(list list) {

for ( int i = 0 ; i < list.size() - 1 ; i ++ ) {

for ( int j = list.size() - 1 ; j > i; j -- ) {

if (list.get(j).equals(list.get(i))) {

list.remove(j);

}

}

}

return list;

}

2. 通过hashset踢除重复元素

public static list removeduplicate(list list) {

hashset h = new hashset(list);

list.clear();

list.addall(h);

return list;

}

3. 删除arraylist中重复元素,保持顺序

// 删除arraylist中重复元素,保持顺序

public static void removeduplicatewithorder(list list) {

set set = new hashset();

list newlist = new arraylist();

for (iterator iter = list.iterator(); iter.hasnext();) {

object element = iter.next();

if (set.add(element))

newlist.add(element);

}

list.clear();

list.addall(newlist);

system.out.println( " remove duplicate " + list);

}

4.把list里的对象遍历一遍,用list.contain(),如果不存在就放入到另外一个list集合中

public static list removeduplicate(list list){

list listtemp = new arraylist();

for(int i=0;i

if(!listtemp.contains(list.get(i))){

listtemp.add(list.get(i));

}

}

return listtemp;

}

如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/468469.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

民企信息化建设个人经历(四)

两周没写了&#xff0c;上班第一天再来留下点记录。节前最后一周&#xff0c;又跟董事长报告了一次&#xff0c;感觉应该还算有点效果。上篇中提到的五个方向(仓库条码化(WMS)&#xff0c;生产条码化(MES)。財务相关模块启用。HR相关系统整合。PLM系统优化)&#xff0c;略微做了…

第四章 第四节 per_cpu

我们上一章说了实现内核同步的方法很多&#xff0c;如下表技术说明适用范围每CPU变量在CPU之间复制数据结构所有CPU原子操作对一个计数器原子地“读-修改-写”的指令所有CPU内存屏障避免指令重新排序本地CPU或所有CPU自旋锁加锁时忙等所有CPU信号量加锁时阻塞等待所有CPU顺序锁…

python的三维图片_python如何做三维图

Python三维绘图在遇到三维数据时&#xff0c;三维图像能给我们对数据带来更加深入地理解。python的matplotlib库就包含了丰富的三维绘图工具。1、创建三维坐标轴对象Axes3D创建Axes3D主要有两种方式&#xff0c;一种是利用关键字projection3dl来实现&#xff0c;另一种则是通过…

抽象类(Abstract)和接口的不同点、共同点(Interface)。

同样点&#xff1a; (1) 都能够被继承 (2) 都不能被实例化 (3) 都能够包括方法声明 (4) 派生类必须实现未实现的方法 区 别&#xff1a; (1) 抽象基类能够定义字段、属性、方法实现。接口仅仅能定义属性、索引器、事件、和方法声明&#xff0c;不能包括字…

为何要使用docker

可能很多人听说过docker&#xff0c;也可能有很多人用过&#xff0c;但是其中的一些细节&#xff0c;可能不是很清楚&#xff0c;还有一些人&#xff0c;像我一样&#xff0c;并不知道docker&#xff0c;也没有用过&#xff0c;刚好最近一个大神朋友比较有空&#xff0c;让他写…

如何解决文件不存在_传奇微端配置Pak密码文件不存在怎么解决?传奇分享汇

在架设gom引擎的版本时&#xff0c;你是否有遇到和我一样的情况呢&#xff1f;微端配置后pak密码文件不存在是怎么回事呢&#xff1f;今天分享pak密码文件不存在的解决方法为什么会出现pak密码文件不存在呢&#xff1f;总结分析有以下2种原因会导致文件不存在1、没有配置对应的…

linux 统计命令执行后的行数或者统计目录下文件数目

ls |wc 是统计你这个目录下的文件数目。ls |wc -l是输出第一个结果即31即文件的数目。 转载于:https://www.cnblogs.com/apple2016/p/6956814.html

oracle 删除补全日志组_Oracle 10g 添加、删除日志组

做日常巡检的时候发现alert日志中有这个错误Thread 1 cannot allocate new log, sequence 319708Checkpoint not complete这个实际上是个比较常见的错误。通常来说是因为在日志被写满时会切换日志组&#xff0c;这个时候会触发一次checkpoint&#xff0c;DBWR会把内存中的脏块往…

那些年,我们在?的那些日子

刚好在今天&#xff0c;我们几个比较好的朋友&#xff0c;都离开了一起奋斗的A公司。 先说明下&#xff0c;这个不是虚构的小说&#xff0c;也不是吹牛逼&#xff0c;就是记录我们几个曾经辉煌和落魄的日子&#xff0c;起名A公司也是为了保护大家的隐私&#xff0c;但是事情肯定…

db2 sql执行历史_5 个免费的在线 SQL 数据库环境,比Navicat 香!

来源&#xff1a;blog.csdn.net/horses/article/details/108603935作者&#xff1a;不剪发的Tony老师文章目录SQL FiddleDB Fiddledb<>fiddleSQL OnlineOracle Live SQL总结今天给大家分享几个在线的免费 SQL 运行环境&#xff0c;也就是在线数据库。这些网站可以帮助我们…

获取要素集中字段的唯一值

/// <summary> /// 获取要素集中字段的唯一值 /// </summary> /// <param name"featureClass">图层</param> /// <param name"fieldName">字段名称</param> /// <returns></returns> public static List&…

嵌入式入门必读

找到一个非常好的书籍而且不用购买的而且是高清版本的原来是放在我的知识星球里面的看到大家下载的也很多现在拿出来分享给大家从单片机到嵌入式这个不是一个简单的过程&#xff0c;其中从单进程到多进程&#xff0c;一个CPU如何做到多进程&#xff0c;怎么跑系统&#xff0c;调…

mysql远程访问 linux_Linux中开启mysql远程访问功能

1、确认3306是否对外开放&#xff0c;mysql默认状态下是不开放对外访问功能的。查看的办法如下&#xff1a;# netstat -an | grep 3306tcp 0 0 127.0.0.1:3306 0.0.0.0:* LISTEN从结果可以看出&#xff0c;mysql的3306端口只监听本地的连接&#xff0c;这样就阻碍了外部IP对该数…

致敬云南滑翔机

今天晚上&#xff0c;看了期待已久的篮球节目&#xff0c;我要打篮球&#xff0c;11点左右&#xff0c;感觉特别困&#xff0c;已经快睡着了&#xff0c;准备关掉电视的时候看到林书豪的图片&#xff0c;林书豪头上有一个标题《我要打篮球》&#xff0c;这个不就是《这&#xf…

个人编码规范

这里所列的编码规范都是我自己的一些编码习惯&#xff0c;同时参考了其他的一些编码规范而总结出的较常用一些规范。供参考&#xff1a; 1、一个类文件中只能包含一个类、枚举。2、所有public修饰的字段、属性、方法、类等必须作详细的注释。3、复杂的业务逻辑处应该注释清楚处…

震惊,用了这么多年的 CPU 利用率,其实是错的

来源&#xff1a;内核月谈, 原文链接&#xff1a;http://www.brendangregg.com/blog/2017-05-09/cpu-utilization-is-wrong.html本文中若有任何疏漏错误&#xff0c;责任在于编译者。有任何建议和意见&#xff0c;请回复内核月谈微信公众号&#xff0c;或通过 caspar at linux.…

string最大容量_string初步使用

1.什么是string?string是一个类&#xff0c;专门用来处理字符串。 而C语言中&#xff0c;字符串实际上是一个char的数组。2.实验#include #include using namespace std;int main(){ string str1 "hello world"; string str2 " smart"; char s…

【尺取或dp】codeforces C. An impassioned circulation of affection

http://codeforces.com/contest/814/problem/C 【题意】 给定一个长度为n的字符串s&#xff0c;一共有q个查询&#xff0c;每个查询给出一个数字m和一个字符ch&#xff0c;你的操作是可以改变字符串中的某些字母&#xff0c;最多改变m个&#xff0c;问操作后只包含字符ch的连续…

Linux 内核宏 time_after解析

同学们留言回复答案看看可能很多老鸟对这样的Linux 内核宏已经见惯不怪了&#xff0c;但是作为新手的Linux内核开发者&#xff0c;我觉得非常有必要了解其中的原理和作用。jiffies 这个想必大家已经非常熟悉&#xff0c;jiffies表示的是当前的系统时钟节拍总数&#xff0c;它统…

javascript mysql php_HTML、CSS、JavaScript、PHP、 MySQL 的学习顺序是什么?

下面是前端学习路线以及学习资源推荐&#xff1a;目录1. HTMLDOCTYPEHTML, XHTML, XML 差异性HTML5 新特性 及 语义化标签meta, img, script 等标签及其标签属性有兴趣可以了解 W3C 和 WHATWG HTML5 差异文章视频2. CSSCSS 基础CSS 布局CSS 动画CSS 预处理器(sass, less, stylu…