Java7任务并行执行神器:ForkJoin框架

转载自 Java7任务并行执行神器:Fork&Join框架

Fork/Join是什么?

Fork/Join框架是Java7提供的并行执行任务框架,思想是将大任务分解成小任务,然后小任务又可以继续分解,然后每个小任务分别计算出结果再合并起来,最后将汇总的结果作为大任务结果。其思想和MapReduce的思想非常类似。对于任务的分割,要求各个子任务之间相互独立,能够并行独立地执行任务,互相之间不影响。

Fork/Join的运行流程图如下:

我们可以通过Fork/Join单词字面上的意思去理解这个框架。Fork是叉子分叉的意思,即将大任务分解成并行的小任务,Join是连接结合的意思,即将所有并行的小任务的执行结果汇总起来。

工作窃取算法

ForkJoin采用了工作窃取(work-stealing)算法,若一个工作线程的任务队列为空没有任务执行时,便从其他工作线程中获取任务主动执行。为了实现工作窃取,在工作线程中维护了双端队列,窃取任务线程从队尾获取任务,被窃取任务线程从队头获取任务。这种机制充分利用线程进行并行计算,减少了线程竞争。但是当队列中只存在一个任务了时,两个线程去取反而会造成资源浪费。

工作窃取的运行流程图如下:

Fork/Join核心类

Fork/Join框架主要由子任务、任务调度两部分组成,类层次图如下。

  • ForkJoinPool

ForkJoinPool是ForkJoin框架中的任务调度器,和ThreadPoolExecutor一样实现了自己的线程池,提供了三种调度子任务的方法:

  1. execute:异步执行指定任务,无返回结果;

  2. invoke、invokeAll:异步执行指定任务,等待完成才返回结果;

  3. submit:异步执行指定任务,并立即返回一个Future对象;

  • ForkJoinTask

Fork/Join框架中的实际的执行任务类,有以下两种实现,一般继承这两种实现类即可。

  1. RecursiveAction:用于无结果返回的子任务;

  2. RecursiveTask:用于有结果返回的子任务;

Fork/Join框架实战

下面实现一个Fork/Join小例子,从1+2+...10亿,每个任务只能处理1000个数相加,超过1000个的自动分解成小任务并行处理;并展示了通过不使用Fork/Join和使用时的时间损耗对比。

import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveTask;

public class ForkJoinTask extends RecursiveTask<Long> {

    private static final long MAX = 1000000000L;private static final long THRESHOLD = 1000L;private long start;private long end;

    public ForkJoinTask(long start, long end) {this.start = start;this.end = end;}

    public static void main(String[] args) {test();System.out.println("--------------------");testForkJoin();}

    private static void test() {System.out.println("test");long start = System.currentTimeMillis();Long sum = 0L;for (long i = 0L; i <= MAX; i++) {sum += i;}System.out.println(sum);System.out.println(System.currentTimeMillis() - start + "ms");}

    private static void testForkJoin() {System.out.println("testForkJoin");long start = System.currentTimeMillis();ForkJoinPool forkJoinPool = new ForkJoinPool();Long sum = forkJoinPool.invoke(new ForkJoinTask(1, MAX));System.out.println(sum);System.out.println(System.currentTimeMillis() - start + "ms");}

    @Overrideprotected Long compute() {long sum = 0;if (end - start <= THRESHOLD) {for (long i = start; i <= end; i++) {sum += i;}return sum;} else {long mid = (start + end) / 2;

            ForkJoinTask task1 = new ForkJoinTask(start, mid);task1.fork();

            ForkJoinTask task2 = new ForkJoinTask(mid + 1, end);task2.fork();

            return task1.join() + task2.join();}}

}

这里需要计算结果,所以任务继承的是RecursiveTask类。ForkJoinTask需要实现compute方法,在这个方法里首先需要判断任务是否小于等于阈值1000,如果是就直接执行任务。否则分割成两个子任务,每个子任务在调用fork方法时,又会进入compute方法,看看当前子任务是否需要继续分割成孙任务,如果不需要继续分割,则执行当前子任务并返回结果。使用join方法会阻塞并等待子任务执行完并得到其结果。

程序输出:

test
500000000500000000
4992ms
--------------------
testForkJoin
500000000500000000
508ms

从结果看出,并行的时间损耗明显要少于串行的,这就是并行任务的好处。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/330789.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

单元测试和日志技术

1.Junit使用的基本流程 <1>将junit的jar包导入到工程中 <2>编写测试方法该测试方法必须是公共的无参数无返回值的非静态方法在测试方法上使用Test注解标注该方法是一个测试方法 <3>选中测试方法右键通过junit运行该方法 Junit点击下载 2.Junit常用的三个注…

DB2书籍推荐!

链接&#xff1a; http://blog.csdn.net/db2cn/article/details/4336619第一本《循序渐进DB2——DBA系统管理、运维与应用案例》&#xff1a;内容简介DB2数据库是IBM 公司关系型数据库核心产品&#xff0c;在国内以及全球有着广泛的应用。针对DB2初学者&#xff0c;本书循序渐进…

@Controller,@Service,@Repository,@Component详解

转载自 Controller,Service,Repository,Component详解 Controller 用来表示一个web控制层bean&#xff0c;如SpringMvc中的控制器。 Service 用来表示一个业务层bean。 Repository 用来表示一个持久层bean&#xff0c;即数据访问层DAO组件。 Component 用来表示一个平常的普通组…

thinking-in-java(12)通过异常处理错误

【12.0】开场白1&#xff09;java的基本理念&#xff1a;结构不佳的代码不能运行&#xff1b;2&#xff09;改进的错误恢复机制&#xff1a;是提供代码健壮性的最强有力的方式&#xff1b;3&#xff09;java异常&#xff1a;3.1&#xff09;java采用异常来提供一致的错误报告模…

分布式系统架构常识:CAP理论

转载自 分布式系统架构常识&#xff1a;CAP理论什么是CAP理论&#xff1f; 2000年7月&#xff0c;加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后麻省理工学院的Seth Gilbert和NancyLynch从理论上证明了CAP&#xff0c;之后CAP理论正式成为分布式计算…

GIt代码管理仓库

1.Git的概念 a.Git是一个代码版本控制工具&#xff0c;有下面几个特点 <1>Git可以用于备份项目代码 <2>Git可以管理代码的各个版本 <3>Git可以方便大家协同工作 <4>Git可以方便代码追责 b.Git和SVN对比 SVN是集中式的版本控制系统&#xff0c;而Git是…

程序员三年的门槛该如何跨过去?

转自&#xff1a; http://blog.csdn.net/singit/article/details/78668490第一阶段&#xff1a;三年 我认为三年对于程序员来说是第一个门槛&#xff0c;这个阶段将会淘汰掉一批不适合写代码的人。这一阶段&#xff0c;我们走出校园&#xff0c;迈入社会&#xff0c;成为一名程…

静态资源Html基础语法

1.div划分【样式控制】 <style>div {/*显示边框*/border: 1px solid pink;/*宽度 占用屏幕的60%*/width: 60%;/*高度 500像素*/height: 500px;/*边框外边距*/margin: auto;/*文字居中*/text-align: center;/*height: 500px;*//*line-height: 500px;*/}</style>2.d…

关系型数据的分布式处理系统:Cobar

转载自 关系型数据的分布式处理系统&#xff1a;CobarCobar简介 Cobar是关系型数据的分布式处理系统&#xff0c;它可以在分布式的环境下像传统数据库一样为您提供海量数据服务。Github&#xff1a;https://github.com/alibaba/cobar整体架构图&#xff1a;快速启动场景 系统对…

thinking-in-java(16) 数组

【16.1】数组有什么特殊 1&#xff09;数组与其他类型容器的区别&#xff1a; 效率&#xff0c;类型和保持基本类型的能力&#xff1b;数组是效率最高的存储和随机访问对象引用序列的方式&#xff1b;数组大小固定&#xff0c;容器大小可以不固定&#xff0c;所以这增加了弹性…

推荐一个在线创作流程图、思维导图软件—ProcessOn

转载自 推荐一个在线创作流程图、思维导图软件—ProcessOn 最近要画流程图&#xff0c;破解了半天Visio2016没搞定&#xff0c;2016的估计都被封了&#xff0c;Visio收费又过贵&#xff0c;又不想折腾低版本的破解&#xff0c;所以找了个在线画图平台ProcessOn&#xff0c;没想…

静态资源Css基础语法

1.css的引入方式 <1>内联样式 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>引入方式1</title> </head> <body><!--内联样式--><h1 style"color: red; fon…

DevExperience(1712)

【1】在 DML 或 DDL 语句中&#xff0c;不要添加 数据库表前缀&#xff1a; 因为开发环境的数据库表名 和 生产环境的数据库表名 有可能不一样&#xff1b; 这个时候就有可能报 SQL 异常&#xff1b;造成生产事故&#xff1b;不推荐&#xff1a; select * from db_name.tbl_nam…

常用缓存淘汰算法(LFU、LRU、ARC、FIFO、MRU)

转载自 常用缓存淘汰算法&#xff08;LFU、LRU、ARC、FIFO、MRU&#xff09;缓存算法是指令的一个明细表&#xff0c;用于决定缓存系统中哪些数据应该被删去。 常见类型包括LFU、LRU、ARC、FIFO、MRU。最不经常使用算法&#xff08;LFU&#xff09;&#xff1a; 这个缓存算法使…

动态资源Servlet接口

1.Servlet接口的作用 Servlet是运行在Web服务器上的应用程序。Servlet本身是一个Java接口&#xff0c;它定义了浏览器访问服务器程序的规则&#xff0c;我们写服务器程序只需要按照需求复写Servlet方法即可 2.Servlet的体系结构 <1>直接继承实现类结构 <2>其他…

thinking-in-java(14)类型信息

【0】开场白 1&#xff09;运行时类型信息使得你可以在程序运行时发现和使用类型信息&#xff1b;2&#xff09;java是如何在运行时识别对象和类信息的&#xff1f;两种方式&#xff1a; 方式1&#xff09;传统的RTTI&#xff08;RunTime Type Identification 运行时类型定义&a…

服务降级的概念及应用手段

转载自 服务降级的概念及应用手段什么是服务降级 服务降级&#xff0c;就是对不怎么重要的服务进行低优先级的处理。说白了&#xff0c;就是尽可能的把系统资源让给优先级高的服务。资源有限&#xff0c;而请求是无限的。如果在并发高峰期&#xff0c;不做服务降级处理&#xf…

Servlet其他关联类---ServletConfig类

1.ServletConfig介绍 a.ServletConfig是Servlet的配置参数对象&#xff0c;在Servlet的规范中&#xff0c;允许为每一个Servlet都提供一些初始化的配置。所以&#xff0c;每个Servlet都有一个自己的ServletConfig b.作用:在Servlet的初始化时&#xff0c;把一些配置信息传递给…

thinking-in-java(19)枚举类型

【0】开场白 1&#xff09;关键字 enum 可以将一组具名的值的有限集合创建为一种新的类型&#xff0c;而这些具名的值可以作为常规的程序组件使用&#xff1b;2&#xff09;所有的枚举类都继承自 Enum&#xff0c;通过 enumClass.getSuperclass() class java.lang.Enum 得知。…