扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
本篇文章给大家分享的是有关Spring Batch并行处理四种模式分别是什么,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站建设、做网站、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的石狮网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
大多数情况下,单线程、单进程的Spring Batch
已经能满足你的需求。在我们走向更复杂的特性之前,先看看简单的能不能用,Keep it Simple and Stupid
。
不过,当你确定要使用并行处理时,Spring Batch
也提供了多种选择。整体上分为两大类:
(1)单进程、多线程
(2)多进程
细分如下:
(1)多线程的Step
(单进程)
(2)并行的Steps
(单进程)
(3)远程分块(多进程)
(4)远程分区(多进程)
光从名字看,很难理解它们之间的差别,我们来一一介绍吧。
通过提供一个TaskExecutor
来执行,而TaskExecutor
是可以自定义的,我们可以提供一个基于线程池的TaskExecutor
,则可以实现多线程处理。
@Bean public TaskExecutor taskExecutor(){ return new SimpleAsyncTaskExecutor("spring_batch"); } @Bean public Step sampleStep(TaskExecutor taskExecutor) { return this.stepBuilderFactory.get("sampleStep") .chunk(10) .reader(itemReader()) .writer(itemWriter()) .taskExecutor(taskExecutor) .build(); }
这个看起来跟第一个很像,其实完全不一样。它是多个steps
之间来并行处理。所以job
应该是可以分解为独立的step
,不是按一步一步的顺序处理,这样才可以并行执行。比如下面的例子,step1
和step2
合并成一个flow1
,而step3
为flow2
,flow1
与flow2
之间可以并行处理。
代码如下:
@Bean public Job job() { return jobBuilderFactory.get("job") .start(splitFlow()) .next(step4()) .build() //builds FlowJobBuilder instance .build(); //builds Job instance } @Bean public Flow splitFlow() { return new FlowBuilder("splitFlow") .split(taskExecutor()) .add(flow1(), flow2()) .build(); } @Bean public Flow flow1() { return new FlowBuilder ("flow1") .start(step1()) .next(step2()) .build(); } @Bean public Flow flow2() { return new FlowBuilder ("flow2") .start(step3()) .build(); } @Bean public TaskExecutor taskExecutor(){ return new SimpleAsyncTaskExecutor("spring_batch"); }
在这种模式下,step
会被拆成多个Java
进程来处理,主程序与分块执行程序之间通过中间件来通信。如下图所示:
由上图可以看出,读取只有一个进程Manager
,而处理进程Worker
则可以多个,所以适用于易读而难处理的场景。
远程分区
跟远程分块
容易混淆,但其实它们是不同的。前面讲解的远程分块
是一个进程读,多个进程处理;而远程分区
是多个进程读,多个进程处理,多个进程写:
所以,远程分区
适用于容易有IO瓶颈的系统,因为它将读与写都拆到多个worker
进程中去了。远程分区
可以使用中间件,如消息队列,也可以不用。它通过PartitionHandler
来进行分区处理,而Partitioner
则定义了如何进行分区。
上面介绍了Spring Batch
并行处理的四种模式,分别是多线程Step
、并行Steps
、远程分块、远程分区。前两种比较简单,给出代码例子;而后两种则复杂得多,特别是远程分区
模式,把IO
压力和业务处理压力都分解了,能大大提高整个流程的处理效率。
以上就是Spring Batch并行处理四种模式分别是什么,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流