flink常用的几种调优手段的优缺点

背景:

不管是基于减少反压还是基于减少端到端的延迟的目的,我们有时候都需要对flink进行调优,本文就整理下几种常见的调优手段以及他们的优缺点

flink调优手段

1.使用事件时间EventTime模式时,可以设置水位线发送的时间间隔,比如从200毫秒缩小到100毫秒,缩短两倍
正作用:减少事件端到端处理延迟
反作用:对于下游的算子来说,由于其会接收多个上游算子任务的水位记录,所以他们接收到的水印的速度可能远远小于100ms,处理更多的水位线记录会对系统性能造成影响,需要谨慎评估

2.使用setBufferTimeout命令减少网络发送缓冲区的超时时长,这个超时时间表示当上游任务发送网络数据到下游任务时,缓冲区满或者达到超时时间就会发送出去,比如网络缓冲超时时间从100ms变成50ms

正作用:减少端到端的处理延迟
反作用:由于网络缓冲区有可能没有满就被发送到下游算子,导致吞吐量下降

3.使用hashmap状态后端代替rockdb状态后端,基于hashmap的状态后端每次访问状态时都是通过内存直接访问的,速度很快,而访问rockdb的状态后端时,需要经历序列化和反序列化以及可能的磁盘IO,速度很慢

正作用:状态访问速度变快,减少端到端的延迟
反作用:状态很大时不支持,此外,状态放在内存中会导致更频繁的gc,导致消息的处理时延有尖峰波动

4.使用聚合窗口函数而不是全量窗口函数,通过timer触发的方法ontimer尽量减少耗时,此外如果非要使用长时间的全量窗口,那么尽可能的在全量窗口的前面加上预聚合的窗口算子,目的是尽量把长的时间窗口分解成一个个小的时间窗口

正作用: 提高吞吐量和数据处理时延
副作用: 可能会提高代码的复杂度

5.使用异步函数代替同步函数

正作用:提供吞吐量和减少消息处理延迟
反作用: 无

6.对事件流的事件进行字段补充时,每次查找配置表会导致性能很低,可以把配置表转换成配置流,事件流和配置流进行连接,然后在状态中维护配置表即可(可以是广播状态也可以是键值分区状态,ps:由于流连接时,两个流的事件顺序不定,为了保证都能找到配置值,可以在open函数中初始化一个配置表的实例变量)

正作用:减少端到端的时延,并且使用flink的状态来存放配置信息,提高了吞吐量
反作用: 无

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/124966.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习合集】模型设计之卷积核设计 ->(个人学习记录笔记)

文章目录 卷积核设计1. 基于参数压缩的卷积设计1.1 【11卷积】1.2 【11卷积典型应用】1.3 【小卷积的使用】 2. 基于感受野的卷积设计2.1 膨胀卷积(带孔卷积,strous convolution)2.2 可变形卷积2.3 非局部卷积 3. 基于卷积操作的优化3.1 移位网络3.2 加法网络 卷积核…

场景交易额超40亿,海尔智家三翼鸟开始收获

文 | 螳螂观察 作者 | 余一 随着双十一的到来,国内的消费情绪再次被点燃。在这类大促之下,品牌们就像一个个天体,不断引动着市场潮汐,期待自己能触发更大的“海潮效应”。 所谓“海潮效应”是指,海水因天体的引力而…

YOLOv8如何添加注意力模块?

分为两种:有参注意力和无参注意力。 eg: 有参: import torch from torch import nnclass EMA(nn.Module):def __init__(self, channels, factor8):super(EMA, self).__init__()self.groups factorassert channels // self.groups > 0self.softmax …

Linux学习-kubernetes之Ingress

资源下载 IngressController IngressYAML Ingress安装部署 #1.将下载的ingress.tar.gz通过docker的方式导入harbor仓库 [rootmaster ingress]# docker load -i ingress.tar.xz [rootmaster ingress]# docker images|while read i t _;do[[ "${t}" "TAG"…

RPA除了和OCR、NLP技术结合,还能和什么技术结合?

鉴于业内现在也经常把RPA称为数字员工,就虚拟一个人的形象来解答吧。 首先是头部,实现人的“听看说想”能力: 听:ASR(语音识别技术),主要用于听取和理解语音输入,让RPA能处理语音数…

教你用BeautifulSoup实现数据解析,并爬取豆瓣TOP250电影榜

5分钟使用Python爬取豆瓣TOP250电影榜 本视频的演示步骤: 使用requests爬取网页使用BeautifulSoup实现数据解析借助pandas将数据写出到Excel 这三个库的详细用法,请看我的其他视频课程 import requests from bs4 import BeautifulSoup import pandas…

ISO/IEC 25010 软件质量模型

ISO/IEC 软件质量模型(ISO/IEC 25010)是一种用于评估和描述软件质量特性的国际标准。该标准定义了 8 种主要的软件质量特性。 使用 ISO/IEC 软件质量模型可以帮助开发人员和测试人员更好地理解和评估软件质量,从而提高软件质量和用户满意度。…

JAVA发票管理的收货单订单创建发票详情介绍

本人详解 作者:王文峰,参加过 CSDN 2020年度博客之星,《Java王大师王天师》作者 公众号:山峯草堂,非技术多篇文章,专注于天道酬勤的 Java 开发问题、中国国学、传统文化和代码爱好者的程序人生,…

安装MQTT详细步骤

安装MQTT详细步骤 一、什么是MQTT二、安装MQTT三、设置账号密码四、订阅消息五、发布消息 一、什么是MQTT MQTT(Message Queuing Telemetry Transport)是一种轻量级的发布/订阅式消息传输协议,专为物联网(IoT)应用而设…

如梦令·三月春风吹夏

三月春风吹夏,离别声泪俱下。怀恋校时光,酒水催人比划。也罢、也罢,最后一句酒话。 2021年3月,毕业季,与《如梦令晨起路赶霜踏》为姊妹篇,记录于博士毕业论文致谢中。

【力扣SQL】几个常见SQL题

【力扣SQL】184. 部门工资最高的员工 Employee:id(主键)、name、salary、departmentId(外键) Department:id(主键)、name 出每个部门中薪资最高的员工:Department.name、…

转化率的催化剂:网站客服机器人如何推动企业销售?

随着5G的推广,人工智能技术的普及程度越来越高,人机交互已经成为这个时代的常态,无论是在我们的日常生活中还是在企业服务中都非常常见。如今,无论是营销型企业还是客服型企业,都纷纷采用网站客服机器人服务&#xff0…

scrapy-redis分布式爬虫(分布式爬虫简述+分布式爬虫实战)

一、分布式爬虫简述 (一)分布式爬虫优势 1.充分利用多台机器的带宽速度 2.充分利用多台机器的ip地址 (二)Redis数据库 1.Redis是一个高性能的nosql数据库 2.Redis的所有操作都是原子性的 3.Redis的数据类型都是基于基本数据…

Python数据挖掘:入门、进阶与实用案例分析——基于非侵入式负荷检测与分解的电力数据挖掘

文章目录 摘要01 案例背景02 分析目标03 分析过程04 数据准备05 属性构造06 模型训练07 性能度量08 推荐阅读赠书活动 摘要 本案例将根据已收集到的电力数据,深度挖掘各电力设备的电流、电压和功率等情况,分析各电力设备的实际用电量,进而为电…

MATLAB——一维小波的多层分解

%% 学习目标:一维小波的多层分解 clear all; close all; load noissin.mat; xnoissin; [C,L]wavedec(x,3,db4); % 3层分解,使用db4小波 [cd1,cd2,cd3]detcoef(C,L,[1,2,3]); % 使用detcoef函数获取细节系数 ca3appcoef(C,L,db4,3); …

nginx通过配置文件来进行的安全方面优化

目录 1、隐藏版本号 2、配置错误页面重定向 3、添加header防止XSS攻击 4、利用referer图片防盗链 5、拒绝某些user-agent 6、限制HTTP请求方法 7、nginx开启https 8、控制迸发连接数 1、隐藏版本号 说明: 由于某些 Nginx 漏洞只存在于特定的版本&#xff0…

基于AliO Things和阿里云的智能环境监控系统。

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、实习内容二、实习方法2.1搭建开发环境并完成编译2.1.1 正常完成编译的标志2.1.2 编写实例烧录程序,并完成烧录 2.2按键实现流水灯2.2.1 HaaS ED…

docker 部署prometheus和grafana

1.启动node 容器 docker run -d -p 9100:9100 -v "/proc:/host/proc:ro" -v "/sys:/host/sys:ro" -v "/:/rootfs:ro" --net"bridge" prom/node-exporter 2.访问http://192.168.1.122:9100/metrics 3.创建文件/home/prometheus/ 下…

1400*C. Team(模拟构造)

Problem - 401C - Codeforces 解析&#xff1a; 因为0不能相邻&#xff0c;所以0之间最少 n-1 个位置&#xff0c;最多 n1 个位置&#xff0c;如果 m<n-1显然不符题意。 并且1最多连续两个&#xff0c;所以 m>2*n2 同样不符题意。 其余情况构造即可 #include<bits/st…

c++和java实现策略模式的差异

一、C和java的差异 实例化方式 c的对象有两种实例化方式&#xff0c;一种是局部变量中直接实例化。一种是new出来的。 MyClass myclass; //第一种方式 MyClass* myclassPtrnew MyClass(); //第二种方式java的对象构建&#xff0c;没有第一种方式&#xff0c;java的对象都…