广州品牌网站建设 优美,制作宣传图片的软件,网站开发工程师学什么,职业生涯规划大赛获奖作品目录 一、前言 二、SkyWalking告警功能介绍 2.1 SkyWalking告警是什么 2.2 为什么需要SkyWalking告警功能 2.2.1 及时发现系统异常 2.2.2 保障和提升系统稳定性 2.2.3 避免数据丢失 2.2.4 提高故障处理效率 三、 SkyWalking告警规则 3.1 SkyWalking告警规则配置 3.2 …目录 一、前言 二、SkyWalking告警功能介绍 2.1 SkyWalking告警是什么 2.2 为什么需要SkyWalking告警功能 2.2.1 及时发现系统异常 2.2.2 保障和提升系统稳定性 2.2.3 避免数据丢失 2.2.4 提高故障处理效率 三、 SkyWalking告警规则 3.1 SkyWalking告警规则配置 3.2 SkyWalking告警规则参数配置说明 3.3 Webhook介绍 3.3.1 什么是Webhook 3.3.2 Webhook 参数说明 3.3.3 常用的Webhook 四、 告警配置之Webhook使用 4.1 操作步骤 4.1.1 添加依赖 4.1.2 添加一个接口 4.1.3 打包部署服务器 4.2 配置Webhook 4.3 触发回调接口 4.3.1 告警信息展示 五、告警通知接入钉钉 5.1 设置钉钉机器人 5.2 告警规则配置钉钉机器人 5.3 效果测试验证 5.4 告警通知注意事项 5.4.1 合理设置告警规则 5.4.2 配置合理的告警通知方式和接收人员 5.4.3 定期检查和更新配置 六、写在文末 一、前言 在大型分布式系统中如何在系统中某个服务出问题时能得到快速通知和处理呢比较常见的做法就是接入告警通知。在分布式系统接入链路追踪、链路可视化大屏等之后接下来就要考虑如何对系统中的异常情况进行监控告警。 在之前的分享中我们相信介绍了SkyWalking的使用SkyWalking作为一款开源分布式系统性能监控工具、分布式服务链路追踪工具不仅提供了很好的链路追踪可视化展示入口也提供了丰富的告警功能可以帮助开发或运维人员及时发现系统中的异常情况从而使问题得到快速的响应与处理。 二、SkyWalking告警功能介绍 2.1 SkyWalking告警是什么 SkyWalking除了提供实时的系统监控、链路追踪与分析功能外还提供了告警功能用于监控系统的指标数据并在系统服务中被监控的指标超过预设阈值时触发告警。如下图在UI界面上左侧有一个告警的菜单项当接入并配置了告警规则后将会看到相关的信息。 2.2 为什么需要SkyWalking告警功能 2.2.1 及时发现系统异常 在分布式系统中尤其是随着微服务规模越来越大发生异常情况在所难免比如服务A调用服务B超时服务A内部连接mysql超时等等。在SkyWalking中通过设置告警规则和触发阈值可以及时监控系统指标数据并在数据超过预设阈值时触发告警可以帮助开发和运维人员及时发现系统中的异常情况让问题得到尽快的处理从而避免问题的进一步扩大。 2.2.2 保障和提升系统稳定性 通过接入告警功能可以监控系统关键指标并在指标超过预设阈值时触发告警。通过一段时间或周期性的运行可帮助团队及时发现系统中潜在的性能问题并采取相应的措施从而提升系统的性能和稳定性。 2.2.3 避免数据丢失 在分布式系统中数据完整性与可靠性是非常重要的。通过设置告警规则和阈值可以监控系统中服务的关键指标的数据状态并在数据发送异常时触发告警从而及时发现数据丢失或损坏的情况并及时采取相应的措施避免数据的进一步损失。 2.2.4 提高故障处理效率 当系统出现异常时如何快速得到通知并及时处理问题是非常重要的。通过接入告警功能可以将告警的信息及时通知到相关人员帮助团队人员快速定位和解决问题从而提高故障处理的效率减少系统停机时间。 三、 SkyWalking告警规则 3.1 SkyWalking告警规则配置 SkyWalking 告警功能是在6.x版本新增的其告警是由一组规则驱动这些规则定义在config/alarm-settings.yml文件中如下在SkyWalking 的config目录中可以找到该配置 打开配置之后可以看到提供了多种配置规则的选项完整的配置如下 # Sample alarm rules. rules:# Rule unique name, must be ended with _rule.service_resp_time_rule:metrics-name: service_resp_timeop: threshold: 1000period: 10count: 3silence-period: 5message: Response time of service {name} is more than 1000ms in 3 minutes of last 10 minutes.service_sla_rule:# Metrics value need to be long, double or intmetrics-name: service_slaop: threshold: 8000# The length of time to evaluate the metricsperiod: 10# How many times after the metrics match the condition, will trigger alarmcount: 2# How many times of checks, the alarm keeps silence after alarm triggered, default as same as period.silence-period: 3message: Successful rate of service {name} is lower than 80% in 2 minutes of last 10 minutesservice_resp_time_percentile_rule:# Metrics value need to be long, double or intmetrics-name: service_percentileop: threshold: 1000,1000,1000,1000,1000period: 10count: 3silence-period: 5message: Percentile response time of service {name} alarm in 3 minutes of last 10 minutes, due to more than one condition of p50 1000, p75 1000, p90 1000, p95 1000, p99 1000service_instance_resp_time_rule:metrics-name: service_instance_resp_timeop: threshold: 1000period: 10count: 2silence-period: 5message: Response time of service instance {name} is more than 1000ms in 2 minutes of last 10 minutesdatabase_access_resp_time_rule:metrics-name: database_access_resp_timethreshold: 1000op: period: 10count: 2message: Response time of database access {name} is more than 1000ms in 2 minutes of last 10 minutesendpoint_relation_resp_time_rule:metrics-name: endpoint_relation_resp_timethreshold: 1000op: period: 10count: 2message: Response time of endpoint relation {name} is more than 1000ms in 2 minutes of last 10 minutes # Active endpoint related metrics alarm will cost more memory than service and service instance metrics alarm. # Because the number of endpoint is much more than service and instance. # # endpoint_resp_time_rule: # metrics-name: endpoint_resp_time # op: # threshold: 1000 # period: 10 # count: 2 # silence-period: 5 # message: Response time of endpoint {name} is more than 1000ms in 2 minutes of last 10 minuteswebhooks: # - http://127.0.0.1/notify/ # - http://127.0.0.1/go-wechat/ 在实际使用中我们就是围绕这个配置文件进行各类告警规则的配置进行展开从上述的配置文件来看告警规则的定义分为两部分 告警规则它们定义了应该如何触发度量警报应该考虑什么条件Webhook网络钩子定义当警告触发时哪些服务终端需要被告知 3.2 SkyWalking告警规则参数配置说明 SkyWalking 的发行版都会默认提供config/alarm-settings.yml文件里面预先定义了一些常用的告警规则。如下 过去 3 分钟内服务平均响应时间超过 1 秒 过去 2 分钟服务成功率低于80% 过去 3 分钟内服务响应时间超过 1s 的百分比 服务实例在过去 2 分钟内平均响应时间超过 1s并且实例名称与正则表达式匹配 过去 2 分钟内端点平均响应时间超过 1 秒 过去 2 分钟内数据库访问平均响应时间超过 1 秒 过去 2 分钟内端点关系平均响应时间超过 1 秒 这些预定义的告警规则打开config/alarm-settings.yml文件即可看到规则配置中的常用配置项参数说明 Rule name规则名称也是在告警信息中显示的唯一名称必须以_rule结尾前缀可自定义Metrics name度量名称也是OAL脚本中的度量名目前只支持long、double和int类型Include names该规则作用于哪些实体名称如服务名终端名可选默认为全部Exclude names该规则作不用于哪些实体名称比如服务名终端名可选默认为空include-names-regex提供一个正则表达式来包含实体名称如果同时设置包含名称列表和包含名称的正则表达式则两个规则都将生效exclude-names-regex提供一个正则表达式来排除实体名称如果同时设置排除名称列表和排除名称的正则表达式则两个规则都将生效include-labels包含在此规则之内的标签exclude-labels排除在此规则以外的标签include-labels-regex提供一个正则表达式来包含标签如果同时设置包含标签列表和包含标签的正则表达式则两个规则都将生效exclude-labels-regex提供一个正则表达式来排除标签如果同时设置排除标签列表和排除标签的正则表达式则两个规则都将生效Threshold阈值OP 操作符目前支持 、、Period多久告警规则需要被核实一下。这是一个时间窗口与后端部署环境时间相匹配Count在一个Period窗口中如果values超过Threshold值按op达到Count值需要发送警报Silence period在时间N中触发报警后在TN - TN period这个阶段不告警。 默认情况下它和Period一样这意味着相同的告警在同一个Metrics name拥有相同的Id在同一个Period内只会触发一次message告警消息 3.3 Webhook介绍 3.3.1 什么是Webhook Webhook即钩子Webhook简单理解来说即一种Web层面的回调机制通常由一些事件触发与代码中的事件回调类似只不过是Web层面的。由于是Web层面的所以当事件发生时回调的不再是代码中的方法或函数而是服务接口。例如在告警这个场景告警就是一个事件当该事件发生时SkyWalking就会主动去调用一个配置好的接口该接口就是所谓的Webhook。如下在SkyWalking告警规则配置文件的最后给出了Webhook的配置样例。 3.3.2 Webhook 参数说明 Webhook 要求一个点对点的 Web 容器告警消息会通过 HTTP 请求进行发送请求方法为 POSTContent-Type 为 application/jsonJSON 格式包含以下信息 scopeId目标 Scope 的 ID name目标 Scope 的实体名称 id0Scope 实体的 ID。id1未使用 ruleName您在 alarm-settings.yml 中配置的规则名 alarmMessage. 告警消息内容 startTime. 告警时间戳当前时间与 UTC 1970/1/1 相差的毫秒数 下面是一个json数据示例 [{scopeId: 1, scope: SERVICE,name: user-service, id0: 001, id1: , ruleName: service_resp_time_rule,alarmMessage: 服务【user-service】的平均响应时间在最近10分钟内有2分钟超过1秒,startTime: 1706324413454 }] 3.3.3 常用的Webhook 事实上SkyWalking支持多种Webhook官方文档中提供了丰富的告警规则下面介绍几种常用的几种Webhook选择。 Alerting | Apache SkyWalking Slack Chat Hook 您需要遵循传入Webhooks入门指南并创建新的Webhooks。如果您按以下方式配置了Slack Incoming Webhooks则告警消息将按 Content-Type 为 application/json 通过HTTP的 POST 方式发送。 参考如下示例 slackHooks:textTemplate: |-{type: section,text: {type: mrkdwn,text: :alarm_clock: *Apache Skywalking Alarm* \n **%s**.}}webhooks:- https://hooks.slack.com/services/x/y/z 微信Hook 只有微信的企业版才支持 Webhooks 如何使用微信的 Webhooks 可参见如何配置群机器人。如果您按以下方式配置了微信的 Webhooks 则告警消息将按 Content-Type 为 application/json 通过HTTP的 POST 方式发送 参考如下示例 wechatHooks:textTemplate: |-{msgtype: text,text: {content: Apache SkyWalking 告警: \n %s.}}webhooks:- https://qyapi.weixin.qq.com/cgi-bin/webhook/send?keydummy_key 钉钉 Hook 您需要遵循自定义机器人开放并创建新的Webhooks。为了安全起见您可以为Webhook网址配置可选的密钥。如果您按以下方式配置了钉钉的 Webhooks 则告警消息将按 Content-Type 为 application/json 通过HTTP的 POST 方式发送。 参考如下示例 dingtalkHooks:textTemplate: |-{msgtype: text,text: {content: Apache SkyWalking 告警: \n %s.}}webhooks:- url: https://oapi.dingtalk.com/robot/send?access_tokendummy_tokensecret: dummysecret 四、 告警配置之Webhook使用 上面详细介绍了告警规则配置文件和相关参数的使用接下来先介绍下Webhook的使用流程。整体思路如下 搭建一个springboot工程 提供一个用于webhook回调的接口 部署工程并在alarm-settings.yml配置接口回调地址 工程目录如下 4.1 操作步骤 4.1.1 添加依赖 parentgroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-parent/artifactIdversion2.5.5/versionrelativePath/ !-- lookup parent from repository --/parentdependenciesdependencygroupIdcom.alibaba.fastjson2/groupIdartifactIdfastjson2/artifactIdversion2.0.23/version/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-web/artifactId/dependencydependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-test/artifactIdscopetest/scope/dependencydependencygroupIdorg.projectlombok/groupIdartifactIdlombok/artifactId/dependency/dependenciesbuildfinalNamehook-service/finalNamepluginsplugingroupIdorg.springframework.boot/groupIdartifactIdspring-boot-maven-plugin/artifactId/plugin/plugins/build 4.1.2 添加一个接口 自定义一个接口类提供一个Webhook中配置使用 RestController RequestMapping(/alert) Slf4j public class AlertController {//localhost:8088/alert/notifyPostMapping(/notify)public void alterNotify(RequestBody ListAlarmMessage messages) {log.info(【收到告警通知】告警消息【{}】, JSON.toJSONString(messages));}//localhost:8088/alert/testGetMapping(/test)public String test(){return test;}} AlarmMessage消息通知类 Data ToString public class AlarmMessage {private int scopeId;private String name;private String id0;private String id1;private String alarmMessage;private long startTime;private String ruleName;} 测试一下接口确保可以正常调用 4.1.3 打包部署服务器 将工程打包并部署到服务器上进行启动确保服务接口可以正常访问 这里假设你的服务器已经提前做好相关的环境配置并且开放了相应的防火墙端口 4.2 配置Webhook 将上述的接口地址配置到alarm-settings.yml中 按照这样的规则配置之后当该配置文件中的任何一种规则阈值被触发理论上就可以触发接口的回调从而输出相应的日志信息。 4.3 触发回调接口 对接口进行改造在调用获取order的接口逻辑中增加一个时间休眠在远程调用的user逻辑中也增加一个休眠时间这样可以放大问题的发生触发告警规则 public Map getById(String id) {log.info([订单服务] 基于 id 查询订单详情{}, id);Map map new HashMap();Order order new Order();order.setOrderId(0002);order.setProductId(0001);order.setProductName(小米手机);map.put(order,order);try {Thread.sleep(2000);} catch (InterruptedException e) {log.error(thread sleep error);}User user userFeignService.getById(001);map.put(user,user);return map; } 调用的user接口逻辑 public User getById(String id) {try {Thread.sleep(2000);} catch (InterruptedException e) {log.error(thread sleep error);}log.info([用户服务] 基于 id 查询用户信息{}, id);String key sw:users: id;Object json redisTemplate.opsForValue().get(key);if (json ! null) {log.info([用户服务] redis 中查询到用户信息key{}, json{}, key, json);return JSON.parseObject(json.toString(), User.class);}User user userMapper.getById(id);if (user ! null) {log.info([用户服务] redis 中不存在从数据库查到数据并缓存{}, user);redisTemplate.opsForValue().set(key, user, 2, TimeUnit.HOURS);return user;}log.warn([用户服务] 基于 id 查询用户失败用户不存在{}, id);return null; } 启动两个服务然后调用一下接口由于调用超时最后接口响应异常在控制台的日志中也可以看到详细的信息 4.3.1 告警信息展示 为了让告警的规则被触发从而将信息展示到UI界面可以在2分钟内多调用几次接口而后再在控制台的告警一栏就能看到展示的告警日志信息了如下详细展示了异常的详细链路信息。 也可以点击到某个具体的服务节点查看异常详情 通过上面的示例演示了如何通过配置webhook进行异常告警的详细过程事实上在真实的场景下将日志投射到界面只是一方面方便运维回溯异常过程更通用的诉求是在触发了告警规则之后能够将告警信息快速通知到相关的人员比如通过邮件、短信等方式。这就可以在上述的回调接口中增加对接邮件或短信或其他通知服务即可。 五、告警通知接入钉钉 在实际工作中钉钉在企业内部使用的非常多而SkyWalking也正好支持告警通知接入钉钉通过将告警通知接入钉钉严格来说接入钉钉群机器人当告警规则被触发时群里将会收到消息通知方便我们快速响应官方文档 钉钉接入文档 下面来演示告警规则如何接入钉钉机器人。 5.1 设置钉钉机器人 由于钉钉机器人目前只支持群设置因此需要先创建一个钉钉群然后找到下面自定义Webhook的位置进行配置。 添加钉钉机器人如下 安全设置中勾选加签拷贝和保存加签后面生成的密钥串后面配置Webhook时使用 最后生成机器人同样拷贝下Webhook的完整地址并保存一下后面会用到 5.2 告警规则配置钉钉机器人 拷贝官网提供的配置信息到alarm-settings.yml中如下 然后将上一步中的密钥信息和Webhook地址替换到url和secret中即可注意信息的保密 5.3 效果测试验证 配置完成后重启SkyWalking服务然后再次访问一下上面的接口多访问几次之后在UI界面上能看到异常的信息 然后在钉钉群里就能看到相应的通知告警信息了 上面演示了接入钉钉机器人的过程其他类型的Webhook配置方式流程大致如此如果有需要可以查阅官网步骤进行操作即可。 5.4 告警通知注意事项 5.4.1 合理设置告警规则 配置告警规则、设置告警阈值时需根据实际需求合理设置避免误报或漏报。以下是一些注意事项 确定监控指标在设置告警规则之前需明确要监控的指标这些指标应该是对系统性能和稳定性有重要影响的关键指标。比如可以监控系统的响应时间、吞吐量、错误率等设置合理的阈值 设置告警规则时需根据系统实际情况设置合理的阈值。阈值应该能够反映系统正常运行的状态同时也要能够及时发现潜在的问题过高或过低的阈值都可能导致误报或漏报考虑系统负载和峰值情况 设置告警规则和阈值时需考虑系统负载和峰值情况。例如在系统峰值期间可能会出现一些短暂的性能下降或错误增加的情况这些情况不一定需要触发告警 5.4.2 配置合理的告警通知方式和接收人员 在配置告警通知方式和接收人员时需要确保正确配置并且通知能够及时到达下面是一些注意事项 在选择告警通知方式时要根据实际情况进行选择常用的告警通知方式像邮件、短信、钉钉、飞书等。根据团队的工作习惯和接收方式选择合适的通知方式配置正确的接收人员在配置告警通知时需要确保配置接收人员的联系方式准确无误通知应该发送给能够及时处理问题的人员避免延误系统异常处理时间测试告警通知在配置完成后建议进行测试确保告警通知能够正常发送和接收可以通过模拟触发告警的方式验证告警通知的可用性 5.4.3 定期检查和更新配置 告警规则配置是一个动态过程随着系统的综合性能越来越好早期配置的告警规则可能并不能满足当前的状况因此需要定期检查和更新。以下是一些注意事项 定期评估告警规则和阈值的有效性根据系统实际情况逐步调整和优化。随着系统的发展和变化可能需要更新告警规则和阈值以适应新的需求和情况 定期处理告警反馈和建议根据使用者的反馈和建议进行优化和改进可以帮助改进告警功能的准确性和可用性 定期备份告警配置以防止配置丢失或损坏备份可以帮助恢复配置并在需要时进行回滚 六、写在文末 本文详细介绍了SkyWalking自定义告警规则的详细使用并结合实际操作完成了对Webhook的配置演示与效果模拟SkyWalking的告警功能在实际生产运行过程中可以帮助及时发现系统中的异常情况从而提升系统问题的发现及时率提升问题的处理效率从而提高系统的稳定性和可靠性。通过合理的配置告警规则可以让系统时刻处于我们的掌控之中。本篇到此结束感谢观看。