通过计费集成和警报监控 Elasticsearch Service 成本

作者:来自 Elastic Alexis Charveriat

使用 Elasticsearch 服务计费集成来跟踪、定制和提醒 Elasticsearch 服务费用。

监控和管理你的Elasticsearch服务(ESS)使用情况和成本对高效运营至关重要。

Elasticsearch服务计费集成提供了一种简化的方法,用于收集、可视化和处理你的计费数据。在本文中,我将指导你如何部署此集成,定制它以适应你的组织结构,并设置警报来监控特定团队的支出。

部署 Elasticsearch 服务计费集成

首先,确定一个可部署集成的附加了支持 Fleet 的 Elastic Agent 的 Elasticsearch 集群。该代理需要互联网访问,因为它将轮询 Elastic 计费 API 并解析结果数据,从而让你利用预配置的仪表板。你在 Elastic Cloud Hosted 上的监控集群可能是此方面的最佳候选者。

安装前检查

在安装集成并将其添加到代理策略之前,你需要为你的组织获取以下信息:

  • 组织 ID:导航到你的 Elastic Cloud 组织页面,找到你的组织标识符。
  • 计费 API 密钥:在 API 密钥页面,创建一个具有 “Billing admin” 角色的 API 密钥。

部署集成

在 Kibana 的集成页面,搜索 “Elasticsearch Service Billing” 集成并点击 “Add Elasticsearch Service Billing”。

填写在前一步中收集的所需信息。你还可以自定义在第一次运行时应收集多长时间的计费数据(默认是一年),以及收集的频率。然而,请注意,计费数据是以每日为粒度收集的,因此改变默认的 24 小时收集频率不会带来太大益处。

还需注意,第二个数据集(Elasticsearch Service Credits - Elasticsearch 服务积分)需要与 Elastic 的有效商业承诺才能正确收集数据。

最后,将集成部署到你选择的代理策略中。在集成的版本 1.2.0 及其底层栈版本 8.17.0 及以上版本中,还可以无代理部署此集成。

ECU 使用情况可视化

一旦部署,集成将开始轮询 Elastic billing APIs,直到你配置的回溯期(lookbehind period)完全加载。这可能需要几分钟 - 初始安装后请耐心等待,或者将时间选择器更改为安装期间使用的任何后视值以实时查看进度。

深入分析:定义部署归属

现在你已经开始为整个组织收集计费信息,你可能希望将与特定部署相关的成本归属于负责的团队。

为此,创建一个 @custom 管道(pipeline),在其中定义你的逻辑。

在我的示例中,我将使用以下逻辑:

  1. 所有名称中包含 “test” 的部署将归属于 QA 团队。
  2. 所有名称中包含 “security” 的部署将归属于安全团队。
  3. 所有其他部署将归属于开发团队。

创建自定义模板和摄取管道

实现这一逻辑需要在自定义模板中声明新的字段,并创建摄取管道:

PUT /_component_template/metrics-ess_billing.billing@custom
{"template": {"mappings": {"properties": {"team": {"type": "keyword"}}}}
}PUT /_ingest/pipeline/metrics-ess_billing.billing@custom
{"processors": [{"set": {"field": "team","value": "development"}},{"set": {"field": "team","value": "security","if": "ctx.ess.billing.deployment_name ==~ /.*security.*/"}},{"set": {"field": "team","value": "QA","if": "ctx.ess.billing.deployment_name ==~ /.*test.*/"}}]
}

你也可以使用 enrich 处理器 来创建与参考基准的 “join”,从而将每个部署与其负责人关联。

修改历史数据

很可能你是在初始数据拉取之后添加了上述摄取管道,在这种情况下,很多数据当前缺少新定义的字段。你可以通过手动更新已存在索引的映射,并执行查询更新(update by query)来 “修复” 数据:

PUT metrics-ess_billing.billing-*/_mapping
{"properties": {"team": {"type": "keyword"}}
}POST /metrics-ess_billing.billing-*/_update_by_query?pipeline=metrics-ess_billing.billing@custom&wait_for_completion=false

查看结果

现在,借助新创建的字段,你可以分析团队的支出趋势。让我们使用一些 ES|QL 来实现这一目的:

FROM metrics-ess_billing.billing-*| STATS `Team spending`=SUM(ess.billing.total_ecu)BY BUCKET(@timestamp,"1 month"), team

就我而言,我将细化粒度到每日支出,并为每个团队设定 1,000 ECU 的预算:

请注意,我可以如何实时测试我的查询,并确认这确实会在 11 月(当我的开发团队超出预算时)触发。

最后一步是配置你希望 Kibana 在警报触发时运行的操作。就我而言,这肯定是一封电子邮件,但你可以参考文档以获取有关所有可用连接器类型(connector types)的更多详细信息。

控制你的 Elasticsearch 服务成本

通过将 Elasticsearch 服务计费数据集成到你的可观察性管道中,你可以实时查看云支出,确保各团队的财务责任。通过在 Kibana 中使用自定义标签和警报,你可以跟踪费用、执行预算政策,并防止意外的成本超支。

准备好控制你的 Elasticsearch 服务成本了吗?今天就部署集成,定制它以匹配你的团队结构,并设置警报,提前预防预算意外。

注意: 本文中提到的任何功能或功能的发布和时间安排均由Elastic自行决定。当前不可用的功能可能无法按时交付,甚至可能无法交付。

原文:Track and control Elasticsearch Service costs with billing integration | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/71522.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【第12节】C++设计模式(结构型模式)-Proxy(代理)模式

一、问题背景 使用 Proxy 模式优化对象访问 在某些情况下,直接访问对象可能会导致性能问题或安全性问题。Proxy 模式(代理模式)通过引入一个代理对象来控制对原始对象的访问,从而解决这些问题。以下是几种典型的应用场景&#xf…

​DeepSeek:如何通过自然语言生成HTML文件与原型图?

在当今快节奏的开发与设计环境中,快速生成HTML文件或原型图是每个开发者与设计师的迫切需求。虽然DeepSeek无法直接生成图片,但它却能够通过自然语言生成流程图、原型图以及交互式页面,甚至可以直接输出HTML代码。本文将详细介绍如何与DeepSe…

Python-07PDF转Word

2025-03-04-PDF转Word DeepSeek等大模型从来都不是简单的写一个静态博客这么肤浅(太多博主都只讲这个内容了)借助全网大神的奇思妙想,拓展我狭隘的思维边界。 文章目录 2025-03-04-PDF转Word [toc]1-参考网址2-学习要点3-核心逻辑4-核心代码 …

【全栈开发】---- 一文掌握 Websocket 原理,并用 Django 框架实现

目录 介绍 底层原理 握手环节详解: 收发数据(加密) Django 中配置 channels 1、注册 channels 2、在 settings.py 中添加 asgi_application 3、修改 asgi.py 文件 4、routing 5、consumers 实现 聊天室 介绍 WebSocket是一种先进的通信协议&…

XTDrone+Mavros+Gazebo仿真——配置与控制不同的无人机

参考资料为XTDrone官方文档: 配置与控制不同的无人机 语雀XTDrone目前支持多旋翼飞行器(multiroto...https://www.yuque.com/xtdrone/manual_cn/vehicle_config# 1、修改无人机机型为solo 以outdoor3.launch为例,讲解如何配置不同的机型 …

快速熟悉JavaScript

目录 1.js的基本认知 2.js的基本语法 2.1 变量的声明 三个关键字的区别 2.2数据类型 2.2.1 基本数据类型 2.2.2 复杂数据类型 2.3对象的属性和方法 2.3.1属性 2.3.2访问方式 2.4.3动态操作 2.4.4方法 2.4字符串的常用属性和方法 2.5运算符 2.6逻辑控制语句 2.7函…

perl初试

我手头有一个脚本,用于从blastp序列比对的结果文件中,进行文本处理, 获取序列比对最优的hit记录 #!/usr/bin/perl -w use strict;my ($blast_out) ARGV; my $usage "This script is to get the best hit from blast output file wit…

确定 Flutter SDK 及其关联的 Gradle 版本与适配的 JDK 版本

最近在编写 Flutter 项目,发现不同的 Flutter SDK 版本有着不一样的 Gradle 版本,然后不同的 Gradle 版本需要不同的 JDK 版本。只有当三者都一致匹配时,才能正常的完成编译 首先,我们可以确定 Flutter SDK 对应的 Gradle 版本。…

unity6 打包webgl注意事项

webgl使用资源需要异步加载 使用localization插件时要注意,webgl不支持WaitForCompletion,LocalizationSettings.InitializationOperation和LocalizationSettings.StringDatabase.GetTable都不能用 web里想要看到具体的报错信息调试开启这两个&#xf…

Three.js 入门(基础材质、贴图、纹理、环境、遮蔽光、透明度、高光贴图)

本篇主要学习内容 : three常用的几种材质环境贴图、贴图、环境光、遮蔽光、透明度、高光贴图(纹理贴图) 点赞 关注 收藏 学会了 1.three常用的几种材质 1.1) 基础网格材质MeshBasicMaterial、漫反射网格材质MeshLambertMaterial、高光…

【大模型安全】大模型的技术风险

【大模型安全】大模型的技术风险 1.DDoS攻击2.常见的传统网络攻击方式3.恶意意图的识别4.AI生成虚假信息传播5.利用AI进行黑客攻击6.模型对抗攻击7.后门攻击8.Prompt攻击9.数据投毒攻击10.模型窃取攻击11.数据窃取攻击 1.DDoS攻击 2023年11月9日凌晨,OpenAI在官网公…

数据库设计方面如何进行PostgreSQL 17的性能调优?

在数据库设计方面,PostgreSQL 17 的性能调优可以从以下几个方面入手: 表结构设计 选择合适的数据类型:根据数据的实际范围和业务需求,选择占用空间小、查询效率高的数据类型。对于固定长度的字符串,如性别字段&#…

C++学习之路,从0到精通的征途:入门基础

目录 一.C的第一个程序 二.命名空间 1.namespace的价值 2.命名空间的定义 3.命名空间使用 三.C的输入与输出 1.<iostream> 2.流 3.std(standard) 四.缺省参数 1.缺省参数的定义 2.全缺省/半缺省 3.声明与定义 ​五.函数重载 1.参数个数不同 2.参数类型不…

PHP配置虚拟主机

虚拟主机: 不是真实存在的主机, 因为一台电脑理论上讲只能作为一个网站: 事实上,一个网站是一个文件夹. 在本地开发中&#xff0c;通过虚拟主机配置可以实现多域名独立访问不同项目目录&#xff08;如 www.project1.test 和 www.project2.test&#xff09;&#xff0c;以 ”XAM…

linux安装Kafka以及windows安装Kafka和常见问题解决

目录 Linux上安装Kafka 当主题删除不了时&#xff0c;可以进入zookeeper&#xff1a; windows上安装kafka 安装Kafka需要有Zookeeper&#xff0c;或者也可以使用kafka自带的zookeeper Linux上安装Kafka 将kafka的安装包上传到/export/server目录并解压&#xff0c;重命名&…

本地YARN集群部署

请先完成HDFS的前置部署&#xff0c;部署方式可查看:本地部署HDFS集群https://blog.csdn.net/m0_73641796/article/details/145998092?spm1001.2014.3001.5502 部署说明 组件配置文件启动进程备注Hadoop HDFS需修改 需启动: NameNode作为主节点 DataNode作为从节点 Secondary…

UnrealEngine UE5 可视化 从地球观察火星 金星 土星 运动轨迹

视频参考&#xff1a;https://www.bilibili.com/video/BV1KpXSYdEdo/ 从地球观察土星的运动轨迹 从地球观察火星 轨迹 从地球观察金星的运动轨迹

【练习】【二叉树】力扣热题100 102. 二叉树的层序遍历

题目 二叉树的层序遍历 给你二叉树的根节点 root &#xff0c;返回其节点值的 层序遍历 。 &#xff08;即逐层地&#xff0c;从左到右访问所有节点&#xff09;。 示例 1&#xff1a; 输入&#xff1a;root [3,9,20,null,null,15,7] 输出&#xff1a;[[3],[9,20],[15,7]] 示例…

鬼泣:项目前置设置杂项

能帮到你的话&#xff0c;就给个赞吧 &#x1f618; 文章目录 插件niagara ui render&#xff1a;在 UI 中渲染 Niagara 特效skeletal editor&#xff1a;编辑骨骼&#xff0c;调整骨骼动画motion warping&#xff1a;根据目标自动调整角色动画。animation warping&#xff1a;…

通用信息抽取大模型PP-UIE开源发布,强化零样本学习与长文本抽取能力,全面适配多场景任务

背景与简介 信息抽取&#xff08;information extraction&#xff09;是指&#xff0c;从非结构化或半结构化数据&#xff08;如自然语言文本&#xff09;中自动识别、提取并组织出结构化信息。通常包含多个子任务&#xff0c;例如&#xff1a;命名实体识别&#xff08;NER&am…