网站 数据库+1,注册建筑工程公司需要什么条件,常见的电子商务网站有,wordpress drupal 慢目录 前言 一、原有方案及其痛点 二、引入StarRocks 三、方案改造 3.1 架构设计 3.2 数据流程 3.3 性能指标 3.4 改造收益 前言 华米科技是一家基于云的健康服务提供商#xff0c;每天都会有海量的埋点数据#xff0c;以往基于HBase建设的埋点计算分析项目往往效率上…目录 前言 一、原有方案及其痛点 二、引入StarRocks 三、方案改造 3.1 架构设计 3.2 数据流程 3.3 性能指标 3.4 改造收益 前言 华米科技是一家基于云的健康服务提供商每天都会有海量的埋点数据以往基于HBase建设的埋点计算分析项目往往效率上会相对比较低查询方式不够灵活 。 在埋点分析中用户往往是基于单维度或者多维度组合去观测某个指标这里的维度可以是时间事件名称城市或者设备属性等指标可以是用户量、某个埋点的次数等。在此海量埋点数据背景下如何比较灵活高效的完成维度指标的计算满足用户快速查询分析的需求是一个值得探索的问题。基于高效的OLAP引擎建设埋点分析平台就成为了业务发展中的重要一环。 一、原有方案及其痛点 在之前的架构中华米科技的埋点数据统计相关信息需要根据统计的指标优先将需要计算的指标例如PV、UV通过Spark /Hive进行预计算操作然后写入到HBase中对下游相关用户提供点查的能力。 对于该方案以下三点是较为不便的 在HBase中数据以KV形式存储只能提供点查能力不具备复杂的统计分析能力无法使用Bitmap 相关技术将需要的指标事先计算出来方式不够灵活不能做集合操作流程链路较长维护复杂度高不具备模型抽象能力业务升级有所不便。 二、引入StarRocks 针对数据存储层的问题着力于寻找一款高性能、简单易维护的数据库产品来替换已有的 Spark HBase 架构同时也希望在业务层上能突破HBase点查的限制通过实时多表关联的方式拓展业务层的需求。 目前市面上的 OLAP 数据库产品很多诸如 Impala、Druid、ClickHouse 及 StarRocks。在经过一系列的对比之后选择了 StarRocks 来作为 华米的 OLAP 引擎替换原有的HBase成为存储层的新选择。 从上面的对比可以看出StarRocks是一款极速全场景 MPP企业级数据库产品具备水平在线扩缩容兼容Mysql协议和Mysql生态提供全面向量化引擎与多种数据源联邦查询等重要特性在全场景OLAP业务上提供统一的解决方案适用于对性能实时性并发能力和灵活性有较高要求的各类应用场景。 三、方案改造 3.1 架构设计 当前埋点数据经由网关转入kafka采用Hudi on Flink 的模式进行数据清洗过滤转换基于流式数据湖构建OLAP的预处理层。根据数据特性和写入的性能要求以及成本的权衡分别基于Hudi 的 Upsert 和 Append 模式构建 DWD 层借助 Hudi 的去重、追加能力,定时离线处理数据转入DWS考虑数仓的整体架构以及成本优化将DWS数据定时离线导入到StarRocks中最后经由统一的查询分析平台查询StarRocks数据。 3.2 数据流程 详细流程如下 1对原始数据进行数据转换处理然后根据数据特性分别以Upsert 模式和Append模式接入Hudi对数据重复不敏感的业务数据直接以Append 模式高效写入Hudi 2将产出的数据经由 Broker Load 写入带有Btimap字段的聚合模型生成业务Btimap数据 3根据业务需求自定义对Btimap进行集合操作当前的应用场景为生成PVUV等数据 4用户根据查询分析平台进行自助业务指标查询 3.3 性能指标 通过StarRocks的监控平台可以看到查询的平均耗时在100ms左右P99延迟大概在250ms 左右能够很好地满足埋点数据分析平台业务上的需求。 3.4 改造收益 高效能够快速响应用户的查询分析需求很多大查询效率从分钟级别降低至秒级。灵活满足多维度、多时间段自由组合的指标统计分析不需要提前计算冗余统计指标。节约空间StarRocks 自身的高效存储结构同等业务量的数据存储成本较以往下降20%简单相较于 ClickHouse维护管理所需的人力成本有所降低。便捷用户自助查询便捷取数体验有所提升部分指标点查速度从之前的分钟级降低到秒级部分指标可以达到毫秒级。 参考文章 https://mp.weixin.qq.com/s/ci9iRMz4FvqcXs5FtBSxKg