成都网站设计 创新互联,新公司做网站有效果吗,中国建设银行网站个人客户官网,使用 加速乐 网站变慢笔者并没有专业的实时数仓的开发经验#xff0c;只是从别人经验和网上资料综合整理而来#xff0c;仅供参考。 实时数据开发步骤#xff1a;1、需求分析#xff1b;2、确定Source、Sink、Dim#xff1b;3、任务创建#xff1b;4、任务开发和修改#xff1b;5、参数与资…笔者并没有专业的实时数仓的开发经验只是从别人经验和网上资料综合整理而来仅供参考。 实时数据开发步骤1、需求分析2、确定Source、Sink、Dim3、任务创建4、任务开发和修改5、参数与资源配置6、任务发布7、任务运维 1、需求分析 根据业务需求评估复杂结果有一些例子 场景需求特点实现方案直播引导成交蓄水引导成交15d双流JOIN维表JOIN业务实时中间层口径定义降低成本指标达标去args营销活动实时行业1.回刷多2.累计曲线指标累计增长流批一体高性能UDF直播指标配置平台管理指标统一运维维度打标高表转化实时OLAP分析业务迭代快固定报表使用频率较低基于Hologres实时数仓开发 2、确定中间件 中间件包含Source(源)、Sink(目标端)、Dim维表这三个。另外明确中间件还需要尽量避免跨机房读写包含source实时流、Sink端数据库/实时流、dim表中间件以及Flink集群所在位置 2.1 Source端 主流source端分类 中间件特性用途TimeTunnel消息队列处理数据量大默认存储三天shard人工调整实时公共层复用性(ETL复杂逻辑收口)MetaQ存储默认1.5天shard分片数自动调整承接服务端变更消息Holo Binlog基于实时数仓holo作为明细表的选型- 2.2 Sink端选型 中间件特性用途TimeTunnel (TT)默认存储三天shard人工调整实时公共层复用性(ETL复杂逻辑收口)Lindom面向列族的NoSQL数据库海量数据KV高效查询支持点查特定场景范围查询大屏场景如商家、或者主播视角Holo Binlog支持海量数据实时写入、实时更新、实时分析支持PB级数据多维分析OLAP与即席分析Ad Hoc实时公共层复用性ETL复杂逻辑收口方便排查问题对接B报表系统生态Holo主要服务于小二无缝对接问大部分场景Adb支持高吞吐的数据实时增删改、低延时的实时分析和复杂ETL用途同Holo生态ADB服务于外部企业需要更高的稳定因而成本也会更高一些IGraph在线图存储系统数据存在主key查询围绕key展开查询rt有高要求数据一致性、持久性要求不高、更新生效时间要求不高算法实时特征 2.3 Dim表选型 维表存储选择根据量级/更新频率 建议选型ODPS量级5000w/T1更新Lindom量级1000w/实时更新Hologres如果量级1000w使用bhclient方式优化 3、任务创建 保证任务的可读性、可维护性和可扩展性有助于提高开发效率和代码质量。 4、任务开发 高质量的实时任务开发可大幅提高任务的性能、稳定性与准确性从而使得任务能够更好地服务于实际业务需求。 5、参数与资源配置 参数与资源配置在实时开发中至关重。 6、任务发布 分为:数据验证、数据回归、发布管控 7、实时运维 日常运维单任务报警设置、基线保障 大促保障①促前容量评估-资源上报-大促资源快上-业务单压-全链路验收压测/预案②促中大促值班保障③促后大促资源快下。