浙江耀华建设集团网站,企业网站建设制作设计哪家最专业,要建立网站和账号违法违规行为数据库和什么黑名单,做网站专题的软件StarRocks 于 4 月底正式发布了 3.0 版本#xff0c;该里程碑版本带来了大家期盼已久的新特性--存算分离。此新功能一推出#xff0c;立即受到社区热情追捧#xff0c;用户纷纷开始在自己的业务中评估和测试存算分离效果。从芒果TV、聚水潭、网易邮箱、浪潮、天道金科等数十…StarRocks 于 4 月底正式发布了 3.0 版本该里程碑版本带来了大家期盼已久的新特性--存算分离。此新功能一推出立即受到社区热情追捧用户纷纷开始在自己的业务中评估和测试存算分离效果。从芒果TV、聚水潭、网易邮箱、浪潮、天道金科等数十家客户的测试反馈来看存算分离在查询性能弹性扩缩容降低存储成本等方面均有不错的表现目前多个用户也开始在实际业务中陆续上线使用StarRocks 存算分离上线的场景包含电商 ERP 订单分析系统、金融业务数据分析和制造业设备数据分析。由此可见StarRocks 存算分离已达到生产可用的高标准。 自 StarRocks 3.0 发布以来的三个月里我们收到了众多来自社区小伙伴的热烈反馈。我们第一时间对这些反馈进行了梳理针对大家共同感兴趣的几个问题进行了详尽分析。以下节选了部分社区伙伴的真实测试反馈更多用户实测结果请参考https://mp.weixin.qq.com/s/cQ88qm2xOJSlrb442uD_XA 性能是否强悍依旧 大家首先关注的点还是存算分离能否继续保持 StarRocks 存算一体模式下强悍的查询性能下图展示了在 TPC-DS 1TB 数据集规模下存算分离和存算一体的性能测试结果 System Excution time(s) comparison to StarRocks native StarRocks (native) 423.618 1 StarRocks (cloud-native) 428.167 1.01 StarRocks (cloud-native-no-cache) 667.887 1.57 标准数据集结果显示 在 cache 全命中的条件下存算分离性能与存算一体查询性能几乎保持一致 即使在 cache 完全 miss 情况下查询性能下降也在可接受的范围内 除了标准数据集社区小伙伴也拿真实业务验证了这一点社区用户杨荣反馈了真实业务场景中测试的查询结果 “从下面面的对比图可以看出q2 - q5 四个 sqllocal 表与 cloud native 表的查询性能基本持平q1 在 10 并发以上的场景下 cloud native 表都比 local 表查询性能要好”。 参考报告 https://forum.mirrorship.cn/t/topic/7095 ​ 而来自社区用户聚水潭则从导入和高并发查询评估性能 “对于单 SQL 查询来看开启本地缓存后有明显优化查询性能基本和存算一体表持平根据回放测试表现来看基本都可以符合在 100 左右的 QPS对于当前的业务场景基本符合预期” 参考报告 https://forum.mirrorship.cn/t/topic/7038 所以存算分离性能是否强悍依旧用户给出的答案是 Yes 功能是否完备 StarRocks 存算分离版本自推出开始就在功能上与存算一体保持同步存算一体上的各种新功能在存算分离版本上通过快速的版本迭代也能无缝体验。 在 4 月底推出的 3.0 版本中我们支持了明细模型、聚合模型的存储计算分离能力并且支持了国内外所有主流对象存储系统以及 HDFS 等。在后续的 3.0.x 版本中社区将持续优化内核保证在各种存储系统上都能完美运行。此外在 3.0 版本中我们也推出了基于 Local Disk 的热数据 Cache 能力保障存算分离下极致的查询性能。 在即将推出的 StarRocks 3.1 版本中我们将会重点支持主键模型的存算分离不少社区小伙伴已经通过最近的 RC 版本抢先体验了该能力基于对象存储数据依旧可以实时更新另外我们还将推出自研的更细粒度 Cache 机制进一步提升缓存效率。该版本也将成为我们的 LTS 版本用户就可以在生产环境中大规模使用存算分离。 所以存算分离和存算一体在功能上不仅保持一致还有以下优势 支持公有云、私有化部署模式随时随地开箱即用 支持基于 S3 协议/HDFS 存储节省存储空间的同时提升数据的可靠性 支持所有的表模型明显模型聚合模型更新模型主键模型用户切换 0 成本 物化视图能力外表查询等能力与存算一体一致湖仓加速毫不费力 可否灵活弹性 部分社区小伙伴业务有比较明显的峰谷特点看中了存算分离的弹性能力验证了在节点扩容时性能也能同步提升 搭建 StarRocks 3.0 存算分离版本通过增加 BE 计算节点的方式对 SSB 和 TPCH 进行压测得到如下测试结果。通过下面的图表横坐标为 BE 数量纵坐标为响应时长单位 s可知 集群整体的查询能力随计算节点数增加而提升 由此可见StarRocks 存算分离不仅可以灵活弹性并且性能可随节点增加而提升 可否真的降本增效 看完了性能聊完了弹性。接下来让我们简单算算账看看存算分离能为用户省多少 money 以下是某在线教育头部客户的某个集群统计数据其当前 StarRocks 规模大概如下 每日新增导入数据量约为 1.6TB最大日常大概新增约 500GB每秒导入次数最大约为 215 秒导入20 次Tablet 数量 15 BE 节点数目为 5集群总节点数量为 6FE 和 BE 有混部节点规格为 32core 128G 内存 每年元数据 PutObject 调用产生的次数为 2 * 2 * 15 * 3600 * 24 * 365 1892160000 每年 Segment 上传而产生的 PutObject 调用次数为 2 * 15 * 3600 * 24 * 365 946080000 总的次数为 2838240000 存储介质成本对比1 TB 数据年费用 存储介质 PutObjetc访问次数费用($) 存储容量费用($) 总费用($) AliYun OSS 2838240000 * 0.001563 / 10000 443 0.0173 * 1024 * 12 213 656 AliYun ESSD LP 1 0 1024 * 12 * 3(副本数) / 7.1汇率 5192 5192 所以在性能不变的情况下用户存储成本整体下降到原来的 1/8 存算分离稳定了吗 这也是许多用户最为关心的问题毕竟新特性需要经过大量用户场景的实践验证。自 StarRocks 3.0 版本推出存算分离以来我们已接受了大量社区小伙伴的测试验证了其稳定性。截止目前已经有聚水潭天道金科芒果TV等用户开始在实际场景对存存算分离进行上线验证并取得了不错的效果。业务也开始逐步体验新架构带来的极速、弹性等优点。接下来我们将发布相关的用户案例社区会陆续邀请用户对存算分离最佳实践进行深入分享让更多人了解存算分离在实际用户侧的业务成果和效益。 存算分离怎么用 StarRocks 的存算分离版本目前已经在3.0版本发布用户可自行前往官网下载体验测试且存算分离同时支持物理机和K8S环境部署。另外社区也正积极和国内各大云厂商合作即将在各公有云EMR服务上线存算分离版本用户可以通过各种不同渠道体验存算分离新能力。 下载链接https://www.mirrorship.cn/zh-CN/download/community StarRocks 存算分离立刻行动即刻上线 StarRocks Feature Group-存算分离 对 StarRocks 存算分离功能感兴趣的小伙伴们欢迎加入我们的“StarRocks 存算分离用户小组”。 下方添加小助手回复关键字“存算分离”即可加入马上开启你的降本增效之路 https://842372.ma3you.cn/articles/Oz4kpdl/