【活动回顾】StarRocks Singapore Meetup #2 @Shopee

3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 ShopeeGrabPinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。

以下为本次活动的精彩回顾,演讲视频、PPT 及相关用户案例文章可通过文末链接获取更多信息。

Leveraging Big Data Infra for E-Commerce Online Applications by Shopee

Gong Chen, Senior Expert Engineer(左)

Yan Duan, StarRocks Active Contributor & Senior OLAP Engineer (右)

Gong Chen 分享了 Shopee 如何通过 Data Service Platform 支持电子商务在线应用,每日处理超过 2 亿次 OLAP 查询。由于旧的数据架构无法满足延迟一致性、高实时性和 SLA 保证等需求,Shopee 引入了 StarRocks,简化了架构并通过物化视图进行预计算,显著提升了性能。目前,平台已支持 100 多个 API,日均处理 200 万次查询,TP95 延迟低至 26 毫秒,支撑了广告、供应链、安全基础设施和反欺诈等核心业务场景。

Yan Duan 则分享了 Shopee 如何通过优化元数据缓存提升 ad-hoc 集群的查询性能。通过 Managed table、External table 和虚拟视图定制缓存策略,Shopee 将查询计划时间减少了 50% 以上,并将查询结果不匹配率从 3.1% 降至 0.9%,同时有效降低了 HMS 的压力。

StarRocks @ Grab

Gable Heng, Lead Data Engineer, Grab(左)

Huong Vuong, Senior Software Engineer, Grab(右)

Grab 是东南亚领先的超级应用平台,业务涵盖出行、外卖、配送、数字支付和金融服务等领域。Gable Heng 分享了 Grab 如何利用 StarRocks 优化交互式查询和 BI 报表场景。通过引入 StarRocks 的 Query Cache、异步物化视图和多 FE 节点等特性,Grab 将图表报表从平均 11.8 秒提升至 0.456 秒,性能提升了 25 倍。

Huong Vuong 则介绍了 Grab 如何通过 StarRocks 改进 Spark 任务的可观测性工具 Iris。StarRocks 解决了 TIG 栈(Telegraf、InfluxDB、Grafana)在处理高基数数据和复杂元数据时的性能瓶颈,并通过物化视图和动态分区功能简化了数据聚合和管理,显著提升了近实时数据的可用性。

How Pinterest Delivers Fast Customer-Facing Analytics

(Zhenxiao Luo, Senior Staff Software Engineer,Pintrest)

Zhenxiao Luo 分享了 Pinterest 如何通过引入 StarRocks 替代传统的 Apache Druid,解决了 JOIN、物化视图和实时更新等功能的缺失问题。StarRocks 提供了完整的 SQL 支持、列式存储和向量化执行,显著提升了查询性能,并将实时数据分析的延迟降低了 50%。通过存算分离模式和 Archmage 集成,Pinterest 实现了更高效的数据处理,同时降低了成本,支持了广告报表、实验分析和反垃圾平台(anti-spam)等关键业务场景。

由于这段视频现场视频的收音效果不理想,我们最终采用了 Zhenxiao 老师此前在线上直播分享的视频片段。值得一提的是,在分享开始前,Zhenxiao 老师还与我们分享了他第一次到新加坡的激动心情。为了这次活动,他特意从加州飞了 17 个小时抵达新加坡(几乎是直飞的最远距离之一)。尽管旅途漫长,但他的分享热情丝毫未减,为活动增添了不少亮点。

Query Resilience: Achieving Low Latency with SLA

(Harrison Zhao, StarRocks TSC Member)

Harrison Zhao 作为产品负责人,分享了 StarRocks 在低延迟和高可用性方面的优化。他提到,稳定的低延迟对于用户体验、业务决策和客户信任至关重要。StarRocks 通过优化查询性能(如 poller-free 架构、runtime filter 下推)和确保缓存稳定性(如主动缓存预热、分段 LRU),能够在面对工作负载变化和基础设施故障时保持高可用性。智能工作负载管理和查询计划稳定性进一步帮助系统在满足严格 SLA 的同时,提供高效、可靠的实时分析服务。

活动现场花絮:

以上就是本次新加坡 Meetup 的精彩内容回顾。未来,StarRocks 将持续分享更多来自国内外用户的实践故事与经验。我们也诚挚邀请更多技术专家加入我们的讲师团队,共同将技术干货分享给更多大数据行业的从业者!

相关链接:

🔽 PPT 下载:https://forum.mirrorship.cn/t/topic/18005

📺 视频:https://space.bilibili.com/1273141509/lists/3059098?type=season

📚 文章:

StarRocks 在 Shopee 数据产品的实践

Pinterest:从 Druid 到 StarRocks,实现 6 倍成本效益比提升

https://engineering.grab.com/building-a-spark-observability

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/75839.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Retinexformer:基于 Retinex 的单阶段 Transformer 低光照图像增强方法

开头发点牢骚:本来做的好好都都要中期了,导师怎么突然给我换题目啊。真是绷不住了......又要从头开始学了,唉! 原论文链接:Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement 低光…

后端——AOP异步日志

需求分析 在SpringBoot系统中,一般会对访问系统的请求做日志记录的需求,确保系统的安全维护以及查看接口的调用情况,可以使用AOP对controller层的接口进行增强,作日志记录。日志保存在数据库当中,为了避免影响接口的响…

flink广播算子Broadcast

文章目录 一、Broadcast二、代码示例三.或者第二种(只读取一个csv文件到广播内存中)提示:以下是本篇文章正文内容,下面案例可供参考 一、Broadcast 为了关联一个非广播流(keyed 或者 non-keyed)与一个广播流(BroadcastStream),我们可以调用非广播流的方法 connect(),…

Redis 和 MySQL双写一致性的更新策略有哪些?常见面试题深度解答。

目录 一. 业务数据查询,更新顺序简要分析 二. 更新数据库、查询数据库、更新缓存、查询缓存耗时对比 2.1 更新数据库(最慢) 2.2 查询数据库(较慢) 2.3 更新缓存(次快) 2.4 查询缓存&#…

SRT协议

SRT(Secure Reliable Transport)是一种开源的视频传输协议,专为高丢包、高延迟网络环境设计,结合了UDP的低延迟和TCP的可靠性,广泛应用于直播、远程制作、视频会议等场景。 定位:SRT协议的官方C/C实现库&am…

“征服HTML引号恶魔:“完全解析手册”!!!(quot;表示双引号)

&#x1f6a8;&#x1f4e2; "征服HTML引号恶魔&#xff1a;“完全解析手册” &#x1f4e2;&#x1f6a8; &#x1f3af; 博客引言&#xff1a;当引号变成"恶魔" &#x1f631; 是否遇到过这种情况&#xff1a; 写HTML时满心欢喜输入<div title"他…

npm install 卡在创建项目:sill idealTree buildDeps

参考&#xff1a; https://blog.csdn.net/PengXing_Huang/article/details/136460133 或者再执行 npm install -g cnpm --registryhttps://registry.npm.taobao.org 或者换梯子

c++中cpp文件从编译到执行的过程

C 文件从编写到执行的过程可以分为几个主要阶段&#xff1a;编写代码、预处理、编译、汇编、链接和运行。以下是每个阶段的详细说明&#xff1a; 1. 编写代码 这是整个过程的起点。程序员使用文本编辑器&#xff08;如 VSCode、Sublime Text 或其他 IDE&#xff09;编写 C 源…

PROE 与 STL 格式转换:开启 3D 打印及多元应用的大门

在 3D 设计与制造的复杂生态中&#xff0c;将 PROE 格式转换为 STL 格式绝非无端之举&#xff0c;而是有着深厚且多元的现实需求作为支撑。 一、文件格式介绍​ &#xff08;一&#xff09;PROE 格式​ PROE 作为一款参数化设计软件&#xff0c;采用基于特征的参数化建模技术…

开发中后端返回下划线数据,要不要统一转驼峰?

先说结论。看情况&#xff01;&#xff01;&#xff01;&#xff01; 前端 主要用 JS/TS 建议后端返回 camelCase&#xff0c;减少前端转换成本。后端 主要是 Python/Go 建议保持 snake_case&#xff0c;前端做转换。但是团队统一风格最重要&#xff01;如果统一返回驼峰就驼峰…

docker pull时报错:https://registry-1.docker.io/v2/

原文&#xff1a;https://www.cnblogs.com/sdgtxuyong/p/18647915 https://www.cnblogs.com/OneSeting/p/18532166 docker 换源&#xff0c;解决连接不上的问题。 编辑以下文件&#xff0c;不存在则创建&#xff1a; vim /etc/docker/daemon.json {"registry-mirrors&qu…

Pytorch学习笔记(十二)Learning PyTorch - NLP from Scratch

这篇博客瞄准的是 pytorch 官方教程中 Learning PyTorch 章节的 NLP from Scratch 部分。 官网链接&#xff1a;https://pytorch.org/tutorials/intermediate/nlp_from_scratch_index.html 完整网盘链接: https://pan.baidu.com/s/1L9PVZ-KRDGVER-AJnXOvlQ?pwdaa2m 提取码: …

基础算法02——冒泡排序(Bubble Sort)

冒泡排序&#xff08;Bubble Sort&#xff09; 冒泡排序&#xff1a;是一种简单的排序算法&#xff0c;其基本思想是通过重复遍历要排序的列表&#xff0c;比较相邻的元素&#xff0c;并在必要时&#xff08;即前面的数比后面的数大的时候&#xff09;交换它们的位置&#xff…

RestTemplate远程调用接口方式

1.Post(body空参) 也就是说需要给一个空的json 代码: String getDeviceUrl this.MOVABLE_URL "detected-data/getMachineLists"; // 远程调用 RestTemplate restTemplate new RestTemplate(); restTemplate.getMessageConverters().set(1,new StringHttpMessageC…

ar头显和眼镜图像特效处理

使用一个线程从摄像头或者其他设备循环读取图像数据写入链表&#xff0c;另一个线程从链表循环读取数据并做相应的特效处理&#xff0c;由于写入的速度比读取的快&#xff0c;最终必然会因为写入过快导致线程读写一帧而引发冲突和数据帧正常数据帧被覆盖。最好使用共享内存&…

mysql--socket报错

错误原因分析 MySQL 服务未运行&#xff08;最常见原因&#xff09; 错误中的 (2) 表示 “No such file or directory”&#xff0c;即 /tmp/mysql.sock 不存在这通常意味着 MySQL 服务器根本没有启动 socket 文件路径不匹配 客户端尝试连接 /tmp/mysql.sock但 MySQL 服务器可…

labview加载matlab数据时报错提示:对象引用句柄无效。

1. labview报错提示 labview加载mat数据时报错提示&#xff1a;对象引用句柄无效。返回该引用句柄的节点可能遇到错误&#xff0c;并没有返回有效的引用句柄。该引用句柄所指的存储可能在执行调用之前已关闭。报错提示如下&#xff1a; 这是由于labview缺少matlab MathWorks导…

面试计算机操作系统解析(一中)

判断 1. 一般来说&#xff0c;先进先出页面置换算法比最近最少使用页面置换算法有较少的缺页率。&#xff08;✘&#xff09; 正确答案&#xff1a;错误解释&#xff1a;FIFO&#xff08;先进先出&#xff09;页面置换算法可能导致“Belady异常”&#xff0c;即页面数增加反而…

如何防御TCP洪泛攻击

TCP洪泛攻击&#xff08;TCP Flood Attack&#xff09;是一种常见的分布式拒绝服务&#xff08;DDoS&#xff09;攻击手段&#xff0c;以下是其原理、攻击方式和危害的详细介绍&#xff1a; 定义与原理 TCP洪泛攻击利用了TCP协议的三次握手过程。在正常的TCP连接建立过程中&a…

20250330 Pyflink with Paimon

1. 数据湖 2. 本地安装Pyflink和Paimon 必须安装Python 3.11 Pip install python -m pip install apache-flink1.20.1 需要手动加入这两个jar 测试代码&#xff1a; import argparse import logging import sys import timefrom pyflink.common import Row from pyflink.tab…