Hologres Dynamic Table 在淘天价格力的业务实践

作者：闵加坤 | 淘天集团价格平台开发工程师

业务介绍

淘天价格力团队作为平台价格治理的核心部门，承载着淘宝天猫全域商品价格管理的重要职责。团队掌握着淘内外所有商品的全量价格信息，包括商品原价、券后价等多维度价格数据，每日增量数据规模达亿级以上。

在电商大促上下线时（如618、双11），价格变动频率会呈现数倍增长，这些海量数据不仅体量大，而且具有高时效性、强关联性和复杂变化特征。在大促常态化的现状下，行业运营急需高时效性的数据看板以便及时发现问题，并且需要商品维度、店铺维度等多维圈选能力，及时圈选出符合要求的数据并进行处理或分析。Hologres Dynamic Table完美契合业务需求。

Hologres Dynamic Table介绍

视图是基于表的虚拟表，不存储数据只存储查询逻辑，每次访问时动态执行SQL，返回最新结果，主要帮助我们简化复杂查询。如果没有视图，那么对于以下查询，需要我们自己保存到一个地方，查询时执行完整SQL。

SELECT region, SUM(amount) as total_sales FROM orders WHERE status = 'completed';

如果有视图，我们可以把查询托管给视图，直接查询视图，可以简化使用。

-- 创建视图 CREATE VIEW sales_summary AS SELECT region, SUM(amount) as total_sales FROM orders WHERE status = 'completed'; -- 查询视图 SELECT * FROM sales_summary;

视图虽然帮我们管理了SQL的定义，但是复杂逻辑SQL的执行通常很耗费时间。将视图的查询结果实际保存下来就是物化视图。物化视图的结果需要定期更新以保证数据新鲜度。所以物化视图就是预定义SQL + 物化结果 + 周期更新。

Hologres Dynamic Table与物化视图类似，架构如下，提供全量刷新与增量刷新两种刷新模式。

全量刷新就是在周期到来时进行一次全量刷新覆盖，相当于Insert Overwrite。

增量刷新每次只处理增量数据，原理为在底层创建一个列存state表，存储中间状态（类似Flink state）。增量数据先以微批次方式做内存态聚合，再与state表合并，最后提交时以BulkLoad写入动态表。

在 HologresV3.1中 Dynamic Table 的能力如下。

备注	提供auto模式，若Query支持增量刷新则优先选择增量刷新，否则退化为全量刷新
文档	声明式数据处理自动数据流转-Dynamic Table-实时数仓 Hologres-阿里云
刷新模式	增量刷新	全量刷新
技术实现	微批次增量处理	INSERT OVERWRITE
刷新触发	定时/手动
最小可配置间隔	1分钟
增量机制	Binlog：处理CDC数据 Stream：文件级别处理增量数据，读取性能比Binlog高。	无（全量）
基表类型	内表、动态表、Paimon外表	内表、动态表、Paimon外表、ODPS外表、DLF外表
Join支持	✅ 完整Join支持
聚合函数	✅ 支持
索引配置	✅ 支持
窗口函数	❌ 不支持	✅ 支持
IN子查询	❌ 不支持	✅ 支持
查询改写	❌ 不支持
分区支持	✅ 物理/逻辑分区
分区刷新	配置范围
历史分区回刷	✅ 手动回刷
计算资源	Local/Serverless Serverless是实例资源上额外的资源，最大4096core，可为动态表设置可用core。
资源隔离	实例资源/Serverless隔离
Query变更：新增列、修改计算逻辑	✅ 支持
主要限制	Stream模式基表只能是列存表若上游表为分区表，无法同时消费上游表的多个分区。仅支持把刷新模式从增量改为全量，不支持从全量改为增量	• 资源消耗大