Table Stream

Table Stream 是 Lakehouse 的变更数据捕获(CDC)机制,用于捕获表上发生的 INSERT、UPDATE、DELETE 变更,供下游任务消费。

详细介绍参见 Table Stream 对象模型


本章内容

页面说明
TABLE STREAM 简介完整概念、工作原理和最佳实践
CREATE TABLE STREAM创建 Stream,支持 STANDARD 和 APPEND_ONLY 模式
DESC TABLE STREAM查看 Stream 详情,包括 offset 位点和 stale 状态
SHOW TABLE STREAMS列出当前 Schema 下的所有 Stream
DROP TABLE STREAM删除 Stream(不影响源表数据)

常用操作

创建 Stream

-- STANDARD 模式:捕获所有 DML 变更(INSERT / UPDATE / DELETE) CREATE TABLE STREAM orders_stream ON TABLE orders WITH PROPERTIES ('TABLE_STREAM_MODE' = 'STANDARD'); -- APPEND_ONLY 模式:仅捕获 INSERT,适合日志类仅追加表 CREATE TABLE STREAM events_stream ON TABLE events WITH PROPERTIES ('TABLE_STREAM_MODE' = 'APPEND_ONLY');

消费 Stream

-- 通过 INSERT INTO ... SELECT 消费,offset 自动推进 INSERT INTO dwd_orders SELECT order_id, user_id, amount, status FROM orders_stream;

查看与删除

-- 查看 Stream 列表 SHOW TABLE STREAMS; -- 查看 Stream 详情(含 offset、stale 状态) DESC TABLE STREAM orders_stream; -- 删除 Stream DROP TABLE STREAM orders_stream;


相关文档

文档说明
Table Stream 对象模型核心概念、选型场景、常见问题、成本说明
Table Stream 最佳实践生产环境配置建议
实时数据管道选型指南Pipe / Stream / 动态表 选型对比
联系我们
预约咨询
微信咨询
电话咨询
邮件咨询