生态工具连接
Lakehouse 提供 JDBC 驱动、Python/Java SDK、Spark/Flink Connector 等多种接入方式,主流 SQL 客户端、BI 工具和 ETL 平台均已支持。按使用场景选择对应方案。
我要用 SQL 客户端连接 Lakehouse
推荐:DBeaver 或 DataGrip,通过 JDBC 驱动连接,支持 SQL 编辑、表结构浏览、数据导出。
| 工具 | 说明 | 参考文档 |
|---|---|---|
| DBeaver | 开源免费,社区版即可,适合日常查询和数据探索 | DBeaver 连接指南 |
| DataGrip | JetBrains 出品,代码补全和 SQL 分析能力强 | DataGrip 连接指南 |
| SQL Workbench/J | 轻量级,适合只需要基础 SQL 执行的场景 | SQL Workbench/J 连接指南 |
以上工具均通过 JDBC 驱动连接,连接串格式:
详见 JDBC 驱动。
我要用 BI 工具做数据可视化
| 工具 | 说明 | 参考文档 |
|---|---|---|
| 帆软 FineBI | 国内主流 BI,通过 JDBC 连接,适合企业内部报表 | FineBI 连接指南 |
| Tableau | 通过 JDBC 连接,适合复杂可视化和探索分析 | Tableau 连接指南 |
| Metabase | 开源,部署简单,适合中小团队自助分析 | Metabase 连接指南 |
| Apache Superset | 开源,支持 SQLAlchemy 连接,适合有运维能力的团队 | Superset 连接指南 |
| Rath | 开源智能分析工具,支持自动洞察 | Rath 连接指南 |
| Streamlit | Python 数据应用框架,适合数据科学团队快速搭建应用 | Streamlit 连接指南 |
| Zeppelin | Notebook 风格,适合数据探索和报告 | Zeppelin 连接指南 |
我要用 ETL 工具做数据集成
| 工具 | 说明 | 参考文档 |
|---|---|---|
| DataX | 阿里开源,适合离线批量数据同步,配置简单 | DataX 集成指南 |
| dbt | 数据转换工具,适合在 Lakehouse 内做 SQL 建模和数据转换 | dbt 集成指南 |
| Airbyte | 开源 ELT 平台,连接器丰富,适合多数据源汇聚 | Airbyte 集成指南 |
选型参考:
- 只需要从单一数据源同步数据 → DataX
- 需要在 Lakehouse 内做数据建模和转换 → dbt
- 需要对接多种 SaaS 数据源(Salesforce、HubSpot 等) → Airbyte
我要用编程方式接入
| 方式 | 语言 | 说明 | 参考文档 |
|---|---|---|---|
| JDBC 驱动 | Java / 任何 JVM 语言 | 标准 JDBC 接口,支持 SQL 查询和 DML | JDBC 驱动 |
| Python SDK | Python | 符合 PEP 249 规范,支持 SQL 查询、批量写入(bulkload)、实时写入 | Python SDK |
| Java SDK | Java | 支持批量写入(BulkLoad)和实时流写入(RealtimeStream) | Java SDK 批量上传 · Java SDK 实时上传 |
写入模式选择:
- 离线批量导入(GB 级以上) → BulkLoad(Java SDK 或 Python SDK bulkload)
- 实时逐行写入(毫秒级延迟) → RealtimeStream(Java SDK)或 Python SDK 实时上传
- 标准 SQL INSERT → JDBC
我要用计算引擎处理数据
| 引擎 | 说明 | 参考文档 |
|---|---|---|
| Apache Spark | 通过 Spark Connector 读写 Lakehouse 表,支持 DataFrame API 和 spark-sql | Spark Connector |
| Apache Flink | 通过 Flink Connector 写入 Lakehouse,支持 CDC 场景和 append-only 模式,仅支持结果表(写入) | Flink Connector |
| Flink Connector 两种模式: |
:支持 CDC(insert / update / delete),目标表需要有主键igs-dynamic-table
:只追加,不更新删除,目标表为普通表igs-dynamic-table-append-only
其他
| 工具 | 说明 | 参考文档 |
|---|---|---|
| MindsDB | 机器学习平台,可直接对 Lakehouse 数据做预测 | MindsDB 集成指南 |
对于列表之外的工具,可以根据工具支持的连接方式,使用 JDBC 驱动或 SQLAlchemy 创建自定义连接。
不确定用哪种方式?
联系我们
