创建同步表
1. 概述
1.1 应用场景
用户希望将业务数据库、SaaS 系统数据定时同步到分析数仓里，供后续开发使用。
1.2 功能简介
用户可创建同步表，将外部来源数据接入数仓并持续更新。
同步表从源端取数后，对数据不做处理直接同步到分析数仓中；分析数仓中生成的是一张可用于分析、开发和治理的数据表
1.3 前提条件
1）需要 配置存储计算引擎，用来存储源端数据。
2）需要配置来源端的数据连接，例如 RDS MySQL数据源连接，作为同步表的来源端。
2. 来源为数据库
2.1 创建同步表
1）用户在「数据准备」模块下，可点击「创建表」按钮，创建同步表；或者在指定文件夹中创建一张同步表。如下图所示：
2）配置同步表，如下图所示：
2.1.1 来源连接
需要配置来源端的数据连接。
同步表支持的来源端请参见：集成治理平台支持的数据源
2.1.2 添加表
支持一次性新建一个或多个同步表。
一张来源表只能被选择一次。
2.1.3 同步表名称&描述
同步表名称：
1）同步名称默认为来源表名称。
2）支持用户自定义；同步表名称不支持重名。
3）点击「详情」按钮，可预览来源表数据：
描述：
支持设置表描述。
2.1.4 数据同步逻辑
支持切换读取方式，用户根据实际情况设置。
设置项 | 说明 |
读取方式&写入方式 | 全量读取： 全量读取数据，清空目标表后再进行写入 |
增量读取：
| |
写入数据处理 | 规则适用范围： 字段范围：匹配所有非主键、允许为 NULL 的文本类型字段 功能说明： 1）将待写入数据对应字段的空字符串转化为 NULL 后再进行写入 2）字段结构调整后，系统会根据最新字段类型、主键和是否允许 NULL 等信息，重新确定「空字符串转为 NULL」的作用范围 从下一次同步开始：
3）历史数据不受本次转换影响；若采用增量同步，请重新同步历史数据，以确保数据一致性 4）配置完成创建同步表后，不支持修改该设置项 |
2.1.5 字段映射
序号 | 说明 |
1 | 数据存储中不存在与同步表同名的表： 数据存储说明： 创建同步表时将新建同名同表结构的物理表 主键说明： 1）源端为数据库+全量读取+清表写入：
2）其他场景
为了保证数据一致性，目标表主键必须与来源表主键保持一致 来源表和目标表都没主键时，数据可能会重复，不建议这样使用 数据存储中存在与同步表同名的表： 数据存储说明： 1）若数据存储中的同名表与同步表结构一致，将物理表与同步表进行绑定，根据当前写入方式写入数据 2）若数据存储中的同名表与同步表结构不一致，会进行提示：
用户可：
主键说明： 1）源端为数据库+全量读取+清表写入
2）其他场景
来源表和目标表都没主键时，数据可能会重复，不建议这样使用 |
2 | 可搜索字段 |
3 | 点击后，可显示来源表字段
|
4 | 该按钮场景：
|
2.1.6 数据存储位置
来源数据写入的位置。需要配置存储计算引擎，详情请参见：配置存储计算引擎
用户场景 | 数据存储情况 | 对应操作 | |
首次把外部表接入数仓 | 不存在与同步表同名的表 | 创建同步表时新建同名同表结构的物理表 | |
历史已经把外部表接入数仓 | 存在与同步表同名的表 | 数据存储中的同名表与同步表结构一致 | 将物理表与同步表进行绑定，根据当前写入方式写入数据 |
数据存储中的同名表与同步表结构不一致 |
1）删表重建：将原同名物理表删掉，重新建与同步表同名同表结构的物理表 2）修改物理表：对同名物理表进行DDL操作，使其表结构与同步表完全一致 | ||
2.2 结果查看
1）同步表配置完成后，点击「创建X张同步表」按钮，即可创建同步表；若部分同步表创建失败，进行提示：
用户可点击「重试」按钮重新创建，或者点击「取消」按钮，查看创建失败同步表的具体配置信息：
用户可修改配置或者取消创建。
2）同步表创建成功后，需要点击「更新」按钮，更新数据存储中的数据。
更新后，界面如下图所示：
3）可在「更新记录」Tab下，查看同步表的更新记录。如下图所示：
2.3 设置定时调度和结果通知
1）同步表详情页点击「调度计划」按钮，可为该同步表设置执行频率。
注：一个同步表只能设置一个定时调度；定时调度功能详细说明请参见：同步表设置调度计划
2）同步表详情页点击「结果通知」按钮，可为同步表 配置结果通知，当同步表更新异常时通知给对应负责人。如下图所示：
2.4 管理同步表
修改同步表、中止同步表更新、查看更新详情、手动更新同步表等说明请参见：同步表运维
可在运维中心中查看同步表的更新详情，详情请参见：运维中心
3. 来源为 Saas
3.1 创建同步表
1）用户在「数据准备」模块下，可点击「创建表」按钮，创建同步表；或者在指定文件夹中创建一张同步表。如下图所示：
2）配置同步表，如下图所示：
3.1.1 来源连接
需要配置来源端的数据连接。
同步表支持的来源端请参见：集成治理平台支持的数据源
3.1.2 添加表
点击「添加」按钮后，界面如下图所示：
设置项 | 说明 |
拆分子表 | 该按钮默认开启 开启时：
关闭时： 子表以 JSON 字段显示在主表中 |
通用说明 | 1）支持一次性新建一个或多个同步表 2）一张来源表只能被选择一次，不区分是否拆分子表 3）来源表添加后可被删除；若删除主表，子表也会被删除
4）支持对已添加的表进行筛选
|
3.1.3 同步表名称&描述
同步表名称：
1）同步名称默认为来源表名称的英文名。
2）支持用户自定义；同步表名称不支持重名。
描述：
支持为同步表添加描述。
3.1.4 数据同步逻辑
全量主表：
增量主表：
子表：继承主表
设置项 | 说明 |
读取方式 | 增量读取： 1）对于上游定义的增量表，支持增量读取 2）每次基于游标字段识别出增量数据，增量读取无法识别出增量区间内物理删除的数据
3）若拆分子表，游标字段显示在主表上，「初始位置」只能在主表上进行配置，子表展示跟随主表 全量读取： 1）对于上游定义的全量表，支持全量读取 2）定义：每次读取来源表全量的数据，适合数据量不大的表 3）若拆分子表，子表直接继承主表的数据同步逻辑 |
写入方式 | 增量读取：直接写入 全量读取：清表写入 |
写入数据处理 | 与「来源为数据库时」，写入数据处理逻辑相同；详情参见本文 2.1.4 节内容 |
3.1.5 字段映射&数据存储位置
详情请参见本文 2.1.5、2.1.6 节内容。
拆分主子表时：
1）子表中主表主键字段对应的同步表字段不支持删除。
3.2 结果查看
同步表配置完成后，点击「创建X张同步表」按钮，即可创建同步表；若部分同步表创建失败，会进行提示。
3.2.1 更新同步表
1）同步表创建成功后，需要点击「更新」按钮，更新数据存储中的数据。
增量表需要设置初始位置。
若拆分主子表，运行逻辑如下：
- 主表和子表详情页中都可点击「更新」按钮更新数据，更新时，同时更新主表和当前纳入同步范围的全部子表；即主表和子表不能单独更新。
- 更新当前表及下游说明：不管下游引用了主表还是任何子表，都属于这次同步的下游。
2）可在「更新记录」Tab下，查看同步表的更新记录。如下图所示：
若拆分主子表，说明如下：
- 主表和子表详情页中，都可通过「更新记录」Tab 查看更新详情，展示的是同一次更新记录，但对更新信息按所属表进行拆分。
- 运维中心中，主子表的同一条运行记录在运维中心展示一条，展示所有表的表级统计信息。
3.2.2 同步表详情页
若拆分主子表：
- 同步表详情页中会有主表、子表标识。
- 主子表分别拥有独立详情页。
3.3 设置定时调度和结果通知
2）主子表进行拆分时，主子表共用一套定时调度、结果通知；只能在主表的详情页中设置定时调度和结果通知，子表详情页中可跳转至主表配置定时调度和结果通知。
3.4 管理同步表
修改同步表、中止同步表更新、查看更新详情、手动更新同步表等说明请参见：同步表运维
可在运维中心中查看同步表的更新详情，详情请参见：运维中心
400-111-0890
在线咨询