-
-
Notifications
You must be signed in to change notification settings - Fork 6
/
Copy pathdata_compare_task.toml
95 lines (90 loc) · 4.03 KB
/
data_compare_task.toml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
task-name = "dct_33to45"
datasource-name-s = "tidb186"
datasource-name-t = "oracle10g"
comment = "测试数据源"
[case-field-rule]
# 控制配置文件内所有 *-s 参数配置值以及 column-route-rules 中的 key 值
# 1，参数值是 0 代表以当前配置文件为准，与源端对比
# 2，参数值是 1 代表统一转换值为小写，与源端对比
# 3，参数值是 2 代表统一转换值为大写，与源端对比
case-field-rule-s = "0"
# 控制配置文件 *-t 以及 column-route-rules 中的 value 值
# 1，参数值是 0 代表统一转换数据库名、表名、字段名值以当前配置文件为准
# 2，参数值是 1 代表统一转换数据库名、表名、字段名值为小写
# 3，参数值是 2 代表统一转换数据库名、表名、字段名值为大写
case-field-rule-t = "2"
[schema-route-rule]
schema-name-s = "sbtest"
schema-name-t = "MARVIN"
# include-table-s 迁移所有表需指定 "*"，特定表写具体表名
include-table-s = ["sbtest1"]
#include-table-s = ["MARVIN00","MARVIN01","MARVIN05"]
#include-table-s = ["PM_TC_PROCESS_CODE","MARVIN00","MARVIN01"]
exclude-table-s = []
[[schema-route-rule.table-route-rules]]
table-name-s = ""
table-name-t = ""
column-route-rules = {}
[[data-compare-rules]]
table-name-s = ""
compare-condition-field = ""
# 指定检查数据范围或者查询条件 upstream
compare-condition-range-s = ""
# 指定检查数据范围或者查询条件 downstream
# 如果没有填写，则取 compare-condition-range-s 值，主要用于上下游字段名不一样
compare-condition-range-t = ""
# 忽略对比字段列
ignore-select-fields = []
# 禁止条件查询选择字段
# compare-condition-field 优先级高于 ignore-condition-fields
ignore-condition-fields = []
# 指定分片 chunk sql hint
# 优先级高于 data-compare-param
sql-hint-s = ""
# 指定分片 chunk sql Hint
# 优先级高于 data-compare-param
sql-hint-t = ""
# 表串行运行，表内并发
[data-compare-param]
# 初始化表任务并发数
table-thread = 100
# 数据写入批量大小
batch-size = 50
# 表内 SQL 执行并发数，表示同时多少并发 SQL 读取上下游表数据，可动态变更
sql-thread = 16
# 数据校验写 meta 数据库并发数
write-thread = 4
# 数据对比范围 chunk 行数
chunk-size = 500
# 禁止条件查询选择字段
ignore-condition-fields = []
# 指定分片 chunk sql hint
sql-hint-s = ""
# 指定分片 chunk sql Hint
sql-hint-t = ""
only-compare-row = false
# calltimeout，单位：秒
call-timeout = 36000
enable-checkpoint = true
# only upstream oracle 参数生效
# 是否一致性读 ORA（自动获取上游当前的 SCN 一致性读）
enable-consistent-read = false
# 一致性读 point（手工配置上下游一致性 point）
# upsream oracle，only enable-consistent-read = false And consistent-read-point-s 参数生效，如果是 enable-consistent-read = true，则自动获取上游当前的 SCN 为准
# upsream non oracle and non mysql，consistent-read-point-s 配置参数生效， mysql 数据库不支持指定配置，自动忽略配置，tidb 数据库支持
consistent-read-point-s = ""
# consistent-read-point-t 参数 mysql 数据库不支持指定配置，自动忽略配置，tidb 数据库支持
consistent-read-point-t = ""
# 字段分隔符，支持一个或多个字符，默认值为 '|#|'
separator = '|#|'
# 修复语句产生流向 upstream or downstream，默认 downstream
# upstream 产生上游 datasource-name-s 修复语句
# downstream 产生下游 datasource-name-t 修复语句
repair-stmt-flow = "upstream"
# 开启代表上下游数据库自动进行 collation 配置，关闭代表上下游数据库不进行 collation 配置
# Note：开启该参数不会走索引，上下游需手工建立函数索引，字符集以及排序规则需根据实际情况调整
# 创建 index ORACLE 示例：
# CREATE INDEX idx_t99_nlstest ON t99(NLSSORT(CONVERT(c1,'AL32UTF8','ZHA16GBK'),'NLS_SORT = BINARY'));
# 创建 index MYSQL 兼容性数据库示例：
# CREATE INDEX idx_t99_nlstest ON t99(CONVERT(c1, USING 'UTF8MB4'));
enable-collation-setting = false