data_scan_task.toml

task-name = "son_33to45"
datasource-name-s = "oracle10g"
datasource-name-t = "tidb233"
comment = "测试数据源"

[case-field-rule]
case-field-rule-s = "0"

[schema-route-rule]
schema-name-s = "MARVIN"
# include-table-s 迁移所有表需指定 "*"，特定表写具体表名
include-table-s = ["MARVIN10"]
#include-table-s = ["MARVIN00","MARVIN01"]
exclude-table-s = []

[[data-scan-rules]]
table-name-s = "MARVIN00"
# 指定分片 chunk sql 查询 hint
sql-hint-s = "/*+ PARALLEL(8) */"
# 表采样率，百分数，限制【0.000001,99.999999】
# 如果设置 <=0 或者 >=100 表示不采样，即全表扫描
table-samplerate-s = 100

[data-scan-param]
# 全表扫描用于初始化表任务并发数
# 采样扫描下用于表执行并发数
table-thread = 100
# 数据校验写 meta 数据库并发数
write-thread = 4
# 数据写入批量大小
batch-size = 500
# 全表扫描
# 任务 chunk 数，固定动作，一旦确认，不能更改，除非设置 enable-checkpoint = false，重新导出导入
# 1、代表每张表每并发处理多少行数
# 2、建议参数值是 insert-batch-size 整数倍，会根据 insert-batch-size 大小切分
chunk-size = 100000
# 全表扫描
# 表内 SQL 执行并发数，表示同时多少并发 SQL 读取上游表数据，可动态变更
sql-thread-s = 10
# 指定 sql 查询 hint
sql-hint-s = "/*+ PARALLEL(8) */"
# 表采样率，百分数，限制[0.000001,100]
# 如果设置 <=0.000001 或者 >=100 表示不采样，即全表扫描
table-samplerate-s = 100
# calltimeout，单位：秒
call-timeout = 36000
# 关于全量断点恢复
#   - 若想断点恢复，设置 enable-checkpoint = true,首次一旦运行则 chunk-size 数不能调整，
#   - 若不想断点恢复或者重新调整 chunk-size 数，设置 enable-checkpoint = false,重新运行全量任务
#   - 无法断点续传期间，则需要设置 enable-checkpoint = false 重新导入导出
enable-checkpoint = true
# 是否一致性读 ORA
enable-consistent-read = false