问题1:DataX报错解决办法 - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数
问题原因:
正如中文字面上所说,DataX的配置有问题,单个channel的bps值不能为空,也不能为非正数。
解决办法:
修改文件datax/conf/core.json,如果找不到文件,直接find / -name conr.json
查找下文件位置
"core": {
"dataXServer": {
"address": "http://localhost:7001/api",
"timeout": 10000,
"reportDataxLog": false,
"reportPerfLog": false
},
"transport": {
"channel": {
"class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
"speed": {
"byte": 2000000, #修改后把注释删掉
"record": -1
},
"flowControlInterval": 20,
"capacity": 512,
"byteCapacity": 67108864
},
"exchanger": {
"class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
"bufferSize": 32
}
},
}
修改core -> transport -> channel -> speed -> “byte”: 2000000,将单个channel的大小改为2MB即可。
问题2:由于源端数据存在较多业务脏数据导致,请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[1]条.
解决方法:
datax的这个脏数据阈值在job的json中errorlimit中设置,可自定义修改个数