1、简介
clickhouse-jdbc-bridge:是clickhouse提供的一个jdbc组件,用于通过JDBC的方式远程访问其他数据库表。
2、安装
(1)下载源文件并打包获取clickhouse-jdbc-bridge-2.0.7-shaded.jar
在官网:https://github.com/ClickHouse/clickhouse-jdbc-bridge,下载源码程序到本地,通过在idea或者eclipse中执行mvn的clean、packge完成打包后,到打包目录里面找到clickhouse-jdbc-bridge-2.0.7-shaded.jar。
(2)将clickhouse-jdbc-bridge-2.0.7-shaded.jar放在Linux服务器的目录/data/clickhouse-jdbc-bridge下,并在该文件同级目录下新建两个目录:
config/datasources --存放数据源配置文件
drivers --jdbc驱动存放目录
(3)以连接JDBC访问Oracle 11g为例:
①在官网https://mvnrepository.com下载Oracle对应的驱动包ojdbc8-12.2.0.1.jar放置到/data/clickhouse-jdbc-bridge/drivers目录下。
②设置clickhouse-jdbc-bridge远程的数据库信息
mkdir -p config/datasources #创建config目录及其子目录
在datasources目录下创建数据源配置文件,msjdbc.json文件名尽量与配置中的datasource名一致,如下配置:
{
"msjdbc": {
"driverUrls": [
"/data/clickhouse-jdbc-bridge/drivers/ojdbc8-12.2.0.1.jar"
],
"driverClassName": "oracle.jdbc.driver.OracleDriver",
"jdbcUrl": "jdbc:oracle:thin:@远程连接的数据库ip:端口:服务名",
"username": "账号",
"password": "密码",
"connectionTestQuery": ""
}
}
当前Linux服务器的目录为:
|--data
|--clickhouse-jdbc-bridge
|--clickhouse-jdbc-bridge-2.0.7-shaded.jar
|--noput.out
|--drivers
|--ojdbc8-12.2.0.1.jar
|--config
|-- datasources
|-- msjdbc.json
③运行clickhouse-jdbc-bridge
nohup java -jar clickhouse-jdbc-bridge-2.0.7-shaded.jar &
tail -f nohup.out
成功启动:
④在clickhouse部署的那台服务器中
到/etc/clickhouse-server目录下的config.xml文件,找到以下代码,移除注释,并修改host为执行clickhouse-jdbc-bridge-2.0.7-shaded.jar的ip地址:
<jdbc_bridge>
<host>XX.XX.XX.XX</host>
<port>9019</port>
</jdbc_bridge>
保存之后,重启clickhoust服务
systemctl restart clickhouse-server
3、访问
(1)查看能成功访问的的链接:select * from jdbc('','show datasource')
(2)远程查询oracle的某个表
select from jdbc('msjdbc', 'select * from test_tb')
(3)直接远程连接
select from jdbc('jdbc:oracle:thin:账号/密码@xx.xx.xx.xx:端口/服务名', 'select * from test_tb')
4、报错情况收集
(1)访问时候报错:clickhouse-jdbc-bridge is not running
如果碰到这个错误,先看bidge是否启动,如果启动看clickhouse-jdbc-bridge相关的nohup.out日志是否有问题。
(2)远程读取oracle数据并插入到clickhouse数据库中
解决方法:
查询数据库单个插入块中的最大分区数:
select name, value from system.settings where name='max_partitions_per_insert_block'
max_partitions_per_insert_block指限制单个插入块中的最大分区数。默认值:100,填0表示不限制。一旦单个SQL插入的数据分区块数大于max_partitions_per_insert_block,就会报错 Too many partitions for single INSERT block。
需要增大分组,修改clickhouse-server的users.xml文件: