doris入门后遇到的几个问题总结

news2025/2/6 17:39:49

文章目录

  • 1. Access denied for user 'anonym@null' (using password: NO)
  • 2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip)
  • 3. Failed to initialize JNI: Failed to find the library libjvm.so.
  • 4. 从mysql库导出的json文件大于100M时报错
  • 5. csv格式文件导入数据库报错

1. Access denied for user ‘anonym@null’ (using password: NO)

JDBC访问doris数据库查询数据时遇到报错如上,是驱动类设置错误,解决方案如下:

从JDBC_DRIVER = “com.mysql.cj.jdbc.Driver”;
改为JDBC_DRIVER = “com.mysql.jdbc.Driver”;

2. timeout when waiting for send fragments RPC. Wait(sec): 5, host: xxx(ip)

java.sql.BatchUpdateException: timeout when waiting for send fragments RPC. Wait(sec): 5, host: 10.0.102.153
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

批量插入数据时遇到的超时错误,默认超时时间为300s,可以登录到mysql客户端用命令自定义修改query_timeout参数,我这里改成了3000s就不报错了。

SHOW VARIABLES LIKE “%query_timeout%”;
SET query_timeout = 3000;

3. Failed to initialize JNI: Failed to find the library libjvm.so.

安装新版doris 1.2.0版本后 启动BE节点失败,报错如下:

W1212 05:39:14.999809 117327 doris_main.cpp:382] Failed to initialize JNI: Failed to find the library libjvm.so.

原因是:最新版有个除了BE和FE安装节点外,还有个apache-doris-java-udf-jar-with-dependencies-1.2.0-bin-x86_64.tar.xz文件,需要将这个文件中的jar包解压出来放到BE的bin路径下才能启动BE节点。

4. 从mysql库导出的json文件大于100M时报错

The size of this batch exceed the max size [104857600] of json type data data [ 149275596 ]. Split the file, or use ‘read_json_by_line’",

修改了建议的read_json_by_line参数重启be无效
修改了104857600这个100M对应的参数也没生效,最后加到导入命令里面了,参考我的json文件导入命令:

curl --location-trusted -u root: -H “format: json” -H “fuzzy_parse” -H “exec_mem_limit: 5368709120” -H “strip_outer_array: true” -H “streaming_load_json_max_mb:5000” -T 202212131453.json http://10.0.102.110:8030/api/DORISDB/wh_ab_base_assetinfo/_stream_load

5. csv格式文件导入数据库报错

根据报错信息中的链接,从浏览器打开查询报错信息。建议先导入少量几条数据测试,核对一下是不是csv文件的字段数、字段长度不一致导致的报错。
我这里报错是因为源数据中有换行符导致的,这个换行符规则不一,手动替换容易,但是数据量到百万级别后自动替换了也有各种问题,比如有个行多个英文逗号啥的,不建议这个导入方式,虽然csv文件格式体积较小,个人认为它更适合做导出。(csv大数据文件导入问题有更优方案的可以教教我,有奖励)
最近刚接触doris遇到了一些问题,也是刚开始研究,有兴趣一起学习的吗?
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/102780.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OA办公系统:颠覆企业办公模式,激活组织潜能打造新模式

企业的生命力在于生存,而想要在竞争日益激烈的市场环境下生存,就必须不断革新自己的内部条件,否则将会在发展的洪流中被社会所淘汰。如今社会的发展正在信息化世界中进行,企业搭建信息化平台是一条必经之道,而OA办公自…

太爽了!看酷开系统帮你沉浸式带娃!

现如今,OTT大屏涉及的线上内容与娱乐方式与日俱增,不仅常规的电视节目、网剧影视能够随心选择,还发展出以大屏为载体的短视频、健身、云游戏等丰富内容。在人们的居家生活走向常态化的当下,更长的开机使用时间自然对电视操作系统的…

codeforces:C. Another Array Problem【分类讨论 + 找规律】

目录题目截图题目分析ac code总结题目截图 题目分析 做cf题目别老想着套算法模版 找规律才是正道,这就是所谓的「思维」 n 2很简单 n > 4: # 肯定有一个最大值,不妨设它的位置在第三个或以后的x# 前两个值经过两次操作,都变为0# 第0…

Vue.js 目录结构

当我们初始化一个项目后目录结构是这样的: 目录解析 目录/文件说明build项目构建(webpack)相关代码config配置目录,包括端口号等。我们初学可以使用默认的。node_modulesnpm 加载的项目依赖模块src这里是我们要开发的目录,基本上要做的事情都…

# 关于“table“中更新传参回填form

关于"table"中更新传参回填form 一、id查询数据库回填form 使用阶段:Javaweb/ssm/Springboot出现场景:jsp页面(el表达式)、thymeleaf页面(thymeleaf表达式,具体使用方法请前往百度)…

Python成求职中最吃香的三大编程语言之一

程序员培训公司 CodinGame 发布的一份开发人员调查报告显示,在开发人员招聘中,拥有 JavaScript、Java 和 Python 三大编程语言技能的开发人员最受招聘经理欢迎。 该报告基于对全球近 15,000 名开发人员和人力资源专业人员的调查。报告显示,每…

【IO流】JAVA基础篇(一)

文章目录一、字节流和字符流的区别1、字节和字符换算关系2、字节、位、二进制之间的关系3、在64位的操作系统中,一个字等于多少字节?4、字节流和字符流区别二、InputStream1、FileInputStream2、FilterInputStream3、ObjectInputStream4、PipedInputStre…

玩客云刷ARMBIAN当服务器过程记录

玩客云的可玩性 1、可以刷成电视游戏盒子的双系统。也可以刷成单独的电视盒子和游戏盒子。不过因为内存有限放不了多少游戏。还是建议用外置SD卡存储游戏比较合适。 2、刷成Armbian linux系统(可以实现docker、可道云、甜糖等多种功能) 3、最后它还可…

jsp+ssm计算机毕业设计风景区管理系统【附源码】

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: JSPSSM mybatis Maven等等组成,B/S模式 Mave…

生物安全防护实验室建设要点SICOLAB

生物安全实验室(BiosafetyLaboratory),也称生物安全防护实验室(BiosafetyContainmentforLaboratories),是通过防护屏障和管理措施,能够避免或控制被操作的有害生物因子危害,达到生物…

磺丁基醚环糊精盐内水相/桂利嗪/EGF/吲哚美辛-环糊精/黄芩苷β-环糊精包合物脂质体制备

小编今天分享了磺丁基醚环糊精盐内水相/桂利嗪/EGF/吲哚美辛-环糊精/黄芩苷β-环糊精包合物脂质体的研究内容,和小编一起来看! 黄芩苷β-环糊精(β-CD)包合物脂质体: 采用薄膜-超声分散法制备黄芩苷-CD包合物脂质体,并测定脂质体的粒径分布,Zeta电位以及…

灿芯股份冲刺科创板上市:计划募资6亿元,中芯国际、小米为股东

12月19日,灿芯半导体(上海)股份有限公司(下称“灿芯股份”)在上海证券交易所递交招股书,准备在科创板上市。本次冲刺科创板上市,灿芯股份计划募资6亿元,海通证券为其保荐机构。 招股…

赫夫曼树 | 实战演练(二)

🎈 作者:Linux猿 🎈 简介:CSDN博客专家🏆,华为云享专家🏆,Linux、C/C、云计算、物联网、面试、刷题、算法尽管咨询我,关注我,有问题私聊! &…

高效空气过滤器检漏

广州特耐苏净化设备有限公司详细介绍:高效空气过滤器安装后的检漏 高效空气过滤器安装后的检漏是确认安装质量,检测高效空气过滤器送风口的整个面、过滤器的周边、过滤器外框和安装框架之间的密封处。检漏时,从过滤器的上风侧引入测试气溶胶…

北京理工大学汇编语言复习重点(可打印)

文章目录前言第一章:基础性能指标计算储存器原理第二章:微处理器管理模式CPU工作模式实模式保护模式虚拟8086模式(V86模式)寄存器概述GDTR(Global Descriptor Table Registr)全局描述符表寄存器LDTRIDTRTR内…

神仙级python入门教程(非常详细),从零基础入门到精通,从看这篇开始!

前言 一.初聊Python【文末有惊喜福利】 1.为什么要学习Python? 在学习Python之前,你不要担心自己没基础或“脑子笨”,我始终认为,只要你想学并为之努力,就能学好,就能用Python去做很多事情。在这个喧嚣的…

云服务大变局:出海成新角斗场

配图来自Canva可画 根据Canalys的最新统计,2022年第三季度,中国大陆的云基础设施服务支出同比增长8%,达到78亿美元,占全球云支出的12%。自2022年一季度以来,年增长率已经连续三个季度放缓,并首次跌破了10%…

FFMPEG详解(完整版)

一、认识FFMPEG FFMPEG堪称自由软件中最完备的一套多媒体支持库,它几乎实现了所有当下常见的数据封装格式、多媒体传输协议以及音视频编解码器,堪称多媒体业界的瑞士军刀。因此,对于从事多媒体技术开发的工程师来说,深入研究FFMP…

MySQL 进阶篇学习笔记

文章目录01. 课程介绍02. 存储引擎-MySQL体系结构03. 存储引擎-简介04. 存储引擎-InnoDB介绍05. 存储引擎-MyISAM和Memory05.1MyISAM05.2 Memory05.3 区别及特点06. 存储引擎-选择07. 存储引擎-小结08. MySQL安装(linux版本)MySQL8.0.26-Linux版安装1. 准备一台Linux服务器2. 下…

大数据系统架构-Hadoop生态系统

Hadoop是较早用于处理大数据集合的分布式存储计算基础架构,通过Hadoop,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的为例执行告诉运算和存储。简单来说,Hadoop是一个平台,在它之…