【Apache Doris】周FAQ集锦:第 4 期

news2024/12/28 4:12:30

【Apache Doris】周FAQ集锦:第 4 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
引用
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 查询报错:[HY000][1105] Can not connect to jdbc due to error: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago

💡A1 JDBC连接异常处理流程参考:

  1. jdbc的url中加autoReconnect=true参数,并且wait_timeout设置24小时后观察
  2. 如果是使用catalog时出现的,可以看看mysql信息是否填写错误或者mysql驱动版本的原因
  3. testOnBorrow打开,可查阅:https://github.com/alibaba/druid/issues/5262

❓Q2 查询报错:[E-230]missed_versions is empty

💡A2 如下:
解决方案:调大be.conf的tablet_rowset_stale_sweep_time_sec参数,并重启BE节点
参数说明:这个参数主要是加大了合并版本的清理时间,尽可能避免刚好查询时需要的版本被合并清理了(写入过于频繁场景容易出现),举个例子:有张表table_a里未合并清理的版本号是1-9,那么这个时候去执行 select * from table_a 它会去查询最新的version 9的数据,如果这段时间table_a同时有写入,版本变成了1-10并且触发compaction及满足tablet_rowset_stale_sweep_time_sec要去清理合并过的版本,变成了一个最新的查询版本1-10,那么这个时候version 9(1-9)就无法查询了,则会出现 select * from table_a 需要的version 9不存在miss从而报missed_versions is empty
BE参数说明可以查阅BE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config

数据操作问题

❓Q1 doris没有时间戳的数据类型,时区是和数据库服务器的时区吗?
💡A1 如下:

  1. 可以用bigint映射,或者使用datetime是否能满足需求
  2. 默认东八区,2.1开始支持时间戳类型
    Release 2.1,可以查阅:
    https://doris.apache.org/zh-CN/docs/dev/releasenotes/release-2.1.0

❓Q2 对已有数据的分区表调整分区分桶数,是否会对历史数据进行重新分桶分区?
💡A2 不会对历史数据进行重新分桶分区,只会影响新分区的分桶数。

❓Q3 分区分桶字段建表后还能变更?
💡A3 不能;和底层数据存储结构有关,当前改bucket只能重新建表导数。

❓Q4 stream load怎么查看对应的profile信息?
💡A4 1.2.7版本后在stream load中设置:-H “enable_profile: true”;当 enable_profile 为 true 时,stream load profile 将会被打印到 be.INFO 日志中。
具体可查阅:
https://doris.apache.org/zh-CN/docs/data-operate/import/import-way/stream-load-manual

❓Q5 doris进行insert时结果数据和预期条数不匹配?
💡A5 如下:

  1. 源数据到目标端根据key去重了
  2. 没开严格模式,异常数据(schema不匹配等情况)被过滤了;可以SET enable_insert_strict = true; 后再跑试试看有没有errorURL
  3. create table 临时表 as select xxx,测下结果记录数是否正确

运维常见问题

❓Q1 be节点出现磁盘损坏了如何处理?

💡A1 如下:

1.>=2副本2be的集群:
   a. 下掉坏盘
   b. be配置中将坏盘的存储目录移除
   c. 重启对应be即可,数据多副本会自动修复
2.单副本集群:
   a. 下掉坏盘
   b. 排查异常表,重新建表刷数据

生成环境建议>=3副本3be,提高doris的可用性、容错性、负载均衡和并行处理能力,具体可查阅:
https://doris.apache.org/zh-CN/docs/admin-manual/maint-monitor/tablet-repair-and-balance

❓Q2 doris支持windows吗?

💡A2 暂无计划支持Windows系统,可以用虚拟机或者WLS2。

其它问题

❓Q 编译doris时报错:Failed to parse plugin descriptor for net.sourceforge.czt.dev:cup-maven-plugin:1.6-cdh

💡A net.sourceforge.czt.dev 相关 jar 包下载失败问题,可参考如下方案处理:
1.先更换 mirror 源 url 为如下路径,保存后继续编译,1.6-cdh 下载成功后可再恢复至原有 url 完成编译:

<mirror>
        <id>aliyunmaven</id>
        <mirrorOf>central</mirrorOf>
        <name>aliyun maven</name>
        <url>https://repository.cloudera.com/repository/libs-release-local/</url>
</mirror>

2.通过以下连接下载 pom 及 jar 包,放至 .m2/net/sourceforge/czt/dev 仓库目录下,完成编译
https://repository.cloudera.com/#browse/search=keyword%3Dnet.sourceforge.czt.dev

具体可以查阅Doris论坛帖子:
https://ask.selectdb.com/questions/D1Jc/yi-jie-jue-docker-bian-yi-shi-cpu-maven-plugin-bao-wen-ti

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。


一臻数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1693365.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

03-02-Vue组件之间的传值

前言 我们接着上一篇文章 03-01-Vue组件的定义和注册 来讲。 下一篇文章 04-Vue&#xff1a;ref获取页面节点–很简单 父组件向子组件传值 我们可以这样理解&#xff1a;Vue实例就是一个父组件&#xff0c;而我们自定义的组件&#xff08;包括全局组件、私有组件&#xff09;…

C# GDI+ 绘制文字不同的操作系统渲染文字大小不同

一、C# GDI 绘制文字不同的操作系统渲染文字大小不同 原因&#xff1a;使用Font 字体的时候&#xff0c;没有指定字体渲染的单位。 不同系统的默认字体单位会不同。 二、解决方案&#xff1a; 在指定字体的时候&#xff0c;指定字体大小&#xff0c;同时也要设置字体的单位 …

基于FMU的Star CCM+与Amesim复杂控制联合分析

1、背景: 当前Star CCM+的逻辑控制功能并不强大,当需要仿真复杂多变的工况时往往力不从心。为了解决该问题,当前有两个方案可以尝试,分别如下: 方案1:利用AMEsim与Star CCM+联合仿真,通过tcp传输模块来实现两者的实时耦合。 方案2:利用AMEsim导出FMU文件,然后将FMU…

部署PIM-SM

拓扑图 配置 使能组播路由 配置OSPF 组播路由器接口配置pim-sm 连接组成员的接口使能igmp pim路由器上配置静态RP sysname AR1 # multicast routing-enable # interface GigabitEthernet0/0/0ip address 10.1.12.1 255.255.255.0 pim sm # interface GigabitEthernet0/0/…

软件设计师备考 | 案例专题之数据流图 概念与例题

案例分析专题大纲&#xff1a; 数据流图基本概念 基本图形元素&#xff1a;外部实体、加工、数据存储、数据流 数据流&#xff1a;由一组固定成分的数据组成&#xff0c;表示数据的流向。在DFD中&#xff0c;数据流的流向必须经过加工。加工&#xff1a;描述了输入数据流到输出…

idea 出现 cpu占用100%

一、IDEA的CPU占用率过高 二、解决办法 idea安装路径bin目录 修改idea64.exe.vmoptions配置文件 原来的 -Xms128m -Xmx750m -XX:ReservedCodeCacheSize240m -XX:UseConcMarkSweepGC -XX:SoftRefLRUPolicyMSPerMB50 修改为(IDEA优化内存配置) -Xms2048m -Xmx4096m -XX:Reser…

基于Spring Boot的高校图书馆管理系统

项目和论文都有企鹅号2583550535 基于Spring Boot的图书馆管理系统||图书管理系统_哔哩哔哩_bilibili 第1章 绪论... 1 1.1 研究背景和意义... 1 1.2 国内外研究现状... 1 第2章 相关技术概述... 2 2.1 后端开发技术... 2 2.1.1 SpringBoot 2 2.1.2 MySQL.. 2 2.1.3 My…

Git简介以及下载安装和配置

Git介绍 什么是版本控制?什么是Git?什么是集中式版本控制(了解)分布式版本控制工作流程 Git的安装与配置注册邮箱以及用户名(方便远程使用)初始化项目Git在ideal上的使用(本地) 什么是版本控制? ​ 版本控制是指对软件开发过程中各种程序代码,控制文件及说明文档等文件变更…

口碑比较好的相亲交友平台有哪些?正规靠谱的相亲软件排行榜测评

在网络时代&#xff0c;越来越多的人热衷于使用相亲交友软件来寻找生命中的另一半。这些软件确实为许多用户提供了真实可靠的交友平台。然而&#xff0c;市面上的相亲软件种类繁多&#xff0c;质量良莠不齐&#xff0c;让人难以选择。今天&#xff0c;我将介绍几款我使用过且认…

【vue-5】双向数据绑定v-model及修饰符

单向数据绑定&#xff1a;当数据发生改变时&#xff0c;视图会自动更新&#xff0c;但当用户手动更改input的值&#xff0c;数据不会自动更新&#xff1b; 双向数据绑定&#xff1a;当数据发生改变时&#xff0c;视图会自动更新&#xff0c;但当用户手动更改input的值&#xf…

View function mapping is overwriting an existing endpoint function: home_page

这个错误是因为在你的 Flask 应用中,你定义了两个或多个视图函数,它们使用了相同的 endpoint 名称。Flask 不允许多个视图函数使用相同的 endpoint 名称,因为这会导致冲突。 通常,这个错误会出现在以下几种情况下: 你在不同的路由装饰器中使用了相同的 endpoint 名称。你…

C++之第八课

课程列表 今天我们来学一学C里的一些实用的东西。 1.域宽 说到域宽setw&#xff0c;就叒要加头文件了。 #include<iomanip> 使用格式是&#xff1a; cout<<setw(5)<<"123"; setw括号里面可以改数字&#xff0c;后面就是输出内容了&#xff…

服务器端口号怎么看?如何查看服务器端口号呢?有哪些需要注意的?

简单来说&#xff0c;端口号就是计算机与外界通讯交流的出口&#xff0c;每个端口都有不同的编号&#xff0c;也就是“端口号”。它们是唯一的&#xff0c;用于标识不同的服务和应用程序。通过端口号&#xff0c;我们可以知道哪些服务正在运行&#xff0c;以及如何与它们进行通…

基于JSP/Servlet校园二手交易平台(二)

目录 2 开发技术及开发环境 2.1 Java语言简介 2.2 J2EE技术介绍 2.3 Servlet/JSP技术 2.4 MVC 简介 2.5 Struts 技术 2.6 Hibernate 技术 2.6.1 应用程序的分层体系结构 2.6.2 Hibernate的应用及API简介 2.7 开发环境及环境配置 2.7.1 Java/JSP系统环境 2.7.2 JSP环…

MySQL——约束与表的设计基础

前言 本篇文章主要介绍数据库约束以及数据库中有关表设计的一些基础知识&#xff0c;文章会尽量都用实例进行直观的讲解与展示每个知识点的意义&#xff0c;现在就开始今天的学习吧&#xff01;&#xff01; 一、数据库约束 1.约束概述 约束&#xff0c;就是在创建表的时候给…

leedcode【209】. 长度最小的子数组——Java解法

Problem: 209. 长度最小的子数组 题目思路解题方法复杂度Code效果 题目 给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其总和大于等于 target 的长度最小的 连续 子数组 [numsl, numsl1, ..., numsr-1, numsr] &#xff0c;并返回其长度。如果不存…

TypeScript-类型注解

TS类型注解 指的是给变量添加类型约束&#xff0c;使变量只能被赋值为约定好的类型&#xff0c;同时可以有相关的类型提示 TS支持的常用类型注解 Js 已有类型 // 简单类型 number string boolean null undefined // 复杂类型 数组 函数 Ts 新增类型 联合类型、类型别名、接…

ColossalAI Open-Sora 1.1 项目技术报告 (视频生成)

项目信息 项目地址&#xff1a;https://github.com/hpcaitech/Open-Sora技术报告&#xff1a; Open-Sora 1&#xff1a;https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_01.mdOpen-Sora 1.1&#xff1a;https://github.com/hpcaitech/Open-Sora/blob/main/docs…

解决移植Metasploitable3到VM虚拟机无网络的问题

第一步 导入后不要开机&#xff0c;先在虚拟机设置里面将原有的两个网络适配器移除。 第二步 接着在选项里面&#xff0c;在客户机操作系统里面&#xff0c;选择Microsoft Windwos(W)&#xff0c; 版本选择Windows Server 2008 R2 x64 第三步 先打开虚拟机&#xff0c;然后…

[书生·浦语大模型实战营]——第二节:课后作业

基础作业 1.使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事 2.使用书生浦语 Web 和浦语对话&#xff0c;和书生浦语对话&#xff0c;并找到书生浦语 1 处表现不佳的案例(比如指令遵循表现不佳的案例)&#xff0c;提交到问卷。 进阶作业 1.huggingface下载功能学习 pip i…