【Apache Doris】周FAQ集锦:第 1 期

news2025/1/14 1:22:32

【Apache Doris】周FAQ集锦:第 1 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 替换nvl2的方式有哪些?

💡A1 在SQL中,NVL2是一个函数,用于在条件成立时返回一个值,在条件不成立时返回另一个值;可以通过case when进行替换。

❓Q2 查询报错:meet unknown column stats on table 0lapscanNode
在这里插入图片描述

💡A2 通过关闭相关变量解决:set global forbid_unknown_col_stats = false;
forbid_unknown_col_stats参数只有在测试和跑benchmark时会打开,用于防止没有收集到统计信息,导致结果不理性,而进行不必要的问题追查。
生产环境中,建议永远设置为false。

数据操作问题

❓Q1 Doris 1.2.6,数据写入过程中出现错误码[-233]异常

💡A1 OLAP_ERR_TOO_MANY_TRANSACTIONS ,太多事务积压未完成导致。降低写入或者更新频率,或调大BE参数max_runnings_transactions_per_txn_map处理。
BE参数说明可以查阅BE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config

❓Q2 查看Broker Load导入状态时,Progress为50%,但State为FINISHED
在这里插入图片描述

💡A2 State为FINISHED是正确的,Progress进度统计存在问题,但只是显示问题,不会影响数据读写。
在Apache Doris 2.0.3已经修复了,建议升级至>=2.0.3的版本。
Release 2.0.3,可以查阅:
https://cdnd.selectdb.com/zh-CN/docs/releasenotes/release-2.0.3

运维常见问题

❓Q1 Routine Load异常:fetch failed due to requested offset not available on the broker: Broker: Offset out of range

💡A1 Routine Load报[broker:Offset Out of range] 原因:

  1. routine load 记录的偏移量和kafka group 已经committed的offset是一致的,由于kafka的数据清理机制(有没有消费都会清理),记录的偏移量下一个offset被清理导致的这个异常 。
  2. kafka清理时间设置过短,数据积压严重,也会导致此类异常出现。
    解决方案:查看kafka 现阶段最小偏移量,使用alter routine load job,重新设置偏移量,恢复routine load job即可。

❓Q2 Drop一张大表后,为什么BE磁盘空间没有减少?

💡A2 分两种情况:

  1. drop不加force时,数据不会放入回收站。这个机制是为了防止误删除,recoverd的时候用,和 fe.conf的catalog_trash_expire_second 参数有关系,默认为1天,1天后会将删除的表自动放到trash中。
  2. drop加force时,数据会直接放入回收站,此时可以通过admin clean trash去清理。

❓Q3 FE的负载均衡怎么实现?

💡A3 可以通过 JDBC Connector / ProxySQL / Nginx 方式实现:
https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/load-balancing
1. JDBC的通信方式,建议使用 JDBC Connector的loadbalance实现。
2. 代理的方式用Nginx多些,也可以考虑 ProxySQL。

❓Q4 FE启动异常:Try to lock process failed

💡A4 fe进程冲突导致,jps查看是否已经存在fe进程进行排查处理。

❓Q5 Routine Load任务stop后,多久会删除?

💡A5 routine load任务stop之后,默认会在三天回收删除。
由fe的label_keep_max_second参数控制,该参数除了控制routine load,也是job共用的参数。
FE参数说明可以查阅FE配置项:
https://cdnd.selectdb.com/zh-CN/docs/admin-manual/config/fe-config

其它问题

❓Q Doris血缘分析的开源工具有哪些?

💡A 可以参考

  1. datahub:
    https://datahubproject.io/docs/next/features/
  2. apache atlas:
    https://atlas.apache.org/api/v2/index.html
  3. 基于ali的druid二开,例如data-lineage-doris项目:
    使用ali的druid去解析sql。由于sql本身有记录在fe的审计日志里,只需通过类似flume采集日志推送到kafka,后端设计一个服务专门去解析这些sql生成血缘关系即可:
    https://github.com/eyesmoons/data-lineage-doris

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1569851.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Java设计模式】序:设计模式总体概述

目录 什么是设计模式设计模式的分类1 创建型模式1.1. 单例(Singleton)1.2 原型(Prototype)1.3 工厂方法(FactoryMethod)1.4 抽象工厂(AbstractFactory)1.5 建造者(Builde…

<网络安全>《71 微课堂<常见的国家级APT组织介绍>》

1 简介 国家级APT(Advanced Persistent Threat,高级持续性威胁)组织是有国家背景支持的顶尖黑客团伙,专注于针对特定目标进行长期的持续性网络攻击。 2 十大APT 2.1 NSA 美国国家安全局(National Security Agency&a…

Redis面试题28道

1、什么是类加载器,类加载器有哪些? 1、什么是类加载器? 类加载器负责加载所有的类,其为所有被载入内存的类生成一个 java.lang.Class 实例对象。 2、类加载器有哪些? JVM 有三种类加载器: &#xff08…

基于GaN的半导体光学放大器SOA

摘要 基于GaN的材料可覆盖很宽的光谱范围,以紫外、紫、蓝、绿和红波发射的激光二极管已经商业化。基于GaN的半导体光学放大器(SOA)具有提高激光二极管输出功率的能力,因此SOA将有很多潜在应用。未来需要利用短波、超快脉冲特性的…

GD32F470_ADS1115 超小型 16位 模数转换器 ADC 4通道模块移植

2.9 ADS1115多路模数转换器 ADS1115 器件是兼容 IIC 的 16 位高精度低功耗模数转换器 (ADC),采用超小型无引线 X2QFN-10 封装和 VSSOP-10 封装。ADS111x 器件采用了低漂移电压基准和振荡器。ADS1114 和 ADS1115 还采用可编程增益放大器(PGA)和数字比较器。这些特性加…

kali报错Unable to connect to remote host: No route to host,如何解决??

🏆本文收录于「Bug调优」专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&…

《搜广推算法指南》(2024版) 重磅发布!

节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 结合…

全自动封箱机的工作原理:科技与效率的完美结合

随着科技的不断发展,越来越多的自动化设备走进了我们的日常生活和工业生产中。其中,全自动封箱机作为物流包装领域的重要一环,凭借其高效、精准的工作性能,正逐渐成为提升生产效率、降低劳动成本的得力助手。星派就来与大家深入探…

python调用java中的jar

一、基于IDEA生成可执行jar包 1、编写class的代码,注意一定要有main()方法才可以生成jar包,main()方法可以没有内容。例如下Java 代码: package Project;public class Demo {public static void main(String[] args){Demo t2 new Demo();S…

HarmonyOS(鸿蒙)——单击事件

2.4 实现ClickedListener接口并重写onClick方法 2.5 实现onClick方法中的具体逻辑,以此完成点击事件的相关业务操作 三、测试 3.1 登录远程模拟器 3.2 运行项目 四、精选好文 一、简介 1.1 什么是组件 组件就是文本、按钮、图片等元素的统称 1.2 什么是事件 …

NKCTF2024 re VM?VM!WP

逻辑似乎很简单(个鬼啊) 这个函数是把输入的字符转化为二进制并倒序存储 sub_1570太大了加载不出来,应该是加密的主逻辑,目的是需要输出1 可以通过删除栈的方法强行转化伪代码 首先删掉这部分 9A0改小点 这个也是 栈这里U一下再…

docker部署在线流程图

下载镜像 docker pull registry.cn-beijing.aliyuncs.com/wuxingge123/drawio:latestdocker-compose部署 vim docker-compose.yml version: 3 services:drawio:container_name: drawioimage: registry.cn-beijing.aliyuncs.com/wuxingge123/drawio:latestports:- 8083:8080v…

【MATLAB源码-第25期】基于matlab的8QAM调制解调仿真,手动实现未调用内置函数,星座图展示。

操作环境: MATLAB 2022a 1、算法描述 8QAM调制(8 Quadrature Amplitude Modulation)是一种数字调制技术,它可以在有限带宽内传输更多的信息比特。在8QAM调制中,每个符号可以携带3个比特的信息。QAM调制是将数字信号…

【数据分析面试】6.计算对话总数(SQL)

题目:计算对话总数 给定了名为 messenger_sends 的消息发送表格,找出总共有多少个唯一的对话。 注:在某些记录中,receiver_id 和 sender_id 从初始消息中互换了。这些记录应视为同一个对话。 示例: 输入&#xff1…

ubuntu更换国内镜像源,下载增速

方法一:通过脚本更换源 1.备份原来的源 sudo cp /etc/apt/sources.list /etc/apt/sources_init.list 将原来的源保留一下,以后想用还可以继续用 2.更换源 sudo gedit /etc/apt/sources.list 使用gedit打开文档,将下面的阿里源复制进去&am…

微信小程序纯CSS实现好看的加载动画

进入下面小程序可以体验效果&#xff1a; WXML: <wxs module"img" src"./loading.wxs"></wxs> <view class"loading-container {{show?:loading-container-hide}}"><view class"loading-mask" wx:if"{{ma…

分享:搭建企微知识库简单易学步骤

说起企微知识库&#xff0c;可能有些人还不太清楚&#xff0c;为什么现在很懂企业选择搭建企微知识库&#xff1f;其实&#xff0c;企微知识库就是一个装满了企业的各种知识、经验和资料的载体。目的是为了方便员工随时查找和学习、有助于知识的传承和共享、加强团队协作和沟通…

《机器学习算法实战宝典》正式发布!

大家好&#xff0c;我是城哥&#xff0c;最近写了两本资料&#xff0c;一本是&#xff1a;《机器学习算法面试宝典》正式发布&#xff01;&#xff0c;内容是面试技巧、面试真题、常考题等。 今天分享的《机器学习算法实战宝典》&#xff08;以下简称《算法实战宝典》&#xf…

element-ui avatar 组件源码分享

今日简单分享 avatar 组件的源码实现&#xff0c;主要从以下四个方面&#xff1a; 1、avatar 组件页面结构 2、avatar 组件属性 3、avatar 组件事件 4、avatar 组件 slot 一、avatar 组件页面结构 二、avatar 组件属性 2.1 icon 属性&#xff0c;设置头像的图标类型&…

【Redis】分布式锁及其他常见问题

分布式锁及其他常见问题 1. 我看你的项目都用到了 Redis&#xff0c;你在最近的项目的哪些场景下用到了 Redis 呢&#xff1f; 一定要结合业务场景来回答问题&#xff01;要是没有不要硬讲&#xff0c;除非面试官问&#xff1b; 接下来面试官将深入发问。 你没用到的也可能会…