datax 从oracle迁移到es中

news2025/1/12 20:02:08

任务启动时刻                    : 2023-04-20 19:34:56
任务结束时刻                    : 2023-04-20 19:56:22
任务总计耗时                    :               1285s
任务平均流量                    :            5.07MB/s
记录写入速度                    :          24522rec/s
读出记录总数                    :            30457190
读写失败总数                    :                   0

经过对比测试,读写速度和batchSize有关,我的表字段少,batchSize批处理提交设置成十万,比一万要快五倍,

"batchSize": 100000,

channel 这个配置多线程,输出日志还是job0,查看线程也没有变化,速度也没有什么变化

"channel": 8 

设置内存,jvm默认是1G,设置4G之后,查看内存使用多了,但是速度也没有变化

python E:\ruanjian\JAVA\datax\datax\bin\datax.py --jvm="-Xms4G -Xmx4G" 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/444317.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

离散型制造企业如何选择MES系统

随着MES系统越来越被企业所重视,并并被运用到很多不同行业的制造业中。 MES对于制造企业来说,其所需要的要求是各不相同的,比如离散型制造企业,该如何去选择MES系统呢? 什么是离散型制造企业? 离散型制造企…

nn.init.xavier_uniform_()的作用:根据均匀分布生成Tensor

官网解释如下: Signature: nn.init.xavier_uniform_(tensor: torch.Tensor, gain: float 1.0) -> torch.Tensor Docstring: Fills the input Tensor with values according to the method described in Understanding the difficulty of training deep feedforw…

PHP语言开发的医院不良事件上报系统源码,前后端分离,仓储模式

医院安全(不良)事件上报系统源码 系统定义: 规范医院安全(不良)事件的主动报告,增强风险防范意识,及时发现医院不良事件和安全隐患,将获取的医院安全信息进行分析反馈,…

STM32开发(十五)STM32F103 片内资源 —— 通用定时器 PWN 无源蜂鸣器 详解

文章目录 一、基础知识点二、开发环境三、STM32CubeMX相关配置四、Vscode代码讲解五、结果演示 一、基础知识点 本实验通过STM32F103 的通用定时器 PWN功能,实现对无源蜂鸣器控制。 本实验内容知识点: 1、通用定时器 PWN 详解 2、有源蜂鸣器和无源蜂鸣器…

当我开始学习人工智能:知识表示方法

加油加油,五一前复习玩,五一就可以出去玩啦 一、状态空间法(State Space Representation) 问题求解技术主要是两个方面 问题的表示求解的方法 状态空间法 状态算符状态空间方法 1.1 问题状态描述 定义 状态:描述某类不…

电感耦合等离子体原子发射光谱法(ICP-AES)

一、定义 电感耦合等离子体原子发射光谱法(ICP-AES),是以电感耦合等离子矩为激发光源的光谱分析方法,具有准确度高和精密度高、检出限低、测定快速、线性范围宽、可同时测定多种元素等优点,国外已广泛用于环境样品及岩石、矿物、金属等样品中…

SimpleDateFormat模式字符串格式

SimpleDateFormat模式字符串 new SimpleDateFormat(String parm); parm为一个字符串,表示格式. 时间模式 字母 时间元素 表示 示例 y 年 Year 1996; 96 M 年中的月份 Month July; Jul; 07 D 年中的天数 Number 200 d 月份中的天数 Number 31;30;28;29 H 一天中的小时(24小时…

【MySQL】表的基本操作

1、数据类型 1.1 数值类型 数据类型大小说明bit[(M)]M指定位数,默认为1二进制,M范围从1到64,存储数值范围从0到2^M-1tinyint1字节smallint2字节int4字节bigint8字节float(M,D)4字节单精度,M指定长度,D 指定小数位数&am…

Peach Fuzzer漏洞挖掘实战

概述 本文主要介绍模糊测试技术,开源模糊测试框架Peach Fuzzer,最后使用Peach Fuzzer对Modbus Slave软件进行漏洞挖掘,并成功挖掘到0DAY漏洞。(文中涉及的漏洞已提交到国家漏洞库,现已修复) 模糊测试技术 模…

电影《绿皮书》鉴赏

**《绿皮书》**由彼得法雷尔执导,维戈莫滕森和马萨拉阿里主演,改编自关于保镖托尼的真实故事。20世纪60年代,美国的种族关系紧张,黑人音乐家很少有机会演出。作为当时为数不多的黑人钢琴家之一,唐参加了许多音乐会巡演…

[chapter27][PyTorch][visdom]

前言: Visdom是Facebook专为PyTorch开发的实时可视化工具包,相当于TensorFlow中的Tensorboard,灵活高效且界面美观。 目录: 1: 环境安装 2: 参数简介 3: 监听单一数据 4: 监听多个数…

晶振电路并联一个电阻作用

晶振电路并联一个电阻的作用 前言 在设计电路时,通常看到一些主控的外部高速晶振并联了一个1MΩ的电阻,但是发现有的电路不用也可以正常工作,对这个就有点好奇啦? 电路图如下: 实际上晶振电路在工作时没有并联一个1…

如何使用Sublime来规范化代码的格式,让代码更加规范整齐,批量修改代码

如何使用Sublime来规范化代码的格式,让代码更加规范整齐,批量修改代码 设备/引擎:Mac(11.7)/cocos 开发工具:Sublime Text 开发语言:c/java 代码开发中经常需要将代码进行规范化处理&#x…

PHP +python+nodejs+springboot+vue 校园电子资料资源管理系统

能实现不出家门就可以通过网络进行系统管理,交易等,而且过程简单、快捷。同样的,在人们的工作生活中,也就需要互联网技术来方便人们的日常工作生活,实现工作办公的自动化处理,实现信息化,无纸化…

js录音支持h5 pc ios android

最近在做h5录音的页面要求可暂停录音,继续录音,写好后发现不兼容ios,无奈只能找兼容方法,找了一天也没找到,后来看到一个网站在ios上可以暂停录音,后来引入他的js文件果然能用了 网站放下面了 Recorder H5: 用于html5网页中的前…

ASP.NET ZERO Crack坚实的体系结构

ASP.NET ZERO Crack坚实的体系结构 据说ASP.NET ZERO是互联网应用程序新流程的起点,该流程包含现代用户界面,具有强大的体系结构和完整的源代码。它可以通过提供共享的应用程序来节省用户时间,这些应用程序是visual studio预构建解决方案所必…

PostMan笔记(一)简介+安装和设置

1. PostMan简介 Postman 是一款功能强大的 API 开发工具,支持多种 HTTP 请求方法和测试断言,能够快速调试和测试 API 接口,提高开发效率。本文将介绍 Postman 工具的使用方法。 安装和设置 首先,需要下载和安装 Postman 工具。…

[ChatGPT]-02-ChatGPT对安全的影响和开源的LLM大模型资源汇总

文章目录 0.ChatGPT大模型带来的影响0.1 ChatGPT带来信息化革命性创新,目前尚不能处理专业知识但成长很快0.2 Chat GPT为网安行业带来新的创新方向,也将引领新一轮投融资热潮0.2.1 攻击方发起网络攻击的门槛降低0.2.2 防守方合理使用ChatGPT可大幅减少安…

零基础入门前端--JavaScript 循环结构语句

循环控制 控制程序重复执行若干次相同或似的逻辑,理解并正确使用循环控制,需要搞清楚循环的3个要素:起始值、变化量、终止条件。 ○ 起始值循环的起点,可以是【任意数据类型值】 ○ 变化量是指【改变起始值的方式】 ○ 终止条…

深度学习算法及卷积神经网络

目录标题 传统神经网络矩阵计算:正则化:激活函数sigmoid损失函数前向传播激活函数Relu数据预处理DROP-OUT 卷积神经网络(CNN)1.CNN网络的构成2. 卷积层2.1 卷积的计算⽅法2.2 padding2.3 stride2.4 多通道卷积2.5 多卷积核卷积2..6 特征图大小 3. 池化层…