HBase压测 ycsb

news2024/11/17 10:11:55
## ycsb 导入数据
root@XX.14.40.197


1、对portrait压测
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && chdir=/data/workspace/ycsb-0.17.0 nohup bin/ycsb load hbase20 -P workloads/workload_insert -cp /usr/local/fqlhadoop/hbase/conf -p table=usertable -p columnfamily=cf >> load_`date +'%Y%m%d_%H%M%S'`.log 2>&1 &"
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && /usr/java/default/bin/jps -l | grep Client | wc -l"
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && /usr/java/default/bin/jps -l | grep Client | awk '{print \$1}' | xargs kill -9" 
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && chdir=/data/workspace/ycsb-0.17.0 ls -lrt *202409*.log"


2、对portraitszl压测,部署ycsb
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "hostname"

ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m copy -a "src=/data/datamanager/deploy/roles/hadoop/files/jdk1.8.0_171.tar.gz dest=/usr/java/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "tar -zxvf /usr/java/jdk1.8.0_171.tar.gz -C /usr/java"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "rm -rf /usr/java/latest"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/java/ ln -s jdk1.8.0_171 latest"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "sed -i 's#jdk1.7.0_79#default#' /etc/profile"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "cat /etc/profile | grep JAVA_HOME"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "java -version"

ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "mkdir -p /usr/local/fqlhadoop/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m copy -a "src=/data/datamanager/deploy/roles/hbase/files/hbase-2.5.5.tar.gz dest=/usr/local/fqlhadoop/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/local/fqlhadoop/ tar -zxvf hbase-2.5.5.tar.gz"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/local/fqlhadoop/ ln -s hbase-2.5.5 hbase"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/local/fqlhadoop/ ls -lrt"

ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "mkdir -p /data/workspace/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m copy -a "src=/data/datamanager/deploy/workspace/ycsb-0.17.0.tar.gz dest=/data/workspace/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/data/workspace/ tar -zxvf ycsb-0.17.0.tar.gz"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "hostname && chdir=/data/workspace/ycsb-0.17.0 nohup bin/ycsb load hbase20 -P workloads/workload_insert_query -cp /usr/local/fqlhadoop/hbase/conf -p table=usertable -p columnfamily=family >> load_`date +'%Y%m%d_%H%M%S'`.log 2>&1 &"

hbase建表语句
https://github.com/brianfrankcooper/YCSB/tree/master/hbase2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2242101.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C# x Unity 从玩家控制类去分析命令模式该如何使用

本文部分内容出自游戏编程模式一书,游戏编程模式,有兴趣的小伙伴可以去看看,虽然不是unity x c#写的 但是思路挺好的 目录 目录 0.先说结论 发现问题 命令模式如何解耦 打个断点更利于分析 怎么实现延迟命令? 如何撤销命令? 脚本整体一览 不足分析(AI) 0.先说结论 …

【C++】—— stack和queue的模拟实现

前言 ​ stack 和 queue使用起来都非常简单,现在来模拟实现一下,理解其底层的原理。 ​ 在实现之前,应该知道,stack 和 queue 都是容器适配器,通过看官网文件也可以看出来;其默认的容器都是deque&#xff…

探索高效的 Prompt 框架:RBTR 提示框架的奥秘与优势

前言 在当今数字化的时代,人工智能(AI)已经成为我们生活和工作中不可或缺的一部分。而 Prompt 作为与 AI 交互的关键工具,其质量直接影响着我们获取信息的准确性和有用性。今天,我们将深入探讨一个通用的 Prompt 框架…

动态规划-完全背包问题——322.零钱兑换

1.题目解析 题目来源 322.零钱兑换——力扣 测试用例 2.算法原理 1.状态表示 这里需要寻找硬币使总面值等于一个值求出所需硬币的最小个数,所以不妨设置一个二维dp表,即dp[i][j]:在[1,i]个硬币中选择的硬币总面值完全等于j时所需要的最小硬…

day-82 最少翻转次数使二进制矩阵回文 I

思路 依次计算使行回文和列回文的的翻转次数,返回较小的次数即可 解题过程 计算行翻转次数:对于每一行,如果第一个数与最后一个数不相同(前提前一个数的索引小于后一个数的索引)则需翻转一次,将所有行翻转…

计算光纤色散带来的相位移动 matlab

需要注意的地方 1.以下内容纯属个人理解,很有可能不准确,请大家仅做参考 2.光速不要直接用3e8 m/s,需要用精确的2.9979.... 3.光的频率无论在真空还是光纤(介质)都是不变的,是固有属性,但是波长lambdac/f在不同的介…

15分钟学 Go 第 53 天 :社区资源与学习材料

第53天:社区资源与学习材料 目标 了解Go语言官方资源掌握社区重要学习平台学会利用开源项目学习构建个人知识体系 一、Go语言官方资源汇总 资源类型网址说明Go官网golang.org官方文档、下载、教程Go Blogblog.golang.org技术博客、最新特性介绍Go Playgroundpla…

丹摩征文活动 |【前端开发】HTML+CSS+JavaScript前端三剑客的基础知识体系了解

前言 🌟🌟本期讲解关于HTMLCSSJavaScript的基础知识,小编带领大家简单过一遍~~~ 🌈感兴趣的小伙伴看一看小编主页:GGBondlctrl-CSDN博客 🔥 你的点赞就是小编不断更新的最大动力 …

【Python · PyTorch】卷积神经网络(基础概念)

【Python PyTorch】卷积神经网络 CNN(基础概念) 0. 生物学相似性1. 概念1.1 定义1.2 优势1.2.1 权重共享1.2.2 局部连接1.2.3 层次结构 1.3 结构1.4 数据预处理1.4.1 标签编码① One-Hot编码 / 独热编码② Word Embedding / 词嵌入 1.4.2 归一化① Min-…

机器学习-36-对ML的思考之机器学习研究的初衷及科学研究的期望

文章目录 1 机器学习最初的样子1.1 知识工程诞生(专家系统)1.2 知识工程高潮期1.3 专家系统的瓶颈(知识获取)1.4 机器学习研究的初衷2 科学研究对机器学习的期望2.1 面向科学研究的机器学习轮廓2.2 机器学习及其应用研讨会2.3 智能信息处理系列研讨会2.4 机器学习对科学研究的重…

激光slam学习笔记5---ubuntu2004部署运行fastlivo踩坑记录

背景:看看fastlivo论文,觉得挺有意思的,就本地部署跑跑看看效果。个人环境,ubuntu20.04。 一、概要 由于依赖比较多,个人构建工作空间,使用catkin_make编译 src├── FAST-LIVO├── livox_ros_driver…

多模态大模型开启AI社交新纪元,Soul App创始人张璐团队亮相2024 GITEX GLOBAL

随着AI在全球范围内的加速发展和广泛应用,各行业纷纷在此领域发力。作为全球最大的科技盛会之一,2024年的GITEX GLOBAL将目光再次聚焦于人工智能的飞速发展,吸引了超过6700家来自各个领域的企业参与。在这样的背景下,Soul App作为国内较早将AI技术应用于社交领域的平台,首次亮相…

67页PDF |埃森哲_XX集团信息发展规划IT治理优化方案(限免下载)

一、前言 这份报告是埃森哲_XX集团信息发展规划IT治理优化方案,报告中详细阐述了XX集团如何优化IT治理结构以适应新的要求。报告还分析了集团管控模式的变化,提出了六大业务中心的差异化管控策略,并探讨了这些变化对IT治理模式的影响。报告进…

基于java Springboot高校失物招领平台

一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术:Html、Css、Js、Vue、Element-ui 数据库:MySQL 后端技术:Java、Spring Boot、MyBatis 三、运行环境 开发工具:IDEA/eclipse 数据…

[C++] 智能指针

文章目录 智能指针的使用原因及场景分析为什么需要智能指针?异常抛出导致的资源泄漏问题分析 智能指针与RAIIC常用智能指针 使用智能指针优化代码优化后的代码优化点分析 析构函数中的异常问题解决方法 RAII 和智能指针的设计思路详解什么是 RAII?RAII 的…

Git回到某个分支的某次提交

1.切换到需要操作的分支&#xff08;<branch-name>是分支名称&#xff09;。 命令如下&#xff1a; git checkout <branch-name> 2.获取代码的提交记录 。命令如下&#xff1a; git log 按q退出当前命令对话。 获取到某次提交或者合并的hash值&#xff08;下文…

掌握 Spring Boot 的最佳方法 – 学习路线图

在企业界&#xff0c;人们说“Java 永垂不朽&#xff01;”。但为什么呢&#xff1f;Java 仍然是开发企业应用程序的主要平台之一。大型公司使用企业应用程序来赚钱。这些应用程序具有高可靠性要求和庞大的代码库。根据Java开发人员生产力报告&#xff0c;62% 的受访开发人员使…

1. Django中的URL调度器 (项目创建与简单测试)

1. 创建 Django 项目 运行以下命令创建一个名为 blog_project 的 Django 项目&#xff1a; django-admin startproject blog_project2. 创建博客应用 Django 中&#xff0c;项目可以包含多个应用。创建一个名为 blog 的应用&#xff1a; cd blog_project python manage.py …

frp内网穿透介绍安装教程

文章目录 前言一、安装二、测试使用总结 前言 内网穿透&#xff08;Port Forwarding&#xff09;是将公网上的IP地址映射到内部网络中的一台计算机的某个端口上&#xff0c;以便外部网络可以访问该计算机中运行的应用程序。内网穿透技术可以通过一些开源工具来实现&#xff0c…

主界面获取个人信息客户端方

主界面获取个人信息客户端方 前言 上一集我们完成了websocket身份验证的内容&#xff0c;那么这一集开始我们将要配合MockServer来完成主界面获取个人信息的内容。 需求分析 我们这边是完成客户端那方的内容&#xff0c;当客户端登录成功之后&#xff0c;我们就要从服务器获…