【HBase——陌陌海量存储案例】5. Apache Phoenix快速入门

news2024/11/17 6:00:17

6.3 快速入门

6.3.1 需求

本次的小DEMO，我们沿用之前的订单数据集。我们将使用Phoenix来创建表，并进行数据增删改查操作。
在这里插入图片描述

列名说明
id订单ID
status订单状态
money支付金额
pay_way支付方式ID
user_id用户ID
operation_time操作时间
category商品分类

6.3.2 创建表语法

在Phoenix中，我们可以使用类似于MySQL DDL的方式快速创建表。例如：

CREATE TABLE IF NOT EXISTS 表名 (
   ROWKEY名称 数据类型 PRIMARY KEY
	列蔟名.列名1 数据类型 NOT NULL,
	列蔟名.列名2 数据类型 NOT NULL,
	列蔟名.列名3 数据类型);

readme.md中写入如下：

# 陌陌海量消息存储说明文档
## 1. 项目结构说明
* hbase_shell：用于存放hbase shell操作脚本
* momo_chat_app：Java API数据接口
* phoenix：phoenix SQL脚本

订单明细建表语句：

create table if not exists ORDER_DTL(
    ID varchar primary key,
    C1.STATUS varchar,
    C1.MONEY float,
    C1.PAY_WAY integer,
    C1.USER_ID varchar,
    C1.OPERATION_TIME varchar,
    C1.CATEGORY varchar
);

通过HBase的Web UI，我们可以看到Phoenix帮助我们自动在HBase中创建了一张名为 ORDER_DTL 的表格，可以看到里面添加了很多的协处理器。
在这里插入图片描述
同时，我们也看到这个表格默认只有一个Region，也就是没有分区的。
在这里插入图片描述
常见问题：

  1. The table does not have a primary key

0: jdbc:phoenix:node1.itcast.cn:2181> create table if not exists ORDER_DTL(
. . . . . . . . . . . . . . . . . . > C1.ID varchar,
. . . . . . . . . . . . . . . . . . > C1.STATUS varchar,
. . . . . . . . . . . . . . . . . . > C1.MONEY double,
. . . . . . . . . . . . . . . . . . > C1.PAY_WAY integer,
. . . . . . . . . . . . . . . . . . > C1.USER_ID varchar,
. . . . . . . . . . . . . . . . . . > C1.OPERATION_TIME varchar,
. . . . . . . . . . . . . . . . . . > C1.CATEGORY varchar
. . . . . . . . . . . . . . . . . . > );
Error: ERROR 509 (42888): The table does not have a primary key. tableName=ORDER_DTL (state=42888,code=509)
java.sql.SQLException: ERROR 509 (42888): The table does not have a primary key. tableName=ORDER_DTL
at org.apache.phoenix.exception.SQLExceptionCode$Factory$1.newException(SQLExceptionCode.java:494)
at org.apache.phoenix.exception.SQLExceptionInfo.buildException(SQLExceptionInfo.java:150)
at org.apache.phoenix.schema.MetaDataClient.createTableInternal(MetaDataClient.java:2440)
at org.apache.phoenix.schema.MetaDataClient.createTable(MetaDataClient.java:1114)
at org.apache.phoenix.compile.CreateTableCompiler$1.execute(CreateTableCompiler.java:192)
at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:408)
at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:391)
at org.apache.phoenix.call.CallRunner.run(CallRunner.java:53)
at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:390)
at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:378)
at org.apache.phoenix.jdbc.PhoenixStatement.execute(PhoenixStatement.java:1825)
at sqlline.Commands.execute(Commands.java:822)
at sqlline.Commands.sql(Commands.java:732)
at sqlline.SqlLine.dispatch(SqlLine.java:813)
at sqlline.SqlLine.begin(SqlLine.java:686)
at sqlline.SqlLine.start(SqlLine.java:398)
at sqlline.SqlLine.main(SqlLine.java:291)

原因：表没有主键，创建表时必须要指定主键，因为HBase数据存储必须要有rowkey

解决办法：在id后面加一个primary key

  1. Error: ERROR 1003 (42J01): Primary key columns must not have a family name

Error: ERROR 1003 (42J01): Primary key columns must not have a family name. columnName=C1.ID (state=42J01,code=1003)
java.sql.SQLException: ERROR 1003 (42J01): Primary key columns must not have a family name. columnName=C1.ID
at org.apache.phoenix.exception.SQLExceptionCode$Factory$1.newException(SQLExceptionCode.java:494)
at org.apache.phoenix.exception.SQLExceptionInfo.buildException(SQLExceptionInfo.java:150)
at org.apache.phoenix.schema.MetaDataClient.newColumn(MetaDataClient.java:1028)
at org.apache.phoenix.schema.MetaDataClient.createTableInternal(MetaDataClient.java:2396)
at org.apache.phoenix.schema.MetaDataClient.createTable(MetaDataClient.java:1114)
at org.apache.phoenix.compile.CreateTableCompiler$1.execute(CreateTableCompiler.java:192)
at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:408)
at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:391)
at org.apache.phoenix.call.CallRunner.run(CallRunner.java:53)
at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:390)
at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:378)
at org.apache.phoenix.jdbc.PhoenixStatement.execute(PhoenixStatement.java:1825)
at sqlline.Commands.execute(Commands.java:822)
at sqlline.Commands.sql(Commands.java:732)
at sqlline.SqlLine.dispatch(SqlLine.java:813)
at sqlline.SqlLine.begin(SqlLine.java:686)
at sqlline.SqlLine.start(SqlLine.java:398)
at sqlline.SqlLine.main(SqlLine.java:291)
0: jdbc:phoenix:node1.itcast.cn:2181>
Error: (state=,code=0)
java.sql.SQLFeatureNotSupportedException
at org.apache.phoenix.jdbc.PhoenixStatement.cancel(PhoenixStatement.java:1691)
at sqlline.DispatchCallback.forceKillSqlQuery(DispatchCallback.java:83)
at sqlline.SqlLine.begin(SqlLine.java:700)
at sqlline.SqlLine.start(SqlLine.java:398)
at sqlline.SqlLine.main(SqlLine.java:291)

问题原因：给Primary Key指定了主键
解决办法：移除primary key上的列蔟

6.4 查看表的信息

!desc ORDER_DTL

注意：一定要加上 !

6.4.1 删除表语法

drop table if exists ORDER_DTL;

6.4.2 大小写问题

在HBase中，如果在列蔟、列名没有添加双引号。Phoenix会自动转换为大写。
例如：

create table if not exists ORDER_DTL(
    id varchar primary key,
    C1.status varchar,
    C1.money double,
    C1.pay_way integer,
    C1.user_id varchar,
    C1.operation_time varchar,
    C1.category varchar
);

在这里插入图片描述

如果要将列的名字改为小写，需要使用双引号，如下：
在这里插入图片描述
注意：一旦加了小写，后面都得任何应用该列的地方都得使用双引号，否则将报以下错误：

Error: ERROR 504 (42703): Undefined column. columnName=ORDER_DTL.ID

6.4.3 插入数据

在Phoenix中，插入并不是使用insert来实现的。而是 「upsert 」命令。它的功能为insert + update，与HBase中的put相对应。如果不存在则插入，否则更新。列表是可选的，如果不存在，值将按模式中声明的顺序映射到列。这些值必须计算为常量。
upsert into 表名(列蔟列名, xxxx, ) VALUES(XXX, XXX, XXX)

插入一条数据：

订单ID订单状态支付金额支付方式ID用户ID操作时间商品分类
IDSTATUSPAY_MONEYPAYWAYUSER_IDOPERATION_DATECATEGORY
000001已提交4070149441912020-04-25 12:09:16手机;

参考代码：
UPSERT INTO ORDER_DTL VALUES('000001', '已提交', 4070, 1, '4944191', '2020-04-25 12:09:16', '手机;');

6.4.4 查询数据

与标准SQL一样，Phoenix也是使用select语句来实现数据的查询。
查询所有数据
SELECT * FROM ORDER_DTL;
更新数据
在Phoenix中，更新数据也是使用UPSERT。语法格式如下：
UPSERT INTO 表名(列名, …) VALUES(对应的值, …);

需求：
将ID为’000001’的订单状态修改为已付款。
UPSERT INTO ORDER_DTL("id", C1."status") VALUES ('000001', '已付款');

根据ID查询数据
SELECT * FROM ORDER_DTL WHERE "id" = '000001';

6.4.5 根据ID删除数据

DELETE FROM ORDER_DTL WHERE "id" = '000001';

6.4.6 导入测试数据

为了方便我们做更多的查询，将以下SQL语句复制到Phoenix客户端中执行。

UPSERT INTO "ORDER_DTL" VALUES('000002','已提交',4070,1,'4944191','2020-04-25 12:09:16','手机;');
UPSERT INTO "ORDER_DTL" VALUES('000003','已完成',4350,1,'1625615','2020-04-25 12:09:37','家用电器;;电脑;');
UPSERT INTO "ORDER_DTL" VALUES('000004','已提交',6370,3,'3919700','2020-04-25 12:09:39','男装;男鞋;');
UPSERT INTO "ORDER_DTL" VALUES('000005','已付款',6370,3,'3919700','2020-04-25 12:09:44','男装;男鞋;');
UPSERT INTO "ORDER_DTL" VALUES('000006','已提交',9380,1,'2993700','2020-04-25 12:09:41','维修;手机;');
UPSERT INTO "ORDER_DTL" VALUES('000007','已付款',9380,1,'2993700','2020-04-25 12:09:46','维修;手机;');
UPSERT INTO "ORDER_DTL" VALUES('000008','已完成',6400,2,'5037058','2020-04-25 12:10:13','数码;女装;');
UPSERT INTO "ORDER_DTL" VALUES('000009','已付款',280,1,'3018827','2020-04-25 12:09:53','男鞋;汽车;');
UPSERT INTO "ORDER_DTL" VALUES('000010','已完成',5600,1,'6489579','2020-04-25 12:08:55','食品;家用电器;');
UPSERT INTO "ORDER_DTL" VALUES('000011','已付款',5600,1,'6489579','2020-04-25 12:09:00','食品;家用电器;');
UPSERT INTO "ORDER_DTL" VALUES('000012','已提交',8340,2,'2948003','2020-04-25 12:09:26','男装;男鞋;');
UPSERT INTO "ORDER_DTL" VALUES('000013','已付款',8340,2,'2948003','2020-04-25 12:09:30','男装;男鞋;');
UPSERT INTO "ORDER_DTL" VALUES('000014','已提交',7060,2,'2092774','2020-04-25 12:09:38','酒店;旅游;');
UPSERT INTO "ORDER_DTL" VALUES('000015','已提交',640,3,'7152356','2020-04-25 12:09:49','维修;手机;');
UPSERT INTO "ORDER_DTL" VALUES('000016','已付款',9410,3,'7152356','2020-04-25 12:10:01','维修;手机;');
UPSERT INTO "ORDER_DTL" VALUES('000017','已提交',9390,3,'8237476','2020-04-25 12:10:08','男鞋;汽车;');
UPSERT INTO "ORDER_DTL" VALUES('000018','已提交',7490,2,'7813118','2020-04-25 12:09:05','机票;文娱;');
UPSERT INTO "ORDER_DTL" VALUES('000019','已付款',7490,2,'7813118','2020-04-25 12:09:06','机票;文娱;');
UPSERT INTO "ORDER_DTL" VALUES('000020','已付款',5360,2,'5301038','2020-04-25 12:08:50','维修;手机;');
UPSERT INTO "ORDER_DTL" VALUES('000021','已提交',5360,2,'5301038','2020-04-25 12:08:53','维修;手机;');
UPSERT INTO "ORDER_DTL" VALUES('000022','已取消',5360,2,'5301038','2020-04-25 12:08:58','维修;手机;');
UPSERT INTO "ORDER_DTL" VALUES('000023','已付款',6490,0,'3141181','2020-04-25 12:09:22','食品;家用电器;');
UPSERT INTO "ORDER_DTL" VALUES('000024','已付款',3820,1,'9054826','2020-04-25 12:10:04','家用电器;;电脑;');
UPSERT INTO "ORDER_DTL" VALUES('000025','已提交',4650,2,'5837271','2020-04-25 12:08:52','机票;文娱;');
UPSERT INTO "ORDER_DTL" VALUES('000026','已付款',4650,2,'5837271','2020-04-25 12:08:57','机票;文娱;');

6.4.7 分页查询

使用limit和offset可以快速进行分页。
limit表示每页多少条记录，offset表示从第几条记录开始查起。

-- 第一页
select * from ORDER_DTL limit 10 offset 0;
-- 第二页
-- offset从10开始
select * from ORDER_DTL limit 10 offset 10;
-- 第三页
select * from ORDER_DTL limit 10 offset 20;

6.4.8 更多语法

http://phoenix.apache.org/language/index.html#delete
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/186362.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Ruoyi-Cloud框架学习-【06 新增业务项目】

Ruoyi-Cloud框架学习-【06 新增业务项目】

新建模块 结构查看 新增子模块，按照若依赖的约定，避免后续出现问题，当然一通百通，也可以按照自己的思路配置，修改对应的配置即可。 后端项目结构如下，通过观察，我们需要新增自己的模块在ruoy…
阅读更多...
git reset

git reset

reset三种模式区别和使用场景区别：--hard：重置位置的同时，直接将 working Tree工作目录、 index 暂存区及 repository 都重置成目标Reset节点的內容,所以效果看起来等同于清空暂存区和工作区。--soft：重置位置的同时，保…
阅读更多...
Java后端项目排错经验分享

Java后端项目排错经验分享

导致错误的原因有很多，最常见的无非也就那么几种： 1、粗心导致的格式问题以及代码多写少写错写字母的问题 2、代码逻辑问题 3、框架版本不匹配问题 无论是哪种问题，排查错误的方式最好最便捷的方式有调试日志，那么如果是线上问…
阅读更多...
【头歌】循环队列及链队列的基本操作

【头歌】循环队列及链队列的基本操作

第1关：循环队列的基本操作任务描述本关任务是实现循环队列的基本操作函数，以实现判断队列是否为满、是否为空、求队列元素个数、进队和出队等功能。相关知识队列的基本概念队列（简称队）也是一种运算受限的线性表，在这种…
阅读更多...
Kubernetes集群搭建 （未完待续）

Kubernetes集群搭建 （未完待续）

Kubernetes集群搭建 目录 前言前期准备K8S集群安装 虚拟机设置安装K8S集群k8s部署Nginx 附录1 Docker安装附录2 yum k8s 问题附录3 k8s start问题附录4 k8s master init 前言 本文指定Docker与K8s版本，保证兼容性，可供参考 Docker‐ce‐3:19.03.9‐3…
阅读更多...
推荐7个高质量图片素材网站

推荐7个高质量图片素材网站

这期给大家分享7个免费、高质量图片素材网站，而且无版权，不用担心侵权！建议收藏。 1、潮点视频 https://shipin520.com/shipin-tp/0-1329-0-0-0-0-0-0-0-1.html?from_code2510 网站主要以提供高质量视频素材为主，但也有大量的配…
阅读更多...
基于FPGA的啸叫检测与抑制系统设计与实现verilog

基于FPGA的啸叫检测与抑制系统设计与实现verilog

针对啸叫的问题，本文设计了一种基于移频算法的啸叫抑制器。采用高性能音频编解码芯片对音频信号采样，移频器对采样所得的音频信号进行移频，移频频率范围为0~8Hz，再用音频芯片输出，采用FFT算法计算出啸叫点频率值，显示在LCD1602上，此移频器可达到快速有效的啸叫抑制效果。…
阅读更多...
【JVM】垃圾回收之对象已死

【JVM】垃圾回收之对象已死

文章目录1. 概述2. 引用计数算法3. 可达性分析算法4. 引用的分类4.1 软引用的应用本文参考：深入理解Java虚拟机：JVM高级特性与最佳实践（第3版） 1. 概述 总所周知，垃圾收集器的任务就是将“死去”的对象回收。 那么&a…
阅读更多...
自动驾驶感知——毫米波雷达

自动驾驶感知——毫米波雷达

文章目录1. 雷达的基本概念1.1 毫米波雷达分类1.2 信息的传输1.3 毫米波雷达的信号频段1.4 毫米波雷达工作原理1.4.1 毫米波雷达测速测距的数学原理1.4.2 毫米波雷达测角度的数学原理1.4.3 硬件接口1.4.4 关键零部件1.4.5 数据的协议与格式1.5 车载毫米波雷达的重要参数1.6 车载…
阅读更多...
94. BERT以及BERT代码实现

94. BERT以及BERT代码实现

1. NLP里的迁移学习 使用预训练好的模型来抽取词、句子的特征 例如word2vec 或语言模型 不更新预训练好的模型需要构建新的网络来抓取新任务需要的信息 Word2vec忽略了时序信息，语言模型只看了一个方向Word2vec只是抽取底层的信息，作为embedding层&…
阅读更多...
数据太多？3款免费数据分析软件，分分钟解决

数据太多？3款免费数据分析软件，分分钟解决

本文分享下我在做数据分析时用过的几个简单易上手的数据可视化软件。 先放上目录： 数据统计收集类——简道云数据图表美化类——图表秀数据开发类——Echart 01 简道云 https://www.jiandaoyun.com/ 适用于：想要“简单易上手”适合业务人员&#xff0…
阅读更多...
TF-A源码移植的过程

TF-A源码移植的过程

1.解压标准 tf-a 源码包： tar xfz tf-a-stm32mp-2.2.r2-r0.tar.gz 2.将 ST 官方补丁文件打到 tf-a 源码中： 3.配置交叉编译工具链： 进入~/FSMP1A/tf-a-stm32mp-2.2.r2-r0$ 目录下，打开Makefile.sdk 将如下内容进行更改 4.复制设…
阅读更多...
【前端设计】监控顺序返回型总线超时的计时器模块设计

【前端设计】监控顺序返回型总线超时的计时器模块设计

前言 总线超时检查机制是系统中必要的模块设计，用于在总线无法返回response时能够及时上报中断。从理论上分析，如果总线发生了诸如挂死或者物理损坏等超时行为，无论计时器上报timeout的时间偏大还是偏小，都是一定可以上报中断的。…
阅读更多...
Xilinx MicroBlaze系列教程（适用于ISE和Vivado开发环境）

Xilinx MicroBlaze系列教程（适用于ISE和Vivado开发环境）

本文是Xilinx MicroBlaze系列教程的第0篇文章。这个系列文章是我个人最近两年使用Xilinx MicroBlaze软核的经验和笔记，以Xilinx ISE 14.7和Spartan-6，以及Vivado 2018.3和Artix-7为例，介绍MicroBlaze软核、AXI系列IP核的软硬件使用，希望能帮助到更多的人。 MicroBlaze是Xil…
阅读更多...
什么是有限元分析？能用来干什么

什么是有限元分析？能用来干什么

您是否想过工程师和制造商如何测试他们设计的耐用性、强度和安全性？如果您看过汽车广告，您可能会相信工程师和设计师不断地破坏他们的产品以测试其强度。您可能会得出结论，制造商会重复此过程，直到设计能够承受巨大的损坏并达到可…
阅读更多...
夜游经济：夜景“亮化”，形象“美化”，经济“活化”

夜游经济：夜景“亮化”，形象“美化”，经济“活化”

复杂的国际形势之下，扩大国内消费需求，激发消费市场潜力，堪称疫后经济复苏振兴的“金钥匙”。这一背景下，大力发展夜游经济，成为提振国内消费需求、促进城乡居民就业、拉动经济复苏增长的重要突破口。去年以来&#xf…
阅读更多...
无法超越的100米_百兆以太网传输距离_网线有哪几种？

无法超越的100米_百兆以太网传输距离_网线有哪几种？

对网络比较了解的朋友，都知道双绞线有一个“无法逾越”的“100米”传输距离。无论是10M传输速率的三类双绞线，还是100M传输速率的五类双绞线，甚至1000M传输速率的六类双绞线，最远有效传输距离为100米。在综合布线规范中&#xff0…
阅读更多...
Qt下实现欧姆龙PLC 串口发送HOSTLINK（FINS）模式

Qt下实现欧姆龙PLC 串口发送HOSTLINK（FINS）模式

文章目录前言一、HOSTLINK协议说明二、校验码（FCS）计算三、示例完整代码四、下载链接总结前言 本文讲述了Qt下模拟串口调试工具发送HOSTLINK（FINS）模式，主要进行了HR保持区的字和位的读写，对HOSTLINK协议中…
阅读更多...
记一次CPU飚高以及排查过程

记一次CPU飚高以及排查过程

一.cpu突然飚高 收到系统频发的cpu超过90%的告警.虽然是在非线上环境出现.接到告警后第一反应还是去重启了机器,重启后cpu如期的下降了下来.以为能高枕无忧,不过一会儿还是收到了告警. 二.排查 2.1 top 指令查看物理机进程id 申请了堡垒机权限登上机器 top指令后.如下确实发…
阅读更多...
微服务,Docker, k8s,Cloud native 云原生的简易发展史

微服务,Docker, k8s,Cloud native 云原生的简易发展史

微服务发展史 2005年：Dr. PeterRodgers在Web ServicesEdge大会上提出了“Micro-Web-Services”的概念。2011年：一个软件架构工作组使用了“microservice”一词来描述一种架构模式。2012年：同样是这个架构工作组，正式确定用“micr…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023