大数据第六天

news2024/11/15 9:52:59

这里写目录标题

  • 问题
    • 解决问题
    • 查询插入(时间慢)
    • 练习sql
    • 数据清理

问题

FAILED: ParseException line 1:16 mismatched input ‘input’ expecting INPATH near ‘local’ in load statement
MismatchedTokenException(24!=155)

加载数据的时候出现了这个错误,我们解释一个这个错误是什么,具体说的是语法有问题,需要我们修改语法问题

失败:ParseException行1:16输入“input”不匹配,在load语句中应为靠近“local”的INPATH
MismatchedTokenException(24!=155)

这个翻译的原文

我导入的文件
在这里插入图片描述
这个才是正确的数据格式
在这里插入图片描述

解决问题

发现解决不了

这里写的就是有问题
错误的写法是 Input
正确的是 inpath
在这里插入图片描述

总是出现这个错误,我不知道怎么了

在这里插入图片描述
我就是在这个服务器上面还是还是没有成功

在这里插入图片描述
使用这个方式突然成功了

在这里插入图片描述
数据也没有问题

在这里插入图片描述

创建数据集表
在这里插入图片描述
数据
在这里插入图片描述
上传
在这里插入图片描述
结果

查询插入(时间慢)

INSERT INTO table student04 select id,name from student01 ;

在这里插入图片描述
这个时间大概有一个1分钟了把

练习sql

选择库

use test;

创建数据表的方式

CREATE table student04(
id int,
namet string
)
row format delimited
fields terminated by ',';

数据格式

在这里插入图片描述

加载本地数据库

load data local input '/root/hivedata/student.txt' into table student;

数据清理

有一些数据为空我们不需要如何进行处理的方式
在这里插入图片描述

我们只想要获取时间数据的方式
在这里插入图片描述

经纬度是一个数据如何分成俩个数据的方式
在这里插入图片描述

清理为空的数据
LENGTH(sender_gps) = 0

SELECT msg_time,sender_name,sender_gps from 
tb_msg_source 
WHERE  LENGTH(sender_gps) = 0
limit 10

获取时间段的数据
SUBSTR(msg_time,12,16)

select SUBSTR(msg_time,12,16) from tb_msg_source limit 10; 

分割数据的方式
split(sender_gps,“,”)[1]

SELECT split(sender_gps,",")[1] from tb_msg_source 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1620572.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【六十】【算法分析与设计】用一道题目解决dfs深度优先遍历,dfs中节点信息,dfs递归函数模板进入前维护出去前回溯,唯一解的剪枝飞升返回值true

路径之谜 题目描述 小明冒充X星球的骑士,进入了一个奇怪的城堡。 城堡里边什么都没有,只有方形石头铺成的地面。 假设城堡地面是nn个方格。如下图所示。 按习俗,骑士要从西北角走到东南角。可以横向或纵向移动,但不能斜着音走,也不能跳跃。每走到一个新方格,就要向正北 方和正西…

短信视频提取批量工具,免COOKIE,博主视频下载抓取,爬虫

痛点:关于看了好多市面的软件,必须要先登录自己的Dy号才能 然后找到自己的COOKIE 放入软件才可以继续搜索,并且无法避免长时间使用 会导致无法正常显示页面的问题。 有没有一种方法 直接可以使用软件,不用设置的COOKIE的方法呢 …

对于地理空间数据,PostGIS扩展如何在PostgreSQL中存储和查询地理信息?

文章目录 一、PostGIS扩展简介二、PostGIS存储地理空间数据1. 创建空间数据表2. 插入空间数据 三、PostGIS查询地理空间数据1. 查询指定范围内的地理空间数据2. 计算地理空间数据之间的距离3. 对地理空间数据进行缓冲区分析 四、总结 地理空间数据是指描述地球表面物体位置、形…

开源社区与开发者的故事

开源社区与开发者的故事 什么是开源社区你参加开源社区的主要目的你是否在开源社区中贡献,或者开源自己的项目?你认为个人开发者是否应该从开源中获利?如果是,该如何获利? 今天要谈及的主题是开源社区,那么…

2024年新算法-牛顿-拉夫逊优化算法(NRBO)优化BP神经网络回归预测

亮点: 输出多个评价指标:R2,RMSE,MSE,MAPE和MAE 满足需求,分开运行和对比的都有对应的主函数:main_BP, main_NRBO, main_BPvsBP_NRBO,并且详细中文注释 方便快捷:替换…

打破企业差旅管理困局,让金融CEO眼前一亮的出行方案

在国内券商投行部工作是怎样一种体验? “长期出差,而且出长差,时常让人有漂泊的孤独感。”这是某问答平台上的高赞回答的第一条。 对金融人来说,说走就走的旅行可能根本没有什么吸引力,时刻准备着说走就走的出差才是生…

MVCC的执行原理

MVCC的执行原理 MVCC简介事务的隔离级别MVCC作用当前读和快照读MVCC实现原理Undo LogUndo Log 版本链Read View判断方法判断规则 小结 MVCC简介 MVCC(Multi-Version Concurrency Control)是一种并发控制机制,用于解决数据库并发访问中&#…

pyqt 动态更换表头和数据

目录 pyqt 动态更换表头和数据代码 效果图: pyqt 动态更换表头和数据代码 from PyQt5.QtGui import QColor, QBrush from PyQt5.QtWidgets import QApplication, QTableWidget, QVBoxLayout, QWidget, QPushButton, QTableWidgetItemclass Example(QWidget):def _…

如何诊断并解决PostgreSQL中的磁盘空间不足问题?

文章目录 诊断磁盘空间不足问题1. 检查服务器磁盘空间2. 检查PostgreSQL数据目录大小3. 检查PostgreSQL中的大表和大对象 解决磁盘空间不足问题1. 清理不必要的文件和日志2. 清理或压缩大表和大对象3. 扩展磁盘容量4. 优化数据库配置和查询 在使用PostgreSQL数据库时&#xff0…

华为云实验 -- 对云硬盘数据盘进行备份

文章目录 备份Linux系统备份1.购买Linux操作系统的ESC(云服务器)2.挂载数据盘--初始化--分区--格式化2.1.点击"远程登录"a.查看/dev/vdb数据盘b.新建主分区/dev/vdb1 2.2.查看新建分区大小,分区格式信息a.确定之前的分区操作是否正确b.确认完成后,将分区结…

【MATLAB源码-第32期】基于matlab的通信及雷达中常用伪随机码m序列的仿真。

操作环境: MATLAB 2022a 1、算法描述 M序列,也称为最大长度序列或者伪随机序列,是一种特殊的二进制序列。它的特点是在有限的长度内,尽管它是伪随机的,但它会在特定的周期内不重复地循环。 在数学上,M序…

利用fft算法重写公式并理解频率和像素变化率的关系(完美解决问题)

算法我就不贴了。算法就是算法导论的内容。 我直接写推导过程。 假设变化率为f(n1)-f(n) 首先计算二进制数,这里我假设为3位二进制。 例如:f(5)-f(4), 5和4的二进制为101,100。所以逆序数为101,001 101对应的频率为5, 001对应的频率为1…

力扣HOT100 - 236. 二叉树的最近公共祖先

解题思路: dfs 节点p,q异侧时,节点root为它们的公共祖先。 class Solution {public TreeNode lowestCommonAncestor(TreeNode root, TreeNode p, TreeNode q) {if (root null || p root || q root) return root;TreeNode left lowestCommonAncest…

max各种相机导出到ue4匹配镜头的工具集

总览 rollout export_UE4Cam_v2 "导出UE4Cam_v2:半自动" width:200 height:120(HyperLink explain "在打开的max文件中使用" pos:[25,12] width:200 height:15 color:(color 255 155 0) GroupBox grp1 "要导出的相机名" pos:[5,28] width:179 …

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections(野外的 NERF: 用于无约束照片采集的神经辐射场) Abstract 我们提出了一种基于学习的方法来合成新的视图的复杂场景使用只有非结构化的收集野生照片。我们建立在神经辐射场(neRF)的…

深度学习算法简介(一)

目录 ⛳️推荐 前言 1、深度神经网络(DNN) 2、卷积神经网络(CNN) 3、残差网络(ResNet) 4、LSTM(长短时记忆网络) 5、Word2Vec 6、Transformer 7、生成对抗网络(…

MySQL常见的约束

什么是约束? 限制,限制我们表中的数据,保证添加到数据表中的数据准确和可靠性!凡是不符合约束的数据,插入时就会失败,插入不进去的! 比如:学生信息表中,学号就会约束不…

【IC设计】奇数分频与偶数分频 电路设计(含讲解、RTL代码、Testbench代码)

文章目录 原理分析实现和仿真偶数分频的电路RTL代码偶数分频的电路Testbench代码偶数分频的电路仿真波形占空比为50%的三分频电路RTL代码占空比为50%的三分频电路Testbench代码占空比为50%的三分频电路仿真波形 参考资料 原理分析 分频电路是将给定clk时钟信号频率降低为div_c…

北斗卫星助力农业生产精准播种

北斗卫星助力农业生产精准播种 随着现代化农业的不断进步,高科技技术的融合已成为推动农业生产向前发展的重要动力。其中,北斗卫星导航系统(BDS)的应用,特别是在农业播种领域的利用,标志着农作物种植方式的…

私域运营的基础是什么?

私域运营是指在自有平台上进行的一系列运营活动,旨在建立和维护与用户的深度互动关系,提升用户忠诚度和品牌影响力。相比于传统的广告投放和推广方式,私域运营更加注重与用户的沟通和互动,通过提供有价值的内容和个性化的服务&…