【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧

news2024/9/22 4:01:15

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧

本次修炼方法请往下查看
在这里插入图片描述

🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 相关内容文档获取微信公众号
🎇 相关内容视频讲解 B站

🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。

🔧 技术专长：在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。

📝 博客风采：积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。

🌵文章目录🌵

- 🎯 1.基本介绍
- 💡 2. 代码用法
- - 2.1 初始化spark环境
  - 2.2 创建或使用现有Hive表
  - 2.3 使用PySpark为列添加注释
- 💡 3. 高级用法
- - 3.1 批量增加多个列
  - 3.2 在增加列时直接添加注释
- 💡 4. 注意事项
- 💡 5. 总结

下滑查看解决方法

🎯 1.基本介绍

在Hive中管理表结构是一项常见任务，尤其是在数据仓库环境中。使用PySpark，我们可以方便地对Hive表进行操作，包括增加新列和为列添加注释。这些操作有助于优化数据模型和提高数据的可读性。

💡 2. 代码用法

2.1 初始化spark环境

对于pyspark来讲，常用的就是sparkcontext类，一般都是先启动一个这样的程序才可以进行相应的操作，而SparkSession可以在不创建SparkConf，SparkContext或SQLContext的情况下创建SparkSession（它们封装在SparkSession中），这个sparksession就是用来调取dataframe相关操作的类，具体的操作如下：

    # 一般在进行spark-submit的.py文件在初始化的时候，需要创建spark对象，具体如下
    from pyspark import SparkConf
    from pyspark import SparkContext
    from pyspark.sql import SparkSession
    from pyspark.sql import SQLContext
    from pyspark.sql import Row
    from pyspark.sql.types import StructType
    from pyspark.sql.types import StructField
    from pyspark.sql.types import StringType
    from pyspark.sql import functions as fn
    from pyspark.sql import types as T
    sc_conf = SparkConf().setAppName('b2b_fraud_data')
    spark = SparkSession.builder.config(conf=sc_conf).enableHiveSupport().getOrCreate()

而对于上述的两个class来说，经常对创建相关的临时表，createOrReplaceTempView：创建临时视图，此视图的生命周期与用于创建此数据集的[SparkSession]相关联。
createGlobalTempView：创建全局临时视图，此时图的生命周期与Spark Application绑定。如果想要删除的话就得使用spark.catalog.dropGlobalTempView(“tempViewName”)

2.2 创建或使用现有Hive表

假设我们有一个名为existing_hive_table的Hive表，我们将在此基础上增加新列。，具体代码如下所示：

from pyspark.sql import Row

# 假设我们想要增加一个名为'new_column'的列，类型为String
addColumnStatement = """
ALTER TABLE existing_hive_table
ADD COLUMNS (new_column STRING)
"""

spark.sql(addColumnStatement)

2.3 使用PySpark为列添加注释

为’new_column’添加注释，具体的代码如下所示：

# 为'new_column'添加注释
addCommentStatement = """
COMMENT ON COLUMN existing_hive_table.new_column
IS 'This is the new column added to the table'
"""

spark.sql(addCommentStatement)

💡 3. 高级用法

3.1 批量增加多个列

如果需要批量增加多个列，可以在ADD COLUMNS语句中列出所有新列及其类型。，具体的操作代码如下所示：

addColumnsMultipleStatement = """
ALTER TABLE existing_hive_table
ADD COLUMNS (column1 STRING COMMENT 'Comment for column1', column2 INT COMMENT 'Comment for column2')
"""

spark.sql(addColumnsMultipleStatement)

3.2 在增加列时直接添加注释

可以在增加列的同时直接为其添加注释，避免使用单独的命令。，具体的操作代码如下所示：

# 根据年龄创建更详细的年龄组标签
# 根据年龄和性别创建不同的标签
df_with_custom_label = df.withColumn("custom_label", 
                                     when((df.age >= 18) & (df.name == "Alice"), "Adult Alice")
                                     .when((df.age >= 65), "Senior")
                                     .otherwise("General"))
df_with_custom_label.show()


+---+-----+---+-----------+
| id| name|age|custom_label|
+---+-----+---+-----------+
|  1|Alice| 25|  Adult Alice|
|  2|  Bob| 30|       General|
|  3|Charlie| 22|       General|