使用pandas的merge()和join()函数进行数据处理

news2024/11/17 3:23:49

目录

一、引言

二、pandas的merge()函数

基本用法

实战案例

三、pandas的join()函数

基本用法

实战案例

四、merge()与join()的比较与选择

使用场景:

灵活性:

选择建议:

五、进阶案例与代码

六、总结


一、引言

在数据分析和处理中,数据整合是一个至关重要的步骤。Python的pandas库提供了强大的数据处理功能,其中merge()和join()函数是数据整合中常用的方法。本文将详细讲解pandas的merge()和join()函数的用法,并通过实战案例和代码,帮助新手朋友理解和掌握这两个函数。

二、pandas的merge()函数

merge()函数是pandas库中用于数据合并的主要函数,它基于一个或多个键将两个DataFrame对象合并在一起。merge()函数支持多种合并类型,如内连接(inner)、左连接(left)、右连接(right)和外连接(outer)。

基本用法

merge()函数的基本语法如下:

pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None,  
             left_index=False, right_index=False, sort=True,  
             suffixes=('_x', '_y'), copy=True, indicator=False,  
             validate=None)

其中,left和right参数分别表示要合并的两个DataFrame对象;how参数指定合并类型;on参数指定用于合并的列名;left_on和right_on参数分别指定左侧和右侧DataFrame中用于合并的列名;left_index和right_index参数表示是否将左侧的索引和右侧的索引作为合并的键;suffixes参数用于在合并过程中解决列名冲突;copy参数表示是否返回合并后的新对象;indicator参数用于在合并后的DataFrame中添加一个指示列,标识每行数据的来源;validate参数用于验证合并操作的有效性。

实战案例

假设我们有两个DataFrame对象,分别表示两个班级的学生信息:

import pandas as pd  
  
# 创建第一个DataFrame对象,表示班级A的学生信息  
df1 = pd.DataFrame({  
    'student_id': [1, 2, 3, 4],  
    'name': ['Alice', 'Bob', 'Charlie', 'David'],  
    'class': 'A'  
})  
  
# 创建第二个DataFrame对象,表示班级B的学生信息,并包含学生的分数  
df2 = pd.DataFrame({  
    'student_id': [2, 3, 5, 6],  
    'score': [90, 85, 92, 88],  
    'class': 'B'  
})  
  
# 使用merge()函数进行内连接,基于student_id列合并两个DataFrame  
merged_inner = pd.merge(df1, df2, how='inner', on='student_id')  
print(merged_inner)

执行上述代码后,将输出两个班级共有的学生信息及其分数。

三、pandas的join()函数

join()函数是pandas库中用于数据连接的另一个函数,它基于索引进行连接。与merge()函数不同,join()函数主要用于在Series或DataFrame之间基于索引进行连接操作。

基本用法

join()函数的基本语法如下:

DataFrame.join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)

其中,other参数表示要连接的另一个Series或DataFrame对象;on参数指定用于连接的列名或索引;how参数指定连接类型(默认为左连接);lsuffix和rsuffix参数用于在连接过程中解决列名冲突;sort参数表示是否对连接后的数据进行排序。

实战案例

假设我们有两个DataFrame对象,其中df1包含学生信息,其索引为学生ID;df2包含学生的分数信息,其索引也为学生ID:

# 使用set_index()方法将student_id列设置为索引  
df1.set_index('student_id', inplace=True)  
df2.set_index('student_id', inplace=True)  
  
# 使用join()函数进行左连接,基于索引连接两个DataFrame  
joined_left = df1.join(df2, how='left')  
print(joined_left)

执行上述代码后,将输出df1中的所有学生信息以及与之匹配的df2中的分数信息。对于df1中存在但在df2中不存在的学生,其分数列将填充为NaN。

四、merge()与join()的比较与选择

merge()和join()函数在pandas中都是用于数据整合的重要工具,但它们在使用场景和特性上存在一些差异。以下是对这两个函数的比较和选择建议:

使用场景:

merge()函数基于列进行合并,适用于两个DataFrame之间基于共同列(键)的数据整合。它支持多种合并类型,包括内连接、左连接、右连接和外连接,并允许指定多个键进行合并。
join()函数基于索引进行连接,适用于DataFrame或Series之间基于索引的数据整合。它主要进行左连接操作,即将一个对象中的行与另一个对象中索引匹配的行连接起来。

灵活性:

merge()函数在合并时提供了更多的选项和灵活性,如可以指定多个键进行合并、处理列名冲突等。它还支持合并后数据的排序和验证。
join()函数相对简单,主要用于基于索引的左连接操作。它不支持多键合并或复杂的合并类型,但在处理基于索引的数据整合时更加直观和高效。

选择建议:

当需要基于共同列(键)进行数据整合时,应首选merge()函数。它提供了更多的选项和灵活性,可以满足各种合并需求。
当数据已经基于索引进行组织,并且需要基于索引进行数据整合时,可以选择join()函数。它在处理基于索引的数据时更加直观和高效。

五、进阶案例与代码

为了更好地说明merge()和join()函数的使用,我们将通过一个进阶案例来展示它们的实际应用。

案例:假设我们有两个DataFrame,df_orders表示订单信息,包含订单ID、客户ID、订单日期和订单金额;df_customers表示客户信息,包含客户ID、客户姓名和客户地址。我们需要将这两个DataFrame合并,以便获取每个订单的客户姓名和地址。

首先,我们创建两个示例DataFrame:

import pandas as pd  
  
# 创建订单信息DataFrame  
df_orders = pd.DataFrame({  
    'order_id': [1, 2, 3, 4],  
    'customer_id': [101, 102, 101, 103],  
    'order_date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],  
    'order_amount': [100, 200, 150, 300]  
})  
  
# 创建客户信息DataFrame,并设置客户ID为索引  
df_customers = pd.DataFrame({  
    'customer_id': [101, 102, 103],  
    'customer_name': ['Alice', 'Bob', 'Charlie'],  
    'customer_address': ['Address A', 'Address B', 'Address C']  
}).set_index('customer_id')  
  
# 使用merge()函数进行左连接,基于customer_id列合并两个DataFrame  
merged_df = df_orders.merge(df_customers, left_on='customer_id', right_index=True)  
print(merged_df)

在上面的代码中,我们首先创建了两个示例DataFrame,df_orders包含订单信息,df_customers包含客户信息,并将客户ID设置为索引。然后,我们使用merge()函数进行左连接,将df_orders中的订单信息与df_customers中的客户信息合并起来。在merge()函数中,我们指定了left_on='customer_id'表示左侧DataFrame的合并键为customer_id列,right_index=True表示右侧DataFrame的合并键为索引。

执行代码后,将输出合并后的DataFrame,其中包含订单信息、客户姓名和客户地址。注意,由于我们使用了左连接,所以即使某些订单在df_customers中没有对应的客户信息(如客户ID为104的订单),这些订单仍然会出现在合并后的DataFrame中,但客户姓名和客户地址列将填充为NaN。

六、总结

本文详细介绍了pandas库中merge()和join()函数的使用方法和实战案例。merge()函数基于列进行合并,支持多种合并类型和选项,适用于基于共同列(键)的数据整合;而join()函数基于索引进行连接,主要用于基于索引的数据整合。通过比较和选择建议,我们可以根据实际需求选择合适的函数进行数据整合操作。同时,我们还通过进阶案例展示了这两个函数在实际应用中的强大功能。希望本文能够帮助新手朋友更好地理解和掌握pandas的merge()和join()函数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1665399.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

stata空间计量模型基础+检验命令LM检验、sem、门槛+arcgis画图

目录 怎么安装stata命令 3怎么使用已有的数据 4数据编辑器中查看数据 4怎么删除不要的列 4直接将字符型变量转化为数值型的命令 4改变字符长度 4描述分析 4取对数 5相关性分析 5单位根检验 5权重矩阵标准化 6计算泰尔指数 6做核密度图 7Moran’s I 指数 8空间计量模型 9LM检验…

Java | Leetcode Java题解之第68题文本左右对齐

题目&#xff1a; 题解&#xff1a; class Solution {private String line(List<String> list,int maxWidth,int totalLength,boolean isLast){StringBuilder sb new StringBuilder();sb.append(list.get(0));if(list.size() 1){String ap " ".repeat(maxW…

interview_bak

flink内存管理 JVM 存在的几个问题: Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存:对象头占了8个,boolean 属性占了1个,对齐填充占了7个。而实际上只需要一个bit(1/8字节)就够了。Full GC 会极大地影响性能,尤其是为了处理更大数据而开了很大…

Nest.js中使用任务调度

java中的xxl在nestJs中是有内置的任务调度nestjs/schedule npm install --save nestjs/schedule 在model中引入使用 在service中直接使用就行 具体间隔多久看官方配置 Task Scheduling | NestJS 中文文档 | NestJS 中文网

DDoS攻防,本质上是成本博弈!

在互联网里&#xff0c;分布式拒绝服务&#xff08;DDoS&#xff09;攻击作为一种常见的网络威胁&#xff0c;持续对网站、在线服务和企业基础设施构成严重挑战。本文旨在探讨实施DDoS攻击的大致成本、以及企业如何采取有效措施来防范此类攻击&#xff0c;确保业务连续性和网络…

二叉树进阶 --- 中

目录 1. find 的递归实现 2. insert 的递归实现 3. erase 的递归实现 3.1. 被删除的节点右孩子为空 3.2. 被删除的节点左孩子为空 3.3. 被删除的节点左右孩子都不为空 4. 析构函数的实现 5. copy constructor的实现 6. 赋值运算符重载 7. 搜索二叉树的完整实现 1. fi…

IM 是什么?

在当今数字化的时代&#xff0c;即时通讯&#xff08;IM&#xff09;已经渗透到人们的日常生活和企业的工作环境中。IM技术的快速i发展为人们提供了一种高效、便捷的沟通方式&#xff0c;不仅推动了社会的信息化进程&#xff0c;也提升了企业的协同效率和竞争力。 作为企业级I…

API接口调用|京东API接口|淘宝API接口

什么是电商API接口&#xff1a; 电商API接口是电商服务平台对外提供的一种接口服务&#xff0c;允许第三方开发者通过编程方式与电商系统进行数据交互和功能调用。 这些接口提供了一种标准化的方法来获取、更新或处理电商平台上的商品信息、订单状态、用户数据、支付信息、物流…

堆排序 之实现最小的K个数

目录 1、方式一&#xff1a;通过自定义实现建堆和堆化操作 2、方式二&#xff1a;借助模块heapq实现 2.1、模块heapq的基本使用 2.2、使用heapq实现最小的k个数 3、堆在实际项目的应用 实现语言&#xff1a;Python 3.9 题目来源&#xff1a;牛客 分析&#xff1a; 要找…

Offline: Overcoming Model Bias for Robust Offline Deep Reinforcement Learning

EAAI 2023 paper Intro model-free的离线强化学习由于价值函数估计问题存在训练的稳定性以及鲁棒性较低。本文提出基于模型的方法&#xff0c;同构构建稳定的动力学模型帮助策略的稳定训练。 method 本文基于模型的方法&#xff0c;所构造的转移模型输入状态动作&#xff0…

500元以内的蓝牙耳机品牌怎么选?五大优质品牌汇总

无论是通勤途中、学习间隙还是运动时&#xff0c;一款性能出众、价格亲民的蓝牙耳机都能为我们带来极致的听觉享受&#xff0c;然而面对市场上琳琅满目的品牌和型号&#xff0c;如何选择一款500元以内的优质蓝牙耳机&#xff0c;相信大家都会有这个难题&#xff0c;今天为了帮助…

去哪里找高清视频素材?推荐几个短视频素材免费网站

在数字时代&#xff0c;视频内容的质量直接影响观众的吸引力和留存率。尤其是高清、4K视频素材和可商用素材&#xff0c;它们在提升视觉质量和叙事深度方面起到了至关重要的作用。以下是一些国内外的顶级视频素材网站&#xff0c;它们提供的资源将为您的创作提供极大的支持和灵…

Java里的String使用

1.Java WinForm项目 public static void main(String[] args) {String testString"22";String testString2"1096";String testString3"22";Student studentnew Student();student.Age"22";Test(student.Age);Test2(student.Age); }pu…

【吴恩达机器学习-week2】多个变量的特征缩放和学习率问题

特征缩放和学习率&#xff08;多变量&#xff09; 目标 利用上一个实验中开发的多变量例程在具有多个特征的数据集上运行梯度下降探索学习率对梯度下降的影响通过 Z 分数归一化进行特征缩放&#xff0c;提高梯度下降的性能 import numpy as np np.set_printoptions(precisio…

Appwrite 1.5 已在云端发布 - 四月产品更新

Hello, Appwriters&#x1f44b; 以下是四月份的产品更新和一个令人兴奋的消息&#xff1a; Appwrite 1.5 已在 Appwrite Cloud 上发布。这个版本备受期待&#xff0c;我们很高兴终于能与大家分享这个好消息。 为了让您快速复习&#xff0c;您现在可以开始使用云计算平台上的…

视频资源汇聚平台常见的几种接入方式

视频资源汇聚平台 视频汇聚平台可以实现海量资源的接入、汇聚、存储、处理、分析、运维等&#xff0c;平台具备轻量化接入能力&#xff0c;可支持多协议方式接入&#xff0c;包括主流标准协议GB28181、RTSP、ONVIF、RTMP、FLV、WEBSOCKET等&#xff0c;以及厂家私有协议与SDK接…

人脸识别之bbox【det_10g】-ncnn(c++)

模型描述 det_10g是insightface 人脸框图和人脸关键点的分类&#xff0c;最终能够得到人脸框图bbox&#xff0c;分值还有人脸五官&#xff08;眼x2、鼻子x1、嘴巴x2&#xff09; 由于我这里没有采用最终结果&#xff0c;通过onnx转换为ncnn&#xff0c;所以后面的步骤结果丢弃…

桌面怎么分类便签 桌面分类便签设置方法

桌面便签&#xff0c;一直是我工作和学习的好帮手。每当灵感闪现或是有待办事项&#xff0c;我都会随手记录在便签上&#xff0c;它们就像我桌面上的小助手&#xff0c;时刻提醒我不要遗漏任何重要事务。 但便签一多&#xff0c;管理就成了问题。一张张五颜六色的便签贴满了我…

autolabor(ROS开发笔记)__1

视频链接&#xff1a;ROS机器人 chapter 1 ROS概述与环境搭建 学习步骤&#xff1a; 1.了解该模块的相关概念 是什么&#xff0c;为什么学&#xff0c;前世今生&#xff0c;发展前景 2.安装官方软件包 具备基本的开发环境&#xff0c;简陋notepad 3.搭建集成开发环境(IDE,Int…

信息检索(35):LEXMAE: LEXICON-BOTTLENECKED PRETRAINING FOR LARGE-SCALE RETRIEVAL

LEXMAE: LEXICON-BOTTLENECKED PRETRAINING FOR LARGE-SCALE RETRIEVAL 标题摘要1 引言2 相关工作3 LEXMAE&#xff1a;词典瓶颈屏蔽自动编码器3.1 语言建模编码器3.2 词典瓶颈模块3.3 弱化掩蔽式解码器3.4 词汇加权检索器的预训练目标和微调 4 实验4.1 主要评估4.2 效率分析与…