【Python小技巧】一步到位升级到pandas 2.0.0正式版

news2024/11/19 18:42:27

文章目录

  • 前言
  • 一、Pandas是什么?
  • 二、Pandas 2.0.0的升级特性
  • 三、升级安装Pandas 2.0.0正式版
  • 总结


前言

工欲善其事必先利其器,大数据、AI时代,目前Python 最新版本是3.11 ,而Pandas也刚刚完成大升级,进入 2.0.0时代。

一、Pandas是什么?

Pandas是一种用于数据操作和数据分析的Python库。它提供了丰富的数据结构和函数,使我们可以轻松地处理各种数据,包括时间序列、表格型数据、矩阵数据等等。它的灵活性、易用性和强大的数据处理能力使其成为数据科学家、数据分析师、量化交易员等相关领域的必备工具之一。

Pandas主要包含Series和DataFrame两种数据结构。Series是一种一维数组,它可以存储不同类型的数据,每个元素都有一个相应的索引,使我们可以通过索引来访问和操作数据。DataFrame则是一个二维表格,它提供了多种数据操作和处理方式,包括数据选择、筛选、排序、分组、聚合、合并、透视表等等。

此外,Pandas还可以与其他流行的Python库和工具进行集成,如NumPy、Matplotlib、SciPy等等,给使用者提供更为丰富和高效的数据分析和可视化工具。

大数据时代,Pandas俨然已成为最流行的大数据预处理工具。

这段对高手是废话,但考虑到文章可读性,还是展示一下。

二、Pandas 2.0.0的升级特性

纵览整个Pandas 2.0.0 的 release note 部分,最为主要的更新就是增加了对 Apache Arrow 的支持,在其基础上,让 Pandas 2 拥有比以往更强的性能,更优的执行效率和支持更多的数据格式。

本次升级的亮点是后台增加了对pyarrow的支持。pyarrow后端是pandas 2.0的一个新功能,它允许用户使用Apache Arrow作为pandas DataFrames和Series的替代数据存储格式。这意味着当你在pandas 2.0中读或写Parquet文件时,它将默认使用pyarrow来处理数据,从而使操作更快、更节省内存。

Pyarrow是一个提供列式内存格式的库,它是一种组织数据的方式,使其更容易读取和并行处理。在pandas 2.0中使用pyarrow后端可以使数据操作更快、更节省内存,尤其是在处理大型数据集时。PyArrow的引入将提大地提高了pandas的性能。
如下所示,对于一个250万行的字符串系列,使用PyArrow比NumPy快31.6倍。
在这里插入图片描述

三、升级安装Pandas 2.0.0正式版

  1. 输入一个特大版本好,可以查看pandas现在都有哪些版本可以安装
pip install pandas==10000

通过报错,发现pandas有如下版本:

ERROR: Could not find a version that satisfies the requirement> pandas10000 (from versions: 0.1, 0.2, 0.3.0, 0.4.0, 0.4.1, 0.4.2,
0.4.3, 0.5.0, 0.6.0, 0.6.1, 0.7.0, 0.7.1, 0.7.2, 0.7.3, 0.8.0, 0.8.1, 0.9.0, 0.9.1, 0.10.0, 0.10.1, 0.11.0, 0.12.0, 0.13.0, 0.13.1, 0.14.0, 0.14.1, 0.15.0, 0.15.1, 0.15.2, 0.16.0, 0.16.1, 0.16.2, 0.17.0, 0.17.1, 0.18.0, 0.18.1, 0.19.0, 0.19.1, 0.19.2, 0.20.0, 0.20.1, 0.20.2, 0.20.3, 0.21.0, 0.21.1, 0.22.0, 0.23.0, 0.23.1, 0.23.2, 0.23.3, 0.23.4, 0.24.0, 0.24.1, 0.24.2, 0.25.0, 0.25.1, 0.25.2, 0.25.3, 1.0.0, 1.0.1, 1.0.2, 1.0.3, 1.0.4, 1.0.5, 1.1.0, 1.1.1, 1.1.2, 1.1.3, 1.1.4, 1.1.5, 1.2.0, 1.2.1, 1.2.2, 1.2.3, 1.2.4, 1.2.5, 1.3.0, 1.3.1, 1.3.2, 1.3.3, 1.3.4, 1.3.5, 1.4.0rc0, 1.4.0, 1.4.1, 1.4.2, 1.4.3, 1.4.4, 1.5.0rc0, 1.5.0, 1.5.1, 1.5.2, 1.5.3, 2.0.0rc0, 2.0.0rc1, 2.0.0) ERROR: No matching distribution found for pandas
10000

可以看到1.5.3版本之后,还有 2.0.0rc0, 2.0.0rc1,最后才是 2.0.0正式版本。

  1. 升级现有Pandas
pip install pandas --upgrade

笔者之前已安装了1.5.3版本,升级后直接到2.0.0正式版本。网上有些pip install pandas==2.0.0rc0,只是安装正式版前面的版本,现在已经不需要了,除非你也是想参与测试而已。

在2.0.0之前还有rc版本,这个rc是什么意思呢? RC=Release Candidate,也就是”发布候选版”,它不是最终的版本,而是最终版(RTM=Release To Manufacture)之前的一个版本。可以看到在正式2.0.0版本之前,还曾发布了rc0,rc1版本,说明进行了充分测试。

输入以上命令,结果如下所示:
在这里插入图片描述

测试一下,在刚才窗口输入python后回车,然后输入以下语句,显示2.0.0表示导入包成功。

(base) C:\Users\Administrator>python
Python 3.10.9 | packaged by Anaconda, Inc. | (main, Mar  1 2023, 18:18:15) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import pandas as pd
>>> print(pd.__version__)
2.0.0
>>> exit(0)

(base) C:\Users\Administrator>

Pandas 配上 Python 3.11 性能提升不止一点点,非常值得升级体验。不过笔者目前安装的Anaconda其Python版本是3.10,不过不影响Pandas 2.0.0的发挥和使用。


总结

网上关于测试升级后的效果文章很多,这里就不啰嗦了。使用中有情况再补充吧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/444659.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ChatGPT 中的人类反馈强化学习 (RLHF) 实战

目录 1 前言2 人类反馈强化学习 (RLHF)2.1 奖励模型 (RM)2.2 近端策略优化算法 (PPO) 3 总结4 参考 团队博客: CSDN AI小组 相关阅读 ChatGPT 简介大语言模型浅探一关于 ChatGPT 必看的 10 篇论文从 ELMo 到 ChatGPT:历数 NLP 近 5 年必看大模型 1 前言 在当今数字…

整型、浮点型与字符串相互转换(C/C++)

文章目录 1. 整型、浮点型 -> 字符串2. 字符串 -> 整型3.字符串 -> 浮点型 1. 整型、浮点型 -> 字符串 A. 函数原型:   B. 分析  通常整型转换一般都是准确的,但是浮点型进行转换的时候因为精度问题有效数字位可能会出现一些偏差.   C. …

pushmall推贴共享电商2023年4月计划

Pushmall推贴共享电商2023年4月计划 2023年 二月份优化完成 1、商圈套餐卡:商品、优惠券、活动优化; 2、会员预充值一卡通:指定商家会员卡充值优惠; 3、商家海报:店铺海报、商品海报、商圈卡海报优化。 4、首页重新布…

SpringBoot(5)整合缓存

Springboot整合缓存 缓存SpringBoot内置缓存整合Ehcache缓存数据淘汰策略整合Memcached缓存SpringBoot整合jetcache缓存纯远程方案纯本地方案本地远程方案方法缓存远程方案的数据同步数据报表 SpringBoot整合j2cache缓存 缓存 企业级应用主要作用是信息处理,当需要…

【STM32】基础知识 第六课 内核 架构

【STM32】基础知识 第六课 内核 & 架构 F1 系统架构F4 系统架构F7 系统架构H7 系统架构 F1 系统架构 4 个主动单元 4 个被动单元 主动单元被动单元Cortex M3 内核 DCode 总线 (D-Bus)内部 FLASHCortex M3 内核系统总线 (S-Bus)内部 SRAM通用 DMA1FSMC通用 DMA2AHB 到 AP…

PCA主成分分析 从零理解

一、PCA的目的 假设我们有一堆观测到的数据。 数据的格式是observation*feature,每一行是一个观测(也就是图里的一个点),每一列是这个数据的某个特征(即一个维度)。 假设数据矩阵是A,有m个观测…

辉煌优配|刚刚!“中字头”再度爆发

今天早盘,A股全体持续震动收拾,上证50指数跌破2700点整数关口,沪深300亦失守4100点。 盘面上,国防军工、种业、中字头、电气设备等板块涨幅居前,前期抢手的人工智能、半导体、信创、软件服务等板块全线回调。北上资金净…

零售店铺管理系统有哪些作用?选择零售管理系统要注意这4大问题

零售店铺管理系统主要是帮助实体零售店提高销售效率、降低成本、提升服务质量和客户满意度。 对于零售店铺来说,选择一款合适的零售店铺管理系统,可以有效提高其管理效率和精准度,同时也有利于自家店铺在市场竞争中占据优势。 一、零售店铺管…

Keil系列教程02_新建基础软件工程

1写在前面 目前Keil的四款产品(软件):MDK-ARM、C51、C251、C166,在用法上极为相似,包括本文讲述的新建软件工程。 本文以目前(2018年10月)最新Keil MDK-ARM V5.26、STM32F103标准外设库为例&am…

晨控CK-FR208-PN与西门子PLC工业Profinet协议通讯指南

晨控CK-FR208-PN是一款支持标准工业Profinet协议的多通道工业RFID读写器,读卡器工作频率为13.56MHZ,支持对I-CODE 2、I-CODE SLI等符合ISO15693国际标准协议格式标签的读写。 读卡器同时支持标准工业通讯协议Profinet,方便用户通集成到PLC等…

电子模块|外控集成 LED 光源 WS2812模块---软件驱动stm32版

电子模块|外控集成 LED 光源 WS2812模块---软件驱动stm32版 模块简介单线归零码通讯方式24bit 数据结构 stm32 驱动 模块简介 WS2812是一个集控制电路与发光电路于一体的智能外控LED光源。其外型与一个5050LED灯珠相同,每个元件即为一个像素点。像素点内部包含了智…

CxImage学习使用1:环境搭建

目录 前言 一、CxImage相关介绍 二、编译源码 三、将CxImage使用到自己的工程中 前言 CxImage是一个可以用于MFC 的C图像处理类库类,它可以打开,保存,显示,转换各种常见格式的图像文件,比如BMP, JPEG, GIF, PNG, TI…

“cnpm : 无法加载文件 C:\Users\xx\AppData\Roaming\npm\cnpm.ps1,因为在此系统上禁止运行脚本“ 解决办法

系统安全策略原因导致cnpm安装依赖包的时候提示以下错误,解决方案: 错误详情: cnpm : 无法加载文件 C:\Users\xx\AppData\Roaming\npm\cnpm.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅 https:/go.microsof…

大家经常说的java八股文到底是什么?让我来总结一下吧!

八股文问题集合 面试必看java八股文 问题正在收录中,累了休息一会,如果有需要请,先关注,这几天会更帖子,答案后续补上 文章目录 八股文问题集合问题正在收录中,累了休息一会,如果有需要请&#…

AI大数据可视化EasyCVR视频融合平台的部署操作流程详解

EasyCVR视频融合平台基于云边端一体化架构,具有强大的数据接入、处理及分发能力,平台支持海量视频汇聚管理,能在复杂的网络环境中,将分散的各类视频资源进行统一汇聚、整合、集中管理,实现视频直播、云端录像、云存储、…

使用MyBatis实现CRUD操作

文章目录 简介(一)学习方向(二)学习事项 一,准备工作二,查询表记录(一)在映射器配置文件里引入结果映射元素(二)添加按姓名查询用户记录功能1,添加…

day02_第一个Java程序

在开发第一个Java程序之前,我们必须对计算机的一些基础知识进行了解。 常用DOS命令 Java语言的初学者,学习一些DOS命令,会非常有帮助。DOS是一个早期的操作系统,现在已经被Windows系统取代,对于我们开发人员&#xf…

5 个有效好用的恢复文件和照片的 Android恢复软件推荐

当我们使用移动设备时,有时会发现设备出现问题并不少见,但最好的 android 数据恢复应用程序可能会非常有帮助。虽然大多数电话故障只需一​​两天即可修复,但在某些情况下,电话几乎没电了,您无法访问宝贵的数据。幸运的…

知识图谱学习笔记——(三)知识图谱的存储与查询

一、知识学习 声明:知识学习中本文主体按照浙江大学陈华钧教授的《知识图谱》公开课讲义进行介绍,并个别地方加入了自己的注释和思考,希望大家尊重陈华钧教授的知识产权,在使用时加上出处。感谢陈华钧教授。 (一&…

分子共价对接

共价对接 随着人们对共价抑制剂的发现越来越重视,越来越多的软件开始支持共价抑制的虚拟筛选。常用的共价对接软件有CovDock,AutoDock4,FITTED,GOLD,ICM-Pro与MOE等。共价抑制剂的典型特征是配体的亲电部分&#xff08…