python实现excel的数据提取

news2024/11/19 4:24:41

一文带你实现excel表格的数据提取

今天记录一下如何使用python提取Excel中符合特定条件的数据

在数据处理和分析的过程中，我们经常需要从Excel表格中提取特定条件下的数据。Python的pandas库为我们提供了方便的方法来进行数据查询和过滤。

Pandas 是 Python 语言的一个扩展程序库，用于数据分析。

Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。
Pandas 名字衍生自术语 “panel data”（面板数据）和 “Python data analysis”（Python 数据分析）。
Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。
Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。
Pandas 可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工特征。
Pandas 广泛应用在学术、金融、统计学等各个数据分析领域。

Pandas应用

Pandas 的主要数据结构是 **Series （一维数据）**与 DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。

01.简单数据类型的提取

序号	a	b
1	1.5	2.8
2	3.2	4.7
3	2.1	3.6
4	4.3	1.9
5	4.1	3.2

要求：提取a，b两列中介于2.5到5之间的数据

使用query方法提取数据

首先，我们将使用query方法来提取符合条件的数据。query方法允许我们使用类似SQL的语法进行数据查询。

代码如下：

import pandas as pd

# 读取Excel表格
df = pd.read_excel('data.xlsx')  # 将'data.xlsx'替换为你的文件路径

# 使用query方法进行查询
query_string = '2.5 < x < 5 and 2.5 < y < 5'
filtered_data = df.query(query_string)

# 打印提取的数据
print(filtered_data)

02.复杂数据类型的数据提取

如下是一个包含70+sheet表单的excel工作簿，现在要求从该excel中抽取特定的数据列到新表中

话不多说，直接上代码

import pandas as pd
import openpyxl


wb = openpyxl.Workbook()

# 获取默认工作表
ws = wb.active

# 读取原始Excel文件
# df = pd.read_excel('SA.xlsx')
df = pd.read_excel('SA.xlsx', sheet_name=['RCD', 'RPC','RCM','MCV_S','MCV_C','CFV',
                                          'GCM','SGCS','SGCC','GCSB','GCC_S','GCC','MOV_SO'
                                          ,'MOV_SC','MOV_N','MNV_C','BSV_C','MSV_CSC','MSV_CLC'
                                          ,'MSV_CLO','CAH_N','BAH_N','BAH_L','BAH_OT','MOS_T','MOS_C'
                                          ,'MOS_N','MOS_L','NOPDS','ALA_P','AVIE','SLT8','SLT4','BOOLS'
                                          ,'REALS','EPS','SA','KG','TRAN','SETP','PID','NSD','DV','AMI',
                                          'DCO','ACO','DCI','ACI6','ACI4','ACI','DM','AM4','AM','SOE','PVI'
                                          ,'DVO','AVO','DVI','AVI8','AVI6','AVI4','AVI'])

# 创建一个新的Excel文件
wb = pd.ExcelWriter('new.xlsx')

# 遍历每个sheet
for sheet_name, sheet_data in df.items():
    # 提取需要的列数据
    columns_to_extract = [ 'PN','SN']
    if all(column in sheet_data.columns for column in columns_to_extract):
        extracted_data = sheet_data[columns_to_extract]

    # 将提取的数据写入新的Excel文件中的对应sheet
        extracted_data.to_excel(wb, sheet_name=sheet_name, index=False)
        extracted_data.to_excel('new.xlsx', index=False)

df_extracted = pd.read_excel('new.xlsx', sheet_name=None,engine='openpyxl')

# 创建一个新的Excel写入器
writer = pd.ExcelWriter('merged_1023.xlsx')

# 遍历抽取的Excel的每个sheet
for sheet_name, df_sheet in df_extracted.items():
    # 将每个sheet写入新的Excel中
    df_sheet.to_excel(writer, sheet_name, index=False)

# 保存并关闭新的Excel
writer.close()
wb.close()