python实现两个Excel表格数据对比、补充、交叉验证

news2024/11/29 2:31:25

业务背景

业务中需要用到类似企查查一类的数据平台进行数据导出，但企查查数据不一定精准，所以想采用另一个官方数据平台进行数据对比核验，企查查数据缺少的则补充，数据一致的保留企查查数据，不一致的进行颜色标注。

实现逻辑

经过调研，python可以实现表格的合并及数据处理，完成表格的合并及数据对比、数据补充、数据交叉验证。
首先将表格A数据和表格B数据交叉排列，奇数位为表格A的数据，偶数位为表格B数据，每两行为同一公司主体，进行上下数据对比，上一行数据没有的下一行补充，上下两行都有数据就进行对比，相同的不做处理，不同的标注颜色，并把表格B的数据放到大括号中拼接到表格A数据之后，最后删除偶数行的所有数据。

实现效果

表格A

image.png

表格B

image.png

合成后效果：

image.png

实现过程

1. Python环境安装：

下载地址：Python Releases for Windows | Python.org 下载时，注意选择自定义下载，并勾选添加路径，如下图：

image.png

下载安装完成后，按window+R键输入cmd打开命令行工具，输入python显示python版本即为安装成功。

2. Vscode代码编辑器下载及使用：

下载链接：Download Visual Studio Code - Mac, Linux, Windows
（1）转换为中文：安装好后可在扩展区搜索Chinese插件下载，页面工具栏即可变成中文，如下图一：

image.png （2）vscode添加python：新建或打开编写的python程序后，vscode右下角会弹出添加python环境的提示，点击添加；

（3）代码运行：按ctrl+~键打开终端运行程序，运行代码如下：
切换到运行文件所在目录： cd 目录
运行python文件： python 文件名.py

image.png

3. Python代码：

# 导入表格数据读取及处理模块
import pandas as pd
# 导入数据计算模块
import numpy as np
# 导入时间处理模块
# from datetime import datetime
# 导入读取和修改excel的模块
from openpyxl import load_workbook,Workbook
# 导入表格样式处理模块
from openpyxl.styles import *
# 比较字符串相似度的模块
import difflib

# 导入表格数据读取及处理模块
import pandas as pd
# 导入数据计算模块
import numpy as np
# 导入时间处理模块
# from datetime import datetime
# 导入读取和修改excel的模块
from openpyxl import load_workbook,Workbook
# 导入表格样式处理模块
from openpyxl.styles import *
# 比较字符串相似度的模块
import difflib

# 表格存放目录
url = "D:\\finance\\rank\\数据表格.xlsx"
# 整合后的表格存放目录
# afterUrl = ''
# 两个表格的sheetname名称
before = 'ifinds'    //表格A名称
after = 'winds'      //表格B名称
# 最终整合后表格名称
finalName = '对比数据结果'

# 读取两个表格-通过sheet名称读取
data1 = pd.read_excel(url, header = 0, sheet_name = before )
data2 = pd.read_excel(url, header = 0, sheet_name = after )

# 将数据重新赋值，避免修改数据后将原始ifind和wind数据修改
data3 = data1
data4 = data2

# 进行表头重命名以统一表头名称
# 对ifind表格的表头名称重命名
data3 = data3.rename(columns = { '所属国民经济行业门类':'国民一级', '所属国民经济行业大类':'国民二级', '币种':'注册资本币种', '注册资本':'注册资本(万元)','参保人数（人）':'参保人数', '地级市':'城市','企业中文名称':'公司中文名称',}) 
# 对wind表格的表头名称重命名
data4 = data4.rename(columns = { '企业名称':'公司名称', '公司属性':'企业性质', '国民经济分类门类':'国民一级','国民经济分类大类':'国民二级','国民经济行业-门类':'国民一级','国民经济行业-大类':'国民二级',  '所属省份':'省份',  '所属城市':'城市',  '所属区县':'区/县',  '负债及股东权益合计2022':'负债和所有者权益总计2022', '经营活动现金净流量2022':'经营活动产生的现金流量净额2022','负债及股东权益合计2023':'负债和所有者权益总计2023', '经营活动现金净流量2023':'经营活动产生的现金流量净额2023','主体最新信用评级':'最新最低主体评级','是否城投债':'是否城投（THS）', '公司发行股票一览':'股票代码','币种':'注册资本币种','参保人数（人）':'参保人数','注册资本（万元）':'注册资本(万元)','注册资本':'注册资本(万元)','是否城投':'是否城投(THS)','是否城投债':'是否城投(THS)',})

# # wind币种数据英文改中文
if '注册资本币种' in data4.columns:
    data4['注册资本币种'] = data4['注册资本币种'].replace('CNY', '人民币').replace('HKD', '港元').replace('MOP', '澳元').replace('USD', '美元').replace('EUR', '欧元').replace('IDR', '卢比').replace('RUB', '俄罗斯卢布').replace('AUD', '澳元').replace('GBP', '英镑')
# ifind企业性质改变
if '企业性质' in data3.columns:
    data3['企业性质'] = data3['企业性质'].replace('中央企业', '国企').replace('中央国有企业', '国企').replace('地方国有企业', '国企').replace('国有企业', '国企').replace('民营企业', '私企').replace('私营', '私企').replace('外商独资', '外资企业')
# wind企业性质改变
if '企业性质' in data4.columns:
    data4['企业性质'] = data4['企业性质'].replace('中央国有企业', '国企').replace('地方国有企业', '国企').replace('民营企业', '私企').replace('国有企业', '国企').replace('区县级国有企业', '国企').replace('市级国有企业', '国企').replace('省级国有企业', '国企')
# ifind经营状态的改变
if '经营状态' in data3.columns:
    data3['经营状态'] = data3['经营状态'].replace('在业', '存续')
# ifind和wind的企业规模的改变
if '企业规模' in data3.columns:
    data3['企业规模'] = data3['企业规模'].replace('L大型', '大型企业').replace('M中型', '中型企业').replace('S小型', '小型企业').replace('XS微型', '微型企业').replace('L(大型)', '大型企业').replace('M(中型)', '中型企业').replace('S(小型)', '小型企业').replace('XS(微型)', '微型企业')
if '企业规模' in data4.columns:
    data4['企业规模'] = data4['企业规模'].replace('大型', '大型企业').replace('中型', '中型企业').replace('小型', '小型企业').replace('小微企业', '小型企业')

# 参保人数数据取整函数
def newList(inputList):
    result = []
    for num in inputList:
        if pd.isnull(num) or num == "--":
            num = 0
        result.append(int(num))
    return result
# 调用函数
# ifind参保人数取整
if '参保人数' in data3.columns:
    data3['参保人数'] = newList(data3['参保人数'])
# wind参保人数取整
if '参保人数' in data4.columns:
    data4['参保人数'] = newList(data4['参保人数'])

# 保留两位小数的函数
def rateList(inputList):
    result = []
    for num in inputList:
        num = float(num)
        if pd.isnull(num) or num == "--":
            num = 0
        num = "{:.2f}".format(num)
        result.append(num)
    return result

# 将wind的财务数据缩小10000倍    or value[:5] == '负债和所有'
for value in data4.columns:
    if value[:5] == '所有者权益' or value[:4] == '营业收入' or value[:4] == '利润总额' or value[:4] == '资产总额' or value[:5] == '经营活动产':
        data4[value] = data4[value].apply(lambda x: x/10000)

# 将ifind的财务数据保留两位  大股东持股比例、 注册资本(万元)
for value in data3.columns:
    if value[:5] == '所有者权益' or value[:5] == '负债和所有' or value[:4] == '营业收入' or value[:4] == '利润总额' or value[:4] == '资产总额' or value[:5] == '经营活动产'or value[:5] == '注册资本(' or value[:5] == '大股东持股':
        data3[value] = rateList(data3[value])

# 将wind的财务数据保留两位
for value in data4.columns:
    if value[:5] == '所有者权益' or value[:5] == '负债和所有' or value[:4] == '营业收入' or value[:4] == '利润总额' or value[:4] == '资产总额' or value[:5] == '经营活动产'or value[:5] == '注册资本(' or value[:5] == '大股东持股':
        data4[value] = rateList(data4[value])

# # 经营范围重复度高于50%则取ifind的经营范围数据，否则标识出来
# 计算重复度的方法
# pdData3 = pd.DataFrame(data3)
pdData4 = pd.DataFrame(data4)
def string_similar(s1, s2):
    return difflib.SequenceMatcher(None, s1, s2).quick_ratio()
if '经营范围' in data3.columns:
    for index in range(0, len(data3['经营范围']), 1):
        # 调用方法
        if string_similar(str(data3['经营范围'][index]), str(data4['经营范围'][index])) > 0.5:
            # pdData4.loc[index,'经营范围'] = data3['经营范围'][index]
            data4['经营范围'][index] = data3['经营范围'][index]

# wind省份数据北京、天津、重庆、上海添加‘市’字的函数
def addword(addData):
    result = []
    for value in addData:
        if value == '北京' or value == '上海' or value == '天津' or value == '重庆':
            value = value + '市'
        result.append(value)
    return result
# 调用函数
if '省份' in data4.columns:
    data4['省份']= addword(data4['省份'])

# wind地市级去掉北京、重庆、上海、天津的函数
def deleteword(addData):
    result = []
    for value in addData:
        if value == '北京市' or value == '上海市' or value == '天津市' or value == '重庆市':
            value = '0'
        result.append(value)
    return result
# 调用函数
if '城市' in data4.columns:
    data4['城市']= deleteword(data4['城市'])

# wind的股票代码去掉股票简称函数
def removeName(word):
    result = []
    for value in word:
        value = str(value).split('(')[0]
        result.append(value)
    return result
# 调用去掉股票简称的函数
if '股票代码' in data4.columns:
    data4['股票代码'] = removeName(data4['股票代码'])

# 有股票代码的将上市公司信息改为是，否则改为否
pdData3 = pd.DataFrame(data3)
if '股票代码' in data3.columns:
    for index in range(0, len(data3['股票代码']), 1):
        # 如果wind股票代码单元格的字符长度大于2，则将代码编号改为是，否则改为否
        if len(str(data3['股票代码'][index])) > 2:
            pdData3.loc[index:, '是否上市'] = "是"
        else:
            pdData3.loc[index:, '是否上市'] = "否"
        # 如果wind股票代码单元格的字符长度大于2，则将代码编号改为是，否则改为否
        if '股票代码' in data4.columns and len(str(data4['股票代码'][index])) > 2:
            pdData4.loc[index:, '是否上市'] = "是"
        else:
            pdData4.loc[index:, '是否上市'] = "否"

# 合并两个表格数据，并且ifind数据在前，wind数据在后
result = pd.concat([data3, data4], ignore_index = True)

# 得到的合并表格的标题，重新创建新表格，添加表头
dfNew = pd.DataFrame(columns = result.columns)

# 获取合并的两个表格的索引,通过索引使两个表格的数据交叉排列
data3 = data3.set_index(np.arange(1, data3['序号'].count()+1, 1), drop = False)
data4 = data4.set_index(np.arange(1, data4['序号'].count()+1, 1), drop = False)

# 合并两个表格的索引到一个表格
for i in np.arange(1, data3['序号'].count()+1, 1):
    dfNew.loc[2*i-2] = data3.loc[i]
    dfNew.loc[2*i-1] = data4.loc[i]

# 遍历判断：如果第一行数据为nan或为0，就把第二行的数据填充到第一行，
for column in np.arange(0, dfNew.shape[0]):
    if column % 2 == 0:       
        for index in range(len(dfNew.iloc[column].values)):
            if pd.isnull(dfNew.iloc[column].values[index]) or str(dfNew.iloc[column].values[index]) == '0' or str(dfNew.iloc[column].values[index]) == '0.00' or str(dfNew.iloc[column].values[index]) == '0.0':
                dfNew.iloc[column, index]= dfNew.iloc[column+1].values[index]

# # 定义list，用来存储数据不同的列的下标数据
rowsList = []
columnsList = [[] for _ in range(dfNew.shape[0])]
# 如果第二行数据和第一行数据不同，就把wind的数据添加括号拼接到ifind后
for row in np.arange(0, dfNew.shape[0]):
    if row % 2 == 0:   
        rowsList.append(row)    
        for index in range(len(dfNew.iloc[row].values)):
            if pd.notnull(dfNew.iloc[row+1].values[index]):
                # 处理因中英文括号导致的差异
                if(str(dfNew.iloc[row].values[index]).replace('(','（').replace(')','）') != str(dfNew.iloc[row+1].values[index]).replace('(', '（').replace(')','）') and str(dfNew.iloc[row+1].values[index]) != '0' and str(dfNew.iloc[row+1].values[index]) != '0.00' and str(dfNew.iloc[row+1].values[index]) != '0.0') :
                    dfNew.iloc[row, index] = str(dfNew.iloc[row].values[index]) + '{' + str(dfNew.iloc[row+1].values[index]) + '}'        
                    # 每一行的列的添加有问题
                    columnsList[row].append(index)
                else:
                    dfNew.iloc[row, index] = str(dfNew.iloc[row].values[index])

# 将三个表格导出为三个sheet
writer = pd.ExcelWriter(url)
dfNew.to_excel(writer, sheet_name = finalName, index = False)
data1.to_excel(writer, sheet_name = before, index = False)
data2.to_excel(writer, sheet_name = after, index = False)
writer._save()
writer.close()  
             

# # 添加不同数据组的高亮
wb = load_workbook(url)
sheet1 = wb['对比数据结果']
for row in rowsList:
    for column in columnsList[row]:
        sheet1.cell(row + 2,column + 1).fill = PatternFill('solid', fgColor = Color('9dff00'))

# # 删除wind行的数据 第二行
deleteRow = []
for i in np.arange(dfNew.shape[0] + 5,2, -1):
    if i%2 == 1:
        sheet1.delete_rows(i)

# # 导出添加样式后的表格
wb.save(url)
wb.close()
print("恭喜你，合并完成！")

注意事项

1.注意两个表格第一列的表头为序号，第一列传入从1开始的序号作为合并数据的排列下标，否则程序会报错；
2.两组表格排列顺序要一致；
3.注意程序运行前要将表格关闭，表格被占用时程序不能运行会报错；
4.将两张表格放到一个excel文件的两个sheet中，对比数据表格放到第三个sheet中，注意名称要和代码里对应上；

总结

我基本上已经处理到了表格合并遇上的大多问题，代码也添加了详细注释，欢迎大家来积极提出问题，共同解决问题。

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

在这里插入图片描述

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

在这里插入图片描述

在这里插入图片描述

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

在这里插入图片描述

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1556317.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Jmeter 配置说明之线程组

Jmeter 配置说明之线程组

一、线程组介绍： 线程组元件是任何一个测试计划的开始点。在一个测试计划中的所有元件都必须在某个线程组下。所有的任务都是基于线程组： 通俗理解： 线程组：就是一个线程组，里面有若干个请求； 线程&am…
阅读更多...
ZNC3罗德与施瓦茨ZNC3网络分析仪

ZNC3罗德与施瓦茨ZNC3网络分析仪

181/2461/8938产品概述： 罗德与施瓦茨 ZNC3 网络分析仪的工作频率范围为 9 kHz 至 3 GHz，面向移动无线电和电子产品行业的应用。它具有双向测试装置，用于测量有源和无源 DUT 的所有四个 S 参数。此外，它还提供适合开发和生产中各…
阅读更多...
SOC子模块---存储器

SOC子模块---存储器

存储器子系统简介 多层存储结构概念 该结构的核心是解决容量，速度，价格之间的矛盾，建立其的一种多层次存储架构；在金字塔越顶部其容量越小，价格越昂贵，但是其速度越快； Cache的出现主要解决了cpu 与主存之间速度的差异； 主存和辅存的层次结构解决了计算机对大容量，…
阅读更多...
生态鱼缸智能养殖，系统架构与框图

生态鱼缸智能养殖，系统架构与框图

功能：自动投食（推拉式电磁铁），温度显示的改进（传感器已经有了），控制灯光（白天亮晚上灭），自动补养/水循环（水氧监测太贵了，根据水温&am…
阅读更多...
学习笔记】java项目—苍穹外卖day05

学习笔记】java项目—苍穹外卖day05

文章目录 苍穹外卖-day05课程内容1. Redis入门1.1 Redis简介1.2 Redis下载与安装1.2.1 Redis下载1.2.2 Redis安装 1.3 Redis服务启动与停止1.3.1 服务启动命令1.3.2 客户端连接命令1.3.3 修改Redis配置文件1.3.4 Redis客户端图形工具 2. Redis数据类型2.1 五种常用数据类型介绍…
阅读更多...
containerd系统级学习大纲

containerd系统级学习大纲

文章目录 1 理解Containerd的背景和架构 📚1.1 历史背景 🕰️1.2 架构细节 🔧 2 设置开发环境 🛠️3 源码分析 🔍4 深入核心功能4.1 容器生命周期管理4.2 镜像管理4.3 网络管理4.4 存储与快照4.5 插件系统 5 贡献代码6…
阅读更多...
2024/3/29打卡 填充——贪心

2024/3/29打卡 填充——贪心

目录 题目 思路 代码 先来说下什么时候使用贪心和动态规划： 一个题目当寻找答案的过程中有大约 2的指数级（ 2^n）个方案的时候，可以考虑用贪心和动态规划问题（其实，我现在还不知道什么时候用 dfs 和 动态…
阅读更多...
投稿指南【NO.15】SCI期刊推荐

投稿指南【NO.15】SCI期刊推荐

写在前面：SCI论文发表是我国高校机构与基地评估、成果评奖、项目立项、人才培养等方面的重要考核指标，更不要要说关系到我们个人的毕业、晋升和前途。SCI含金量之高，要是读研读博科研工作期间能发表，将对直博、找工作、国奖申请、…
阅读更多...
node.js的常用命令

node.js的常用命令

👨‍💻个人主页：开发者-曼亿点 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 曼亿点 原创 👨‍💻 收录于专栏&#xff1a…
阅读更多...
c++----list模拟实现

c++----list模拟实现

目录 1. list的基本介绍 2. list的基本使用 2.1 list的构造 用法示例 2.2 list迭代器 用法示例 2.3. list容量（capacity）与访问（access) 用法示例 2.4 list modifiers 用法示例 2.5 list的迭代器失效 3.list的模拟实现 3.1…
阅读更多...
【PythonGIS】Python实现批量导出面矢量要素（单个多面矢量-＞多个单面矢量）

【PythonGIS】Python实现批量导出面矢量要素（单个多面矢量-＞多个单面矢量）

可怜的我周六还在工作，已经很久没更新过博客了，今天正好有空就和大家分享一下。今天给大家带来的是使用Python将包含多个面要素/线要素的矢量批量导出单个要素的矢量，即一个要素一个矢量文件。之前写过多个矢量文件合并成一个矢量文件的博文&…
阅读更多...
【C++STL详解（二）】——string类模拟实现

【C++STL详解（二）】——string类模拟实现

目录 前言 一、接口总览 二、默认成员函数 1.构造函数 2.拷贝构造 写法一：传统写法 写法二：现代写法（复用构造函数） 3.赋值构造 写法一：传统写法 写法二：现代写法(复用拷贝构造) 4.析构函数 三、…
阅读更多...
武汉星起航：引领跨境电商新纪元，助力卖家实现全球业务飞跃

武汉星起航：引领跨境电商新纪元，助力卖家实现全球业务飞跃

在全球化的时代背景下，越来越多的中国卖家正选择跨境电商作为他们拓展国际市场的重要途径。然而，对于许多新手卖家而言，如何进入海外市场、如何运营店铺、如何推广产品，都是一道道难以逾越的难题。在这个关键时刻，武汉…
阅读更多...
智慧公厕：改变城市生活的革命性基础设施

智慧公厕：改变城市生活的革命性基础设施

在现代城市的高品质生活要求背景下，公共厕所成为了不可或缺的基础设施。然而，传统的公厕在服务质量、管理效率方面存在一定的问题。为了提供更好的公厕服务，智慧公厕应运而生。通过智能化的管理模式，智慧公厕实现了公厕使用与管理…
阅读更多...
【并发编程】线程的基础概念

【并发编程】线程的基础概念

一、基础概念 1.1 进程与线程A 什么是进程？ 进程是指运行中的程序。 比如我们使用钉钉，浏览器，需要启动这个程序，操作系统会给这个程序分配一定的资源（占用内存资源）。 什么线程？ 线程是CP…
阅读更多...
【Java八股面试系列】数据库(总结市面所有数据库知识点)

【Java八股面试系列】数据库(总结市面所有数据库知识点)

文章目录 索引索引是什么聚簇&非聚簇索引索引的实现方式HashBTree（多路平衡二叉树）两种实现方式区别 引申红黑树红黑树和AVL树的区别最大堆和最小堆 索引的优劣优点劣势 索引的使用索引失效的时候 事务特性事务并发问题隔离级别 锁锁的分类行锁表锁意…
阅读更多...
udpflood是一种什么攻击，如何防御？

udpflood是一种什么攻击，如何防御？

一、定义 UDPFlood攻击是一种利用UDP协议进行的拒绝服务（DoS）攻击，攻击者通过发送大量的UDP数据包来占用目标系统的网络带宽和资源，从而使系统无法正常响应合法用户的请求。 二、攻击方式 1. UDP协议特点： UDP协议是一…
阅读更多...
【详解】运算放大器工作原理及其在信号处理中的核心作用

【详解】运算放大器工作原理及其在信号处理中的核心作用

什么是运算放大器 运算放大器（简称“运放”）是一种放大倍数非常高的电路单元。在实际电路中，它常常与反馈网络一起组成一定的功能模块。它是一种带有特殊耦合电路和反馈的放大器。输出信号可以是输入信号的加法、减法、微分和积分等数学运算…
阅读更多...
最大连续子序列和求值

最大连续子序列和求值

文章预览： 题目算法遍历枚举代码如下 优化版本代码如下 陈越姥姥题目代码 题目 最大连续子序列求和，什么是连续最大子序列，先简单来说一个数组int a[]{-9,1,-10,2,3,4,-2,5,6,-2,-3}; 那它的连续最大子序列是2,3,4,-2,5,6 是18，就…
阅读更多...
首页HF粗排模型优化

首页HF粗排模型优化

[work rus_env]$ pwd /home/work/xx/du-rus/offline-tools/du_rus/rus_env [work rus_env]$ python buildenv_rus.py 5a0e771e938a486df3b8b3e1cde1a39c2006882d 5f3241963a3e39a8e1eae05d7075fc5b9278a7c7 打开日志级别 [workxx conf]$ vim /home/work/xx/du-rus/du_rus_…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023