2024 年（第 7 届）“泰迪杯”数据分析技能赛B 题特殊医学用途配方食品数据分析完整代码结果可视化分享

news2024/11/15 20:24:45

一、背景特殊医学用途配方食品简称特医食品，是指为满足进食受限、消化吸收障碍、代谢素乱或者特定疾病状态人群对营养素或者膳食的特殊需要，专门加工配置而成的配方食品，包括0月龄至12月龄的特殊医学用途婴儿配方食品和适用于1岁以上的特殊医学用途配方食品。在医学营养管理与治疗方面起着重要作用。
特殊医学用途配方食品在生产和销售前需要经过严格的审批和注册过程，包括安全性、有效性的评估。所以在我国对于特殊医学用途配方食品的审核有着非常严格的规定。截至 2024 年4月，国内仅审批通过了 182 款特医食品(含已注销)。二、目标
1.提取 182款特殊医学用途配方食品产品标签、说明书(以下简称特医食品说明书)中的相关数据，并对提取的数据及 data.xlsx 数据进行预处理。
2.统计 182 款特医食品生产概况并可视化。
3.构建特医食品推荐系统。
三、任务
data.xlsx记录了 182 款特医食品的基本信息，特医食品说明书文件夹中包含 182 款特医食品说明书。请根据提供的数据，完成以下任务并撰写报告，在报告中详细描述各项任务的处理思路、过程及必要的结果。
任务1数据预处理
任务1.1读取182款特医食品说明书，按照表1的要求提取【营养成分表】中“每100k]”列的指定营养成分数据，将提取的数据保存到文件“result1.xlsx”中，同时在报告中列出每 100kJ(千焦)中蛋白质含量最高的三种特医食品，格式如表1(注意营养成分的单位)。

import pdfplumber
import pandas as pd
import os
import re

# 文件夹路径
folder_path = r"D:\desk\B题-特殊医学用途配方食品数据分析\数据\特医食品说明书"

# 要提取的营养成分及对应的列名
nutrient_mapping = {
    '能量': '能量(kJ)',
    '脂肪': '脂肪(g)',
    '碳水化合物': '碳水化合物(g)',
    '蛋白质': '蛋白质(g)',
    '钠': '钠(mg)',
    '氯': '氯(mg)',
    '钾': '钾(mg)',
    '磷': '磷(mg)',
    # 如果需要更多营养成分，可以在这里添加
}

# 初始化一个空的列表，用于存储所有的结果
results = []

# 获取文件夹中所有的PDF文件
pdf_files = [f for f in os.listdir(folder_path) if f.endswith('.pdf')]

for pdf_file in pdf_files:
    file_path = os.path.join(folder_path, pdf_file)
    # 提取注册证号，假设文件名就是注册证号
    registration_number = os.path.splitext(pdf_file)[0]

    # 初始化一个空的列表，用于存储所有的DataFrame
    dfs = []
    # 保存最新的表头
    last_header = None

    # 打开 PDF 文件
    with pdfplumber.open(file_path) as pdf:
        table_found = False  # 标记是否找到表格

任务1.2提取182款特医食品说明书中【产品类别】【组织状态】【适用人群】的数据，在 data.xlsx 数据中新增“产品类别”、“组织状态”、“适用人群”三列。以表2的格式将提取的数据保存到文件“result2.xlsx”中，同时在报告中列前5款特医食品的结果(须说明特殊情况的处理)。

任务 1.3 根据提取的【适用人群】信息，在 result2.xlsx 中新增“适用人群类别”列，对 182款特医食品的适用人群进行归类，类别分为“特医婴配食品”和“1岁以上特医食品”两种，将结果保存到文件“result2.xlsx”中。注3“特医婴配食品”是针对 0-12月龄人群的特殊医学用途配方食品,“婴儿”特指 0-12 月龄人群。

任务1.4特殊医学用途配方食品注册号的格式为:国食注字TY+4位年号+4位顺序号，顺序号第1位数字为“5”表示该食品为进口产品，顺序号第1位数字为“0”表示该食品为国产产品;4位年号为该食品的登记年份。基于任务1.3的result2.xlsx文件，新增“产品来源”和“登记年份”两列，提取 182 款特医食品的产品来源和登记年份数据其中产品来源分为“国产产品”和“进口产品”两种。以表3的格式将结果保存到文件“result2.xlsx”中，同时在报告中列出前5款特医食品任务 1.3和任务 1.4的结果。