【Python系列】Python 中的文件读取

news2024/9/20 19:56:13

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。

推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老
导航
檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等
常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等
数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等
懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂

非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

- 1.示例代码解析
- 2.代码功能
- 3.应用场景
- 4.注意事项
- 5.结论

在 Python 中，读取 Parquet 文件通常使用pandas库，它提供了一个高级的接口来处理数据。然而，有时我们需要编写自定义函数来读取特定目录下的所有 Parquet 文件。下面是一个使用 Python 标准库中的os模块来遍历目录并读取所有 Parquet 文件的示例。
在这里插入图片描述

1.示例代码解析

import os

def read_parquet_file(directory):
    """
    读取指定目录下的所有.parquet文件
    :param directory: 要搜索的目录路径
    :return: 包含所有Parquet文件名的列表
    """
    data = []
    for root, dirs, files in os.walk(directory):
        for file in files:
            # 检查文件扩展名是否为.parquet
            if file.endswith('.parquet'):
                # 构建文件的完整路径
                full_path = os.path.join(root, file)
                # 读取Parquet文件，这里假设使用pandas
                df = pd.read_parquet(full_path)
                # 将DataFrame添加到数据列表中
                data.append(df)
    return data

2.代码功能

os.walk(directory)：遍历给定目录directory，返回一个三元组(root, dirs, files)。其中root是当前正在遍历的目录的路径，dirs是该目录下所有子目录的列表，files是该目录下所有非目录文件的列表。
file.endswith('.parquet')：检查文件名是否以.parquet结尾，确保只处理 Parquet 文件。
os.path.join(root, file)：将目录路径和文件名合并成完整的文件路径。
pd.read_parquet(full_path)：使用pandas库读取 Parquet 文件，返回一个 DataFrame 对象。