Python按要求从多个txt文本中提取指定数据

news2024/12/30 2:04:32

基本想法

遍历文件夹并从中找到文件名称符合我们需求的多个.txt格式文本文件，并从每一个文本文件中，找到我们需要的指定数据，最后得到所有文本文件中我们需要的数据的集合

举例

如现有名为file一个文件夹，里面含有大量的.txt格式文本，需要从文件名中找到含有test字段的文件，并且取出name是李四、李五、王五的用户数据。

代码示例

# -*- coding: utf-8 -*-

import os
import pandas as pd

def concat_data(ori_path, target_list):
    result_df = pd.DataFrame()
    for file in os.listdir(ori_path):
        if file.endswith(".txt") and file[0:4] == "test":
            file_path = os.path.join(ori_path, file)
            df = pd.read_csv(file_path, delimiter="\t")
            # try:
            select_df = df[df["Name"].isin(target_list)]
            data_append = select_df
            if not data_append.empty:
                result_df = pd.concat([result_df, data_append])
            # except:
            #     pass
    # result_df.reset_index(drop=False, inplace=True).drop(['index'], axis=1)
    result_df.to_csv(ori_path + '/result.csv', encoding='ANSI')
    return result_df


if __name__ == '__main__':
	f_path = r"D:\program"
	f_var = ['李四', '李五', '王五']
    concat_data(f_path, f_var)