Python数据处理实战(4)-上万行log数据提取并作图进阶版

news2024/11/19 10:18:25

系列文章:

0、基本常用功能及其操作

1,20G文件,分类,放入不同文件,每个单独处理

2,数据的归类并处理

3,txt文件指定的数据处理并可视化作图

4,上万行log数据提取并作图进阶版(本文)

5、上万行数据提取并分类进阶版

6、.......... (待定)

 一,需求

         作测试时,我们经常需要对大量数据进行提取并可视化,也就是作图

        上万行的数据,我们不方便提取到excel,复制时还会卡,一不小心,所以呢自动化作图就非常方便。 

         类似下面这种的数据,格式可能不尽相同,但是基本上每一行的格式一样,我们需要提取时间并作图,查看随着次数的增加的变化率。

二、思路及其实现

        1、文件操作,文件的读取并每行提取

        2、特定字符的提取,指定的时间,电压,电流,或者次数等等等等

        3、作散点图,标题,坐标轴等等信息 

 上述操作不了解的同学呢,可以去系列文章0_基本操作,去参考查阅学习。

三、代码

 作为进阶版,我把函数封装了一下,可以更方便操作

def log_to_pic(log_path,start_char,end_char,title):
    # 定义计数器以跟踪当前处理的行数
    counter = 0
    # 定义一个临时列表存储当前正在处理的值组
    current_chunk = []
    # #LOG_TO_PIC
    # 适用于每一行都有的情况下,每行格式都一样,数据量非常大的那种
    with open(log_path, 'r') as file:
        for line in file:
            # 查找 "&]=&" 和 "&mS" 之间的字符串
            start_index = line.find(start_char)
            end_index = line.find(end_char, start_index)
            # 如果每行都有的情况下,
            if start_index != -1 and end_index != -1:
                # 提取字符串并去掉空格
                time_data = line[start_index + len(start_char):end_index].strip()
                # 尝试将字符串转换为浮点数
                try:
                    current_chunk.append(time_data)
                except ValueError:
                    # 当转换失败时,忽略这个数据
                    continue

    # 散点图数据为每组的最大值、最小值和平均值
    plt.scatter(range(len(current_chunk)), current_chunk, color='red', marker='o')
    # 设置图表的标题和图例
    plt.title(title)
    plt.xlabel('CYCLE')
    plt.ylabel('TIME(US)')
    # plt.legend()
    # 显示图表
    plt.show()

下面是主函数

        这里用到的数据的提取是字符串的识别,因为在两个中间,同时,可以应对不同的文件,可自行修改。方便快捷

if __name__ == '__main__':
    import re
    import os
    log_path = './log/XXX/XXXX.txt'
    start_char = "SR2 ="
    end_char = "uS"
    title = 'XXXXXXXXX'

    log_to_pic(log_path,start_char,end_char,title)

四、问题及其改进

 有时候数据为字符类型,我们需要转成int类型,否则做的图会有问题

    # 安全地将每个元素转换为int
    int_list = []
    for item in current_chunk:
        try:
            int_list.append(int(float(item)))  # 首先尝试将字符串转换为浮点数,然后转换为整数
        except ValueError:
            print(f"无法转换: {item}")

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1500823.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Vue组件中的scoped属性

Vue组件中的scoped属性的作用是:当前的单文件组件的css样式只用于当前组件的template模板,在Vue脚手架汇总组件间关系时避免样式命名重复的情况。 原理:使用data-*属性在template模板中使用样式的HTML元素上添加额外属性,再利用标…

(sub)三次握手四次挥手

TCP的三次握手与四次挥手理解及面试题 序列号seq:占4个字节,用来标记数据段的顺序,TCP把连接中发送的所有数据字节都编上一个序号,第一个字节的编号由本地随机产生;给字节编上序号后,就给每一个报文段指派一…

即插即用篇 | YOLOv8 引入 ParNetAttention 注意力机制 | 《NON-DEEP NETWORKS》

论文名称:《NON-DEEP NETWORKS》 论文地址:https://arxiv.org/pdf/2110.07641.pdf 代码地址:https://github.com/imankgoyal/NonDeepNetworks 文章目录 1 原理2 源代码3 添加方式4 模型 yaml 文件template-backbone.yamltemplate-small.yamltemplate-large.yaml

蓝桥杯2023年-买瓜(dfs,类型转换同样耗时)

题目描述 小蓝正在一个瓜摊上买瓜。瓜摊上共有 n 个瓜,每个瓜的重量为 Ai 。 小蓝刀功了得,他可以把任何瓜劈成完全等重的两份,不过每个瓜只能劈一刀。 小蓝希望买到的瓜的重量的和恰好为 m 。 请问小蓝至少要劈多少个瓜才能买到重量恰好…

Igraph入门指南 3

4、图转换到其他R数据结构 图是对实体关系的表达,在igraph中,图可以转换为三种数据结构。 4-1 图转邻接矩阵:as_adjacency_matrix | as_adj,结果是矩阵 邻接矩阵又分为有向图邻接矩阵和无向图邻接矩阵,但本函数使用…

MySQL-Linux安装

JDK安装(linux版) CentOS7环境: jdk下载地址huaweicloud.com 创建目录: mkdir /opt/jdk通过 ftp 客户端 上传 jdk压缩包(linux版本)到 1中目录进入目录:cd /opt/jdk解压:tar -zxv…

ArcGIS学习(十一)公服设施服务区划分与评价

ArcGIS学习(十一)公服设施服务区划分与评价 本任务带来的内容是公服设施服务区划分与公服设施服务区评价。本任务包括两个关卡: 公服设施服务区划分公服设施服务区空间价值评价1.公服设施服务区划分 首先,来看看这个案例的场景和基础数据。我们以上海市图书馆为例进行分析…

信息抽取技术在电商CRM中的应用与实践

一、引言 在当今快速发展的互联网电商领域,客户资源的有效管理和精准营销已成为商家提升竞争力的关键。为了实现这一目标,许多商家开始采用客户关系管理(CRM)系统来优化他们的客户互动策略。通过这些系统,商家能够收集…

【netty系列-02】深入理解socket本质和BIO底层实现

Netty系列整体栏目 内容链接地址【一】深入理解网络通信基本原理和tcp/ip协议https://zhenghuisheng.blog.csdn.net/article/details/136359640【二】深入理解Socket本质和BIOhttps://zhenghuisheng.blog.csdn.net/article/details/136549478 深入理解socket本质和bio底层实现 …

Spring Cloud Gateway自定义断言

问题:Spring Cloud Gateway自带的断言(Predicate)不满足业务怎么办?可以自定义断言! 先看Spring Cloud Gateway是如何实现断言的 Gateway中断言的整体架构如下: public abstract class AbstractRoutePred…

flink重温笔记(十二): flink 高级特性和新特性(1)——End-to-End Exactly-Once(端到端精确一致性语义)

Flink学习笔记 前言:今天是学习 flink 的第 12 天啦!学习了 flink 高级特性和新特性之 End-to-End Exactly-Once(端到端精确一致性语义),主要是解决大数据领域数据从数据源到数据落点的一致性,不会容易造成…

MySQL面试题-锁(答案版)

锁 1、MySQL 有哪些锁? (1)全局锁 加了全局锁之后,整个数据库就处于只读状态了,这时其他线程执行以下操作,都会被阻塞: 对数据的增删改操作,比如 insert、delete、update等语句&…

【OJ比赛日历】快周末了,不来一场比赛吗? #03.09-03.15 #13场

CompHub[1] 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…)比赛。本账号会推送最新的比赛消息,欢迎关注! 以下信息仅供参考,以比赛官网为准 目录 2024-03-09(周六) #6场比赛2024-03-10…

c# combox 行间距调整

初始化combox comboBox1.DropDownStyle ComboBoxStyle.DropDownList;comboBox1.ItemHeight 25; // 设置 combox 的行高comboBox1.DrawMode DrawMode.OwnerDrawVariable; 添加 DrawItem 事件 private void comboBox1_DrawItem(object sender, DrawItemEventArgs e){if (…

Web核心

JavaWeb技术栈 B/S架构:Browser/Server , 浏览器/服务器 架构模式,其特点为,客户端只需要浏览器,应用程序的逻辑和数据都存储在服务器端。浏览器只需要请求服务器,获取Web资源,服务器把Web资源…

RocketMQ快速入门_2. rocketmq 的应用场景、与其他mq的差异

0. 引言 之前我们讲解过rabbitMQ,本期我们将进入吞吐量更加强大的rocketMQ的学习。 1. 基础概念 如果你是刚接触MQ的同学,还不清楚消息队列的基础概念的,可以参考我之前这篇文章: https://wu55555.blog.csdn.net/article/deta…

凌鲨微应用开发流程

微应用开发流程 使用vite,nextjs等框架创建前端项目引入需要的api包通过调试界面进行调试 创建前端项目 vite yarn create vitenextjs yarn create next-app引入需要的api包 名称权限说明http跨域访问跨域http访问tauri提供的apilinksaas-minapp/api打开浏览器读本地文件…

每日OJ题_牛客CM24 最近公共祖先

目录 牛客CM24 最近公共祖先 解析代码 牛客CM24 最近公共祖先 最近公共祖先_牛客题霸_牛客网 解析代码 class LCA { public:int getLCA(int a, int b) {// 左孩 父 * 2 1,右孩 父 * 2 2;// 父 (孩 - 1) / 2;/…

掘根教你拿捏C++异常(try,catch,throw,栈解退,异常规范,异常的重新抛出)

在介绍异常之前,我觉得很有必要带大家了解一下运行时错误和c异常出现之前的处理运行时错误的方式。这样子能更深入的了解异常的作用和工作原理 运行阶段错误 我们知道,程序有时候会遇到运行阶段错误,导致程序无法正常运行下去 C在运行时可…

离散数学——特殊图思维导图

离散数学——特殊图思维导图 目录 前言 内容 大纲 参考 前言 这是当初学习离散数学时整理的笔记大纲,其中包含了自己对于一些知识点的体悟。现将其放在这里作为备份,也希望能够对你有所帮助。 当初记录这些笔记只是为了在复习时更快地找到对应的知…