学习笔记 —— python代码耗时及内存占用测试方法

news2024/11/28 10:47:18

1、手写耗时测试

先看结果;
主要有三种方法,各自的时钟间隔如下:

  1. time.time()
    在这里插入图片描述

  2. timeit
    在这里插入图片描述

  3. time.time_ns() ( time is outputted in ns!).
    在这里插入图片描述

可见方法2,即timeit 的时钟间隔最短。

注:最后一个是以ns为单位的,前两个是以s为单位的

三种方法的时钟测量及调用方式如下:

import numpy as np

import time
from timeit import default_timer as timer

def checktick():
    M = 200
    timesfound = np.empty((M,))
    for i in range(M):
        # t1 = time.time()  # get timestamp from timer
        # t2 = time.time()  # get timestamp from timer
        t1 = timer()  # get timestamp from timer
        t2 = timer()  # get timestamp from timer
        # t1 = time.time_ns() # get timestamp from timer
        # t2 = time.time_ns()  # get timestamp from timer
        while (t2 - t1) < 1e-16:  # if zero then we are below clock granularity, retake timing
            # t2 = time.time()  # get timestamp from timer
            t2 = timer() # get timestamp from timer
            # t2 = time.time_ns()  # get timestamp from timer
        timesfound[i] = t2  # record the time stamp
    # minDelta = 1000000
    Delta = np.diff(timesfound)  # it should be cast to int only when needed
    minDelta = Delta.min()
    return minDelta


if __name__ == "__main__":
    print(f"the Clock Granularity is {checktick()*10e8} nanosecond")
    # print(f"the Clock Granularity is {checktick()} nanosecond")

np.diff() 函数说明

import time
from functools import wraps

# decorator to time
def timefn(fn):
    @wraps(fn)
    def measure_time(*args, **kwargs):
        t1 = time.time()
        result = fn(*args, **kwargs)
        t2 = time.time()
        print(f"@timefn: {fn.__name__} took {t2 - t1} seconds")
        return result
    return measure_time


@timefn
def calc_something(param1, param2):
	...add your code...

if __name__ == "__main__":
    calc_something(param1=1000, param2=300)

2、开源工具

与手写相比,还有一些可以详细到每一个函数,甚至每一行代码的耗时的工具。(但会增大一些开销,仅测试使用)

2.1 耗时测试

cProfile

一般是内置的,不用装,直接运行

python -m cProfile -s cumulative JuliaSet.py

在这里插入图片描述

SnakeViz

安装

pip install snakeviz

运行

python -m cProfile -o profile.stats JuliaSet.py
python -m snakeviz profile.stats --server

在这里插入图片描述
在这里插入图片描述

line_profiler

安装

pip install line_profiler

使用

在函数上方添加 “@profile” 标识(这个时候编辑器可能会报错,不用管,反正咱们用的是命令行)
在这里插入图片描述
运行

python -m kernprof -l JuliaSet.py
python -m line_profiler JuliaSet.py.lprof

在这里插入图片描述

2.2 内存占用测试

测试内存的附加耗时比测试时间多的多,可能是10-100倍甚至更多。

memory_profiler

安装

pip install memory_profiler

使用

记得还是带上“@profile”
在这里插入图片描述
运行

python -m memory_profiler JuliaSet.py

在这里插入图片描述

mprof

mprof是memory_profiler内置的可视化工具

运行(这里需要matplotlib)

python -m mprof run JuliaSet.py
python -m mprof plot mprofile_20220116173811.dat

第二句的文件mprofile_20220116173811.dat与第一句的输出保持一致
在这里插入图片描述
在这里插入图片描述

2.3 CPU 占用 --psutil

psutil不止可以看CPU占用,也能看内存占用

pip install psutil

这个怎么用看官方示例吧, 还有文档

针对看CPU占用主要用这个函数:

psutil.cpu_percent(interval=1, percpu=True) 

可以看每个CPU核的占用百分比

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/180267.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

二叉树的概念与结构

文章目录前言一、树的概念及结构1.树的概念2.树的相关概念3.树的表示4. 树在实际中的运用二、二叉树概念及结构1.概念2.特殊的二叉树5.二叉树的性质6.二叉树的存储结构(1).顺序存储&#xff08;2&#xff09;.链式存储结语前言 因为二叉树的知识点太多&#xff0c;一篇文章讲不…

《真象还原》读书笔记——第一章 部署工作环境

环境&#xff1a; 由于平时使用 windows 系统 所以 linux 环境 使用了 linux子系统。 $ cat /proc/version Linux version 4.4.0-22000-Microsoft (MicrosoftMicrosoft.com) (gcc version 5.4.0 (GCC) )1.1 工欲善其事 必先利其器 操作环境很重要呀。 1.2 编译器 GCC: gc…

Java 23种设计模式(8.结构型模式-桥接模式)

结构型模式-桥接模式 代码分析 类图 代码 public interface Implementor {void operation(); }public class ConcreteImplementorA implements Implementor{Overridepublic void operation() {System.out.println("A");} }public class ConcreteImplementorB imple…

(Java高级教程)第四章必备前端基础知识-第二节3:CSS盒模型和浮动

文章目录一&#xff1a;盒模型&#xff08;1&#xff09;border&#xff08;2&#xff09;padding&#xff08;3&#xff09;margin二&#xff1a;flex布局一&#xff1a;盒模型 盒模型&#xff1a;在HTML中&#xff0c;每个标签&#xff08;或元素&#xff09;相当于是一个盒…

DaVinci:色彩匹配

z调色页面&#xff1a;色彩匹配Color&#xff1a;Color Match色彩匹配 Color Match调板是专业的一级调色工具&#xff0c;专门用于对视频图像进行精准的校色还原。色彩匹配时&#xff0c;先定位到视频中持有色卡的画面。在检视器左下角快捷菜单中选择“色卡” Color Chart工具&…

C 语言零基础入门教程(十二)

C enum(枚举) 枚举是 C 语言中的一种基本数据类型&#xff0c;它可以让数据更简洁&#xff0c;更易读。 枚举语法定义格式为&#xff1a; enum 枚举名 {枚举元素1,枚举元素2,……};接下来我们举个例子&#xff0c;比如&#xff1a;一星期有 7 天&#xff0c;如果不用枚举&…

【Linux】vim编辑器的使用

文章目录vim的基本概念vim指令集复制粘贴撤销、剪切光标定位vim的基本概念 vim是一款多模式的编辑器&#xff0c;在我们常用的模式有3~5种。分别是命令模式&#xff08;command mode&#xff09;、插入模式&#xff08;Insert mode&#xff09;和底行模式&#xff08; last lin…

【PHP 随记】—— ThinkPHP 配置数据库

&#x1f449;总目录&#x1f448;\large\colorbox{skyblue}{&#x1f449;总目录&#x1f448;}&#x1f449;总目录&#x1f448;​ 文章目录1、数据库连接及导入① 数据库连接② 数据库导入2、配置 ThinkPHP 数据库连接信息① 配置连接信息1、数据库连接及导入 ① 数据库连…

大数据分析案例-基于随机森林算法构建人口普查分析模型

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…

Datawhale 202301 设计模式 | 人工智能 现代方法 习题

Exercise 1 绪论 Q&#xff1a;用您自己的话来定义&#xff1a;&#xff08;a&#xff09;智能&#xff0c;&#xff08;b&#xff09;人工智能&#xff0c;&#xff08;c&#xff09;智能体&#xff0c;&#xff08;d&#xff09;理性&#xff0c;&#xff08;e&#xff09;逻…

【大数据趋势】1月24日 流动、固定汇率和货币政策独立性三者的三者选二,A股持续的会上涨。

前言&#xff1a;昨天写的被朋友看到&#xff0c;认为我写的太水&#xff0c;故意不提日常讨论的那个关键指标&#xff0c;所以下午重新修改了一下。 确定欧美大势市场形态1 - 美元指数 关键位置大概率不会一次就破&#xff0c;有较强反弹可能&#xff0c;带动美股反弹 作为长…

MH-100X微波运动传感器介绍

MH-100X微波运动传感器简介微波运动传感器是利用多普勒雷达原理设计的微波移动物体探测器。不同于一般的红外探测器&#xff0c;微波传感器通过通过检测物体反射的微波来探测物体的运动状况&#xff0c;检测对象将并不会局限于人体&#xff0c;还有很多其他的事物。微波传感器不…

java基础语法——条件判断与循环语句

目录 一、流程控制语句 流程控制语句分类 二、顺序结构 顺序结构概述 顺序结构图 三、选择结构 选择结构概述 选择结构(if语句1) 选择执行图1 选择结构(if语句2) 选择执行图2 选择结构(if语句3) 选择执行图3 选择结构(switch语句) switch语句执行流程图 四、 循环…

剪映电脑版超简单使用教程Mac

相机 我主要用到的两个键 点击开始创作导入本地视频 导入本地视频 将素材拖拽到时间线上 时间线面板操作 撤销、恢复、分割 撤销上一次操作也可以用快捷键 command z 定格、倒放、镜像、裁剪 剃刀 点击菜单的分割可以出来一个剃刀&#xff0c;分割更方便 选择模式 …

代码随想录算法训练营第十二天|239. 滑动窗口最大值| ● 347.前 K 个高频元素

239 滑动窗口最大值 看完题后的思路 这是一道典型的单调队列的题&#xff0c;如果不是之前刷过一遍&#xff0c;对这道题没有一点头绪。即使刷过&#xff0c;也只是留了个印象。 解题思路 对于本道题来说&#xff0c;到窗口右移&#xff0c;如果一个新元素a进入窗口&#x…

【Maven】分模块开发与设计与依赖管理

目录 一、分模块开发与设计 1. 分模块开发的意义 2. 分模块开发&#xff08;模块拆分&#xff09; 二、依赖管理 1. 依赖传递 2. 可选依赖 3. 排除依赖 4 可选依赖和排除依赖的区别 一、分模块开发与设计 1. 分模块开发的意义 问题导入 分模块开发对工程有什么好处…

ChatGPT - 横看成岭侧成峰

定义 ChatGPT 是什么&#xff1f; ChatGPT是由OpenAI开发的一个人工智能聊天机器人程序&#xff0c;由 OpenAI 公司于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。 ChatGPT以对话方式进行交互&#xff0c;可以用于包括自动文本生成、自…

一起自学SLAM算法:8.3 LOAM算法

连载文章&#xff0c;长期更新&#xff0c;欢迎关注&#xff1a; 不管是Gmapping还是Cartographer&#xff0c;通常都是采用单线激光雷达作为输入并且只能在室内环境运行。虽然Cartographer支持2D建图和3D建图模式&#xff0c;但是Cartographer采用3D建图模式构建出来的地图格式…

微信小程序 java失物招领系统uniAPP设计

开发语言&#xff1a;Java 框架&#xff1a;ssm JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;eclipse/myeclipse/idea Maven包&#xff1a;Maven3.3.9 基于微信小程序的失物招领系…

四轮两驱小车(三):STM32驱动MPU6050进行转弯

前言&#xff1a; 寒假已经过了一半了&#xff0c;前段时间跟学弟一起从零开始搞了一下深度学习&#xff0c;现在才想起来这个系列还没有更完。本篇博客主要介绍一下这个小车转直角弯的神器----MPU6050 MPU6050介绍&#xff1a; 我所采用的MPU6050是某宝上十几块钱的这种&…