干货| Python代码性能优化总结

news2024/11/16 0:39:04

代码优化原则

本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细节之前，需要了解一些代码优化基本原则。

这里插播一条粉丝福利，如果你正在学习Python或者有计划学习Python，想要突破自我，对未来十分迷茫的，可以点击这里获取最新的Python学习资料和学习路线规划（免费分享，记得关注）

第一个基本原则：不要过早优化

很多人一开始写代码就奔着性能优化的目标，“让正确的程序更快要比让快速的程序正确容易得多”。因此，优化的前提是代码能正常工作。过早地进行优化可能会忽视对总体性能指标的把握，在得到全局结果前不要主次颠倒。

第二个基本原则：权衡优化的代价

优化是有代价的，想解决所有性能的问题是几乎不可能的。通常面临的选择是时间换空间或空间换时间。另外，开发代价也需要考虑。

第三个原则：不要优化那些无关紧要的部分

如果对代码的每一部分都去优化，这些修改会使代码难以阅读和理解。如果你的代码运行速度很慢，首先要找到代码运行慢的位置，通常是内部循环，专注于运行慢的地方进行优化。在其他地方，一点时间上的损失没有什么影响。

避免全局变量

# 不推荐写法。代码耗时：26.8秒import math
size = 10000for x in range(size):    for y in range(size):        z = math.sqrt(x) + math.sqrt(y)

许多程序员刚开始会用 Python 语言写一些简单的脚本，当编写脚本时，通常习惯了直接将其写为全局变量，例如上面的代码。但是，由于全局变量和局部变量实现方式不同，定义在全局范围内的代码运行速度会比定义在函数中的慢不少。通过将脚本语句放入到函数中，通常可带来 15% - 30% 的速度提升。

# 推荐写法。代码耗时：20.6秒import math
def main():  # 定义到函数中，以减少全部变量使用    size = 10000    for x in range(size):        for y in range(size):            z = math.sqrt(x) + math.sqrt(y)
main()

避免

2.1 避免模块和函数属性访问

# 不推荐写法。代码耗时：14.5秒import math
def computeSqrt(size: int):    result = []    for i in range(size):        result.append(math.sqrt(i))    return result
def main():    size = 10000    for _ in range(size):        result = computeSqrt(size)
main()

每次使用.（属性访问操作符时）会触发特定的方法，如__getattribute__()和__getattr__()，这些方法会进行字典操作，因此会带来额外的时间开销。通过from import语句，可以消除属性访问。​​​​​​​

# 第一次优化写法。代码耗时：10.9秒from math import sqrt
def computeSqrt(size: int):    result = []    for i in range(size):        result.append(sqrt(i))  # 避免math.sqrt的使用    return result
def main():    size = 10000    for _ in range(size):        result = computeSqrt(size)
main()

在第 1 节中我们讲到，局部变量的查找会比全局变量更快，因此对于频繁访问的变量sqrt，通过将其改为局部变量可以加速运行。​​​

# 第二次优化写法。代码耗时：9.9秒import math
def computeSqrt(size: int):    result = []    sqrt = math.sqrt  # 赋值给局部变量    for i in range(size):        result.append(sqrt(i))  # 避免math.sqrt的使用    return result
def main():    size = 10000    for _ in range(size):        result = computeSqrt(size)
main()

除了math.sqrt外，computeSqrt函数中还有.的存在，那就是调用list的append方法。通过将该方法赋值给一个局部变量，可以彻底消除computeSqrt函数中for循环内部的.使用。​​

# 推荐写法。代码耗时：7.9秒import math
def computeSqrt(size: int):    result = []    append = result.append    sqrt = math.sqrt    # 赋值给局部变量    for i in range(size):        append(sqrt(i))  # 避免 result.append 和 math.sqrt 的使用    return result
def main():    size = 10000    for _ in range(size):        result = computeSqrt(size)
main()

2.2 避免类内属性访问​​​​​​​

# 不推荐写法。代码耗时：10.4秒import mathfrom typing import List
class DemoClass:    def __init__(self, value: int):        self._value = value        def computeSqrt(self, size: int) -> List[float]:        result = []        append = result.append        sqrt = math.sqrt        for _ in range(size):            append(sqrt(self._value))        return result
def main():    size = 10000    for _ in range(size):        demo_instance = DemoClass(size)        result = demo_instance.computeSqrt(size)
main()

避免.的原则也适用于类内属性，访问self._value的速度会比访问一个局部变量更慢一些。通过将需要频繁访问的类内属性赋值给一个局部变量，可以提升代码运行速度。​​​​​​​

# 推荐写法。代码耗时：8.0秒import mathfrom typing import List
class DemoClass:    def __init__(self, value: int):        self._value = value        def computeSqrt(self, size: int) -> List[float]:        result = []        append = result.append        sqrt = math.sqrt        value = self._value        for _ in range(size):            append(sqrt(value))  # 避免 self._value 的使用        return result
def main():    size = 10000    for _ in range(size):        demo_instance = DemoClass(size)        demo_instance.computeSqrt(size)
main()

避免不必要的抽象​​​​​​​

# 不推荐写法，代码耗时：0.55秒class DemoClass:    def __init__(self, value: int):        self.value = value
    @property    def value(self) -> int:        return self._value
    @value.setter    def value(self, x: int):        self._value = x
def main():    size = 1000000    for i in range(size):        demo_instance = DemoClass(size)        value = demo_instance.value        demo_instance.value = i
main()

任何时候当你使用额外的处理层（比如装饰器、属性访问、描述器）去包装代码时，都会让代码变慢。大部分情况下，需要重新进行审视使用属性访问器的定义是否有必要，使用getter/setter函数对属性进行访问通常是 C/C++ 程序员遗留下来的代码风格。如果真的没有必要，就使用简单属性。​​​​​​​

# 推荐写法，代码耗时：0.33秒class DemoClass:    def __init__(self, value: int):        self.value = value  # 避免不必要的属性访问器
def main():    size = 1000000    for i in range(size):        demo_instance = DemoClass(size)        value = demo_instance.value        demo_instance.value = i
main()

避免数据复制

4.1 避免无意义的数据复制​​​​​​​

# 不推荐写法，代码耗时：6.5秒def main():    size = 10000    for _ in range(size):        value = range(size)        value_list = [x for x in value]        square_list = [x * x for x in value_list]
main()

上面的代码中value_list完全没有必要，这会创建不必要的数据结构或复制。​​​​​​

# 推荐写法，代码耗时：4.8秒def main():    size = 10000    for _ in range(size):        value = range(size)        square_list = [x * x for x in value]  # 避免无意义的复制
main()

另外一种情况是对 Python 的数据共享机制过于偏执，并没有很好地理解或信任 Python 的内存模型，滥用 copy.deepcopy()之类的函数。通常在这些代码中是可以去掉复制操作的。

4.2 交换值时不使用中间变量​​​​​​​

# 不推荐写法，代码耗时：0.07秒def main():    size = 1000000    for _ in range(size):        a = 3        b = 5        temp = a        a = b        b = temp
main()

上面的代码在交换值时创建了一个临时变量temp，如果不借助中间变量，代码更为简洁、且运行速度更快。​​​​​​

# 推荐写法，代码耗时：0.06秒def main():    size = 1000000    for _ in range(size):        a = 3        b = 5        a, b = b, a  # 不借助中间变量
main()

4.3 字符串拼接用join而不是+​​​​​​​

# 不推荐写法，代码耗时：2.6秒import stringfrom typing import List
def concatString(string_list: List[str]) -> str:    result = ''    for str_i in string_list:        result += str_i    return result
def main():    string_list = list(string.ascii_letters * 100)    for _ in range(10000):        result = concatString(string_list)
main()

当使用a + b拼接字符串时，由于 Python 中字符串是不可变对象，其会申请一块内存空间，将a和b分别复制到该新申请的内存空间中。因此，如果要拼接n个字符串，会产生 n-1个中间结果，每产生一个中间结果都需要申请和复制一次内存，严重影响运行效率。而使用join()拼接字符串时，会首先计算出需要申请的总的内存空间，然后一次性地申请所需内存，并将每个字符串元素复制到该内存中去。​​​​​​

# 推荐写法，代码耗时：0.3秒import stringfrom typing import List
def concatString(string_list: List[str]) -> str:    return ''.join(string_list)  # 使用 join 而不是 +
def main():    string_list = list(string.ascii_letters * 100)    for _ in range(10000):        result = concatString(string_list)
main()

利用 if 条件的短路特性​​​​​​​

# 不推荐写法，代码耗时：0.05秒from typing import List
def concatString(string_list: List[str]) -> str:    abbreviations = {'cf.', 'e.g.', 'ex.', 'etc.', 'flg.', 'i.e.', 'Mr.', 'vs.'}    abbr_count = 0    result = ''    for str_i in string_list:        if str_i in abbreviations:            result += str_i    return result
def main():    for _ in range(10000):        string_list = ['Mr.', 'Hat', 'is', 'Chasing', 'the', 'black', 'cat', '.']        result = concatString(string_list)
main()

if 条件的短路特性是指对if a and b这样的语句， 当a为False时将直接返回，不再计算b；对于if a or b这样的语句，当a为True时将直接返回，不再计算b。因此， 为了节约运行时间，对于or语句，应该将值为True可能性比较高的变量写在or前，而and应该推后。​​​​​​​

# 推荐写法，代码耗时：0.03秒from typing import List
def concatString(string_list: List[str]) -> str:    abbreviations = {'cf.', 'e.g.', 'ex.', 'etc.', 'flg.', 'i.e.', 'Mr.', 'vs.'}    abbr_count = 0    result = ''    for str_i in string_list:        if str_i[-1] == '.' and str_i in abbreviations:  # 利用 if 条件的短路特性            result += str_i    return result
def main():    for _ in range(10000):        string_list = ['Mr.', 'Hat', 'is', 'Chasing', 'the', 'black', 'cat', '.']        result = concatString(string_list)
main()

循环优化

6.1 用for循环代替while循环​​​​​​

# 不推荐写法。代码耗时：6.7秒def computeSum(size: int) -> int:    sum_ = 0    i = 0    while i < size:        sum_ += i        i += 1    return sum_
def main():    size = 10000    for _ in range(size):        sum_ = computeSum(size)
main()

Python 的for循环比while循环快不少。​​​​​​​

# 推荐写法。代码耗时：4.3秒def computeSum(size: int) -> int:    sum_ = 0    for i in range(size):  # for 循环代替 while 循环        sum_ += i    return sum_
def main():    size = 10000    for _ in range(size):        sum_ = computeSum(size)
main()

6.2 使用隐式for循环代替显式for循环

针对上面的例子，更进一步可以用隐式for循环来替代显式for循环​​​​​

# 推荐写法。代码耗时：1.7秒def computeSum(size: int) -> int:    return sum(range(size))  # 隐式 for 循环代替显式 for 循环
def main():    size = 10000    for _ in range(size):        sum = computeSum(size)
main()

6.3 减少内层for循环的计算​​​​​​​​​​​​​​

# 不推荐写法。代码耗时：12.8秒import math
def main():    size = 10000    sqrt = math.sqrt    for x in range(size):        for y in range(size):            z = sqrt(x) + sqrt(y)
main()

上面的代码中sqrt(x)位于内侧for循环， 每次训练过程中都会重新计算一次，增加了时间开销。​​​​​​​

# 推荐写法。代码耗时：7.0秒import math
def main():    size = 10000    sqrt = math.sqrt    for x in range(size):        sqrt_x = sqrt(x)  # 减少内层 for 循环的计算        for y in range(size):            z = sqrt_x + sqrt(y)
main()

我们沿用上面介绍过的例子，在此基础上使用numba.jit。numba可以将 Python 函数 JIT 编译为机器码执行，大大提高代码运行速度​​​​​​​

# 推荐写法。代码耗时：0.62秒import numba
@numba.jitdef computeSum(size: float) -> int:    sum = 0    for i in range(size):        sum += i    return sum
def main():    size = 10000    for _ in range(size):        sum = computeSum(size)
main()

选择合适的数据结构

Python 内置的数据结构如str, tuple, list, set, dict底层都是 C 实现的，速度非常快，自己实现新的数据结构想在性能上达到内置的速度几乎是不可能的。

list类似于 C++ 中的std::vector，是一种动态数组。其会预分配一定内存空间，当预分配的内存空间用完，又继续向其中添加元素时，会申请一块更大的内存空间，然后将原有的所有元素都复制过去，之后销毁之前的内存空间，再插入新元素。删除元素时操作类似，当已使用内存空间比预分配内存空间的一半还少时，会另外申请一块小内存，做一次元素复制，之后销毁原有大内存空间。

因此，如果有频繁的新增、删除操作，新增、删除的元素数量又很多时，list的效率不高。此时，应该考虑使用collections.deque。collections.deque是双端队列，同时具备栈和队列的特性，能够在两端进行 O(1)复杂度的插入和删除操作。

list的查找操作也非常耗时。当需要在list频繁查找某些元素，或频繁有序访问这些元素时，可以使用bisect维护list对象有序并在其中进行二分查找，提升查找的效率。

另外一个常见需求是查找极小值或极大值，此时可以使用heapq模块将list转化为一个堆，使得获取最小值的时间复杂度是O(1)。

最后：

我为您精心准备了一份全面的Python学习大礼包，完全免费分享给每一位渴望成长、希望突破自我现状却略感迷茫的朋友。无论您是编程新手还是希望深化技能的开发者，都欢迎加入我们的学习之旅，共同交流进步！

🌟 学习大礼包包含内容：

Python全领域学习路线图：一目了然，指引您从基础到进阶，再到专业领域的每一步学习路径，明确各方向的核心知识点。

超百节Python精品视频课程：涵盖Python编程的必备基础知识、高效爬虫技术、以及深入的数据分析技能，让您技能全面升级。

实战案例集锦：精选超过100个实战项目案例，从理论到实践，让您在解决实际问题的过程中，深化理解，提升编程能力。

华为独家Python漫画教程：创新学习方式，以轻松幽默的漫画形式，让您随时随地，利用碎片时间也能高效学习Python。

互联网企业Python面试真题集：精选历年知名互联网企业面试真题，助您提前备战，面试准备更充分，职场晋升更顺利。

👉 立即领取方式：只需【点击这里】，即刻解锁您的Python学习新篇章！让我们携手并进，在编程的海洋里探索无限可能！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2144152.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

超全网络安全面试题汇总（2024版）

超全网络安全面试题汇总（2024版）

《网安面试指南》http://mp.weixin.qq.com/s?__bizMzkwNjY1Mzc0Nw&mid2247484339&idx1&sn356300f169de74e7a778b04bfbbbd0ab&chksmc0e47aeff793f3f9a5f7abcfa57695e8944e52bca2de2c7a3eb1aecb3c1e6b9cb6abe509d51f&scene21#wechat_redirect 《Java代码审…
阅读更多...
P1079 [NOIP2012 提高组] Vigenère 密码------------------------------P1703 那个什么密码2

P1079 [NOIP2012 提高组] Vigenère 密码------------------------------P1703 那个什么密码2

P1079 [NOIP2012 提高组] Vigenre 密码 题目描述 16 世纪法国外交家 Blaise de Vigenre 设计了一种多表密码加密算法 Vigenre 密码。Vigenre 密码的加密解密算法简单易用&#xff0c;且破译难度比较高&#xff0c;曾在美国南北战争中为南军所广泛使用。 在密码学中&#xff…
阅读更多...
3DMAX道路生成器插件RoadGenerator使用方法详解

3DMAX道路生成器插件RoadGenerator使用方法详解

3DMAX道路生成器插件RoadGenerator&#xff0c;一键生成全模3DMax道路插件&#xff0c;是一款便捷且极受欢迎的参数化道路建模插件。RoadGenerator插件从样条线&#xff08;道路中心线&#xff09;快速创建道路系统。包括路面、行车线、双黄线、斑马线、箭头、路牙、人行道、路…
阅读更多...
2024年某大厂HW蓝队面试题分享

2024年某大厂HW蓝队面试题分享

&#x1f91f; 基于入门网络安全/黑客打造的资源包无偿分享中&#xff1a; &#x1f449;黑客&网络安全入门&进阶学习资源包 应急响应流程 1&#xff09;首先判断服务器资产、影响范围以及严重程度&#xff0c;确认有没有必要将服务器下线隔离&#xff0c;然后根据服务…
阅读更多...
YOLOv8模型实时检测RTSP协议视频流并实时发送报警信息到Java服务端实现（超详细）

YOLOv8模型实时检测RTSP协议视频流并实时发送报警信息到Java服务端实现（超详细）

前言 在训练模型完成后&#xff0c;想把模型应用起来&#xff0c;比如模型可以部署到项目中&#xff0c;实时接收RTSP视频流进行识别检测&#xff0c;一旦达到自己所设置的置信度阈值&#xff08;例如大于0.5&#xff09;&#xff0c;系统就会实时把报警信息发送给服务端&…
阅读更多...
Linux抢占调度

Linux抢占调度

目录 抢占流程 抢占时机 用户态抢占时机 1、 从系统调用返回用户空间 2、 从中断返回用户空间 内核态抢占时机 1、中断处理程序返回内核空间 可以看到最终是到了 preempt_schedule_irq 2、当内核从non-preemptible&#xff08;禁止抢占&#xff09;状态变成pr…
阅读更多...
唤醒金融数据中台：我的数据驱动秘籍

唤醒金融数据中台：我的数据驱动秘籍

目录 一、明析业务痛点和机会点二、数据驱动精准化营销三、一体化数据平台——整合金融数据1. 数据整合与标准化2. 数据服务与共享3.业务体系集中化 四、强化金融数据安全&#xff0c;筑牢数据保护防线 在当今数字化时代的大潮中&#xff0c;数据无疑是金融行业最耀眼的财富。作…
阅读更多...
(娱乐)魔改浏览器-任务栏图标右上角加提示徽章

(娱乐)魔改浏览器-任务栏图标右上角加提示徽章

一、目标&#xff1a; windows中&#xff0c;打开chromium&#xff0c;任务栏中会出现一个chromium的图标。我们的目标是给这个图标的右上角&#xff0c;加上"有1条新消息"的小提示图标&#xff0c;也叫徽章(badge)注意&#xff1a;本章节纯属娱乐&#xff0c;有需要…
阅读更多...
道路横幅检测数据集 2000张 街道横幅 带标注 voc yolo

道路横幅检测数据集 2000张 街道横幅 带标注 voc yolo

项目背景&#xff1a; 城市中的街道横幅通常用于广告宣传、公共通知等目的&#xff0c;但在某些情况下&#xff0c;它们也可能影响交通安全或市容市貌。因此&#xff0c;对街道横幅进行自动化检测不仅可以帮助城市管理机构及时发现并处理不当悬挂的横幅&#xff0c;还可以辅助…
阅读更多...
12.Java基础概念-面向对象-static

12.Java基础概念-面向对象-static

欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 Facts speak louder than words&#xff01; 一、static关键字的含义…
阅读更多...
葡萄叶病害检测系统源码分享

葡萄叶病害检测系统源码分享

葡萄叶病害检测检测系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer V…
阅读更多...
无人机之飞行高度篇

无人机之飞行高度篇

无人机的飞行高度受到多种因素的制约&#xff0c;包括无人机本身的性能、无线信号的强度与稳定性&#xff0c;以及国家相关的法律法规等。具体而言&#xff0c;不同类型的无人机有不同的飞行高度限制&#xff1a; 微型无人机&#xff1a;飞行高度一般不得超过50米。这类无人机…
阅读更多...
新生们必看！大学开学必备清单，教你快人一步适应学校生活

新生们必看！大学开学必备清单，教你快人一步适应学校生活

新生们&#xff0c;开学的脚步临近&#xff0c;你们是否已经准备好迎接全新的校园生活了呢&#xff1f;即将是一段充满挑战和机遇的旅程&#xff0c;为了让大家能够更快地适应新环境&#xff0c;我们特别整理了大学开学必备清单&#xff0c;教你快人一步适应学校生活。新生们必…
阅读更多...
[C语言]第十节 函数栈帧的创建和销毁一基础知识到高级技巧的全景探索

[C语言]第十节 函数栈帧的创建和销毁一基础知识到高级技巧的全景探索

10.1. 什么是函数栈帧 我们在写 C 语言代码的时候&#xff0c;经常会把一个独立的功能抽象为函数&#xff0c;所以 C 程序是以函数为基本单位的。 那函数是如何调用的&#xff1f;函数的返回值又是如何待会的&#xff1f;函数参数是如何传递的&#xff1f;这些问题都和函数栈帧…
阅读更多...
Flask-JWT-Extended登录验证

Flask-JWT-Extended登录验证

1. 介绍 """安装:pip install Flask-JWT-Extended创建对象 初始化与app绑定jwt JWTManager(app) # 初始化JWTManager设置 Cookie 的选项:除了设置 cookie 的名称和值之外&#xff0c;你还可以指定其他的选项&#xff0c;例如&#xff1a;过期时间 (max_age)&…
阅读更多...
VulhubSkyTower靶机详解

VulhubSkyTower靶机详解

项目地址 https://download.vulnhub.com/skytower/SkyTower.zip项目配置 我们下载一个VirtualBox&#xff0c;这是官网 Downloads – Oracle VirtualBox 安装到默认路径就行 打开后点击注册 选择解压后的vbox文件 然后点击左上角管理 点击导出虚拟电脑&#xff0c;选中后…
阅读更多...
Vue(12)——路由的基本使用

Vue(12)——路由的基本使用

VueRouter 作用&#xff1a;修改地址栏路径时&#xff0c;切换显示匹配的组件 基本步骤&#xff08;固定&#xff09; 下载&#xff1a;下载VueRouter模块到当前工程引入安装注册创建路由对象注入&#xff0c;将路由对象注入到new Vue 实例中&#xff0c;建立关联 发现了#/表…
阅读更多...
移动端如何实现智能语音交互

移动端如何实现智能语音交互

智能语音交互&#xff08;Intelligent Speech Interaction&#xff09;是基于语音识别、语音合成、自然语言理解等技术&#xff0c;为企业在多种实际应用场景下&#xff0c;赋予产品“能听、会说、懂你”式的智能人机交互功能。适用于智能问答、智能质检、法庭庭审实时记录、实…
阅读更多...
CICD 持续集成与持续交付

CICD 持续集成与持续交付

目录 一 CICD是什么 1.1 持续集成&#xff08;Continuous Integration&#xff09; 1.2 持续部署&#xff08;Continuous Deployment&#xff09; 1.3 持续交付&#xff08;Continuous Delivery&#xff09; 二 git工具使用 2.1 git简介 2.2 git 工作流程 三 部署git …
阅读更多...
IntelliJ IDEA 2024.1 新特性下载安装激活方法

IntelliJ IDEA 2024.1 新特性下载安装激活方法

概述 IntelliJ IDEA 2024.1 发布了一系列令人期待新特性&#xff0c;可以帮助您提高开发效率。比如&#xff1a;全行代码补全、SpringBean 补全和自动装配、多语句内联端点、新版终端、编辑器中粘性行、AI Assistant 编码助手、改进的日志工作流、重命名嵌入提示、为整行代码提…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023