Python | Iter/genartor | 一文了解迭代器、生成器的含义\区别\优缺点

news2025/2/23 17:44:09

前提

一种技术的出现,需要考虑:

  1. 为了实现什么样的需求;
  2. 遇到了什么样的问题;
  3. 采用了什么样的方案;
  4. 最终接近或达到了预期的效果。

概念

提前理解几个概念:

  1. 迭代

    我们经常听到产品迭代、技术迭代、功能迭代,这里的迭代的意思是在现有产品、技术、功能等基础上进行研发升级的过程,就可以理解为迭代。

    从编程的角度讲,迭代是指重复执行一组操作的过程,通常是通过循环来实现。在编程中,迭代是遍历数据集合的一种方式,允许逐个访问集合中的元素。

  2. 可迭代

    可迭代是指能够被迭代的对象,即可以通过迭代遍历其元素的对象。Python中的可迭代对象可以是列表、元组、字典、字符串等。可迭代对象支持使用for循环进行迭代。

  3. 可迭代对象

    可迭代对象是实现了迭代协议的对象,即具有__iter__()方法的对象。该方法返回一个迭代器对象。

  4. 迭代器

    迭代器是一个具有__iter__()__next__()方法的对象,实现了迭代协议。__iter__()方法返回迭代器对象本身,而__next__()方法返回下一个元素。当没有元素可以迭代时,__next__()应该引发StopIteration异常。

    例如,可以使用内置的iter()函数将可迭代对象转换为迭代器。当使用next()函数从迭代器中获取下一个元素时,如果没有元素可供迭代,将引发StopIteration异常。

  5. 生成器

    生成器是一种特殊类型的迭代器,使用函数来生成值,而不是一次性构建并存储在内存中,所以极大减少内存使用。

    生成器函数使用yield语句产生值,而不是return。每次调用生成器的__next__()方法时,生成器函数会从上次yield语句的位置恢复执行,并继续执行直到遇到下一个yield语句或函数结束。

    这样可以有效地处理大量数据,因为它们允许逐个生成值,而不需要一次性生成整个序列。

普通实现

假设为了实现获取斐波那契数列的前多少位数据,一般采用的方式肯定是通过函数计算,将函数的计算值一次一次的返回并存储在一个如列表的容器中,然后再将容器数据遍历循环处理,代码示例如下:

def func(p_max):
    def get_data(a, b):
        return a + b

    a, b, count = 0, 1, 0
    p_lst = []
    while count < p_max:
        value = get_data(a, b)
        a, b, count = b, value, count + 1
        p_lst.append(value)
    return p_lst
return_values = func(1000000000)
print(return_values)
for i in return_values:
	# do something
  	pass

当p_max不大时,p_lst存储的数据不多,消耗的内存不大;一旦p_max比较大时,比如100,000,000时,p_lst存储内容就太多了,使用的内存也就会变得极大,甚至撑爆。
我们可以看一下当p_max设置为100,000,000时,30s内存就上限了。
在这里插入图片描述
这只是一个方法的使用,在开发系统时,如果存在这样的操作,系统说不定在什么时候就因为内存问题被撑爆了,这是很可怕的。

进一步优化

为了避免这样的内存爆炸问题,最好的方式就是不存储所有结果,计算出一个就消费一个,方法每次只返回一个值,然后将其他变量覆盖重用循环往复,这样不就不会存在内存问题了。

def get_data(a, b):
    return a + b
p_max = 1000000000
a, b, count = 0, 1, 0
while count < p_max:
    value = get_data(a,b)
    # do something use value
    print(value)

在这里插入图片描述

经过等待,发现内存并没有多少变化,说明确实有效果。

但从上面看出,这里的循环使用while进行判断操作,和我们通常使用的遍历方法用法不同,那么是否可以将上述方法采用遍历的形式计算产生并消费呢?迭代器

迭代器

首先我们自行创建一个,实现__iter__()__next__()方法:

class MyFb:
    def __init__(self, a, b, compute_time):
        # 斐波那契左数
        self.a = a
        # 斐波那契右数
        self.b = b
        # 计算多少次几次斐波那契值
        self.compute_time = compute_time
        # 初始化计次器
        self.current_time = 0

    def __iter__(self):
        return self

    def __next__(self):
        # 当计次器值 小于 总计算次数时,计算斐波那契数列值并将a、b向后推移
        if self.current_time < self.compute_time:
            value = self.a + self.b
            self.a = self.b
            self.b = value
            self.current_time += 1
            #print("%s/%s - %s" % (self.current_time,self.compute_time,value))
            return value
        else:
            raise StopIteration

# 斐波那契起始值0、1,共计次10次
myfb = MyFb(0, 1, 1000000000)
for i in myfb:
  	# do something
    print(i)
    
# while myfb:
#     try:
#         next(myfb)
#     except StopIteration as e:
#         print('End!')
#         break
# 斐波那契起始值0、1,共计次10次

我们已经可以对通过MyFB类创建的myfb迭代器对象进行逐一遍历获取、访问、处理;

但是,为了能使对象被遍历,需要创建一个类并手动进行内置函数__iter__()__next__()的定制,不仅徒增了代码量,也降低了代码的可读性。

有没有什么简单的方法就能实现迭代器的功能,还能保持代码易操作、易读的方式? 生成器

生成器

生成器(Generator)实际上是迭代器的一种特殊类型。(生成器只是一种便捷实现迭代器的方式而已)

通过使用函数yield 语句创建迭代器(每次执行完后会将global(), local() 环境变量缓存起来,下次执行时从yield处开始并恢复global(), local() 环境变量),每次遍历时,执行到yield时就将 yield后的结果返回回来,生成器函数并不使用return。

生成器具有迭代器的所有特性,并且还有一些额外的优势。

为了明显的说明其原理,我们写一个比较简单理解但是并不美观的代码:

def fun(p_max):
    a = 0
    b = 1
    count = 0
    while count < p_max:
        value = a + b
        yield value
        a = b
        b = value
        count += 1


g_values = fun(100000000)
print(g_values)
while True:
    try:
        p_value = next(g_values)
        print(p_value)
    except StopIteration:
        print('END!')
        break

在这里插入图片描述

因为for兼容了迭代器的异常处理,所以我们可以直接使用:

def fun(p_max):
    a = 0
    b = 1
    count = 0
    while count < p_max:
        value = a + b
        yield value
        a = b
        b = value
        count += 1

g_values = fun(10000000000)
print(g_values)
for i in g_values:
    print(i)

继续简化代码可以写为:

def fun(p_max):
    a,b,count = 0,1,0
    while count < p_max:
        yield a+b
        a,b,count = b,a+b,count+1

for i in fun(10000000000):
    print(i)

所以,迭代器是一种访问数据的方式,生成器是一种更加便捷实现的形式,而它们最主要的优点就是延迟数据生成,减少内存消耗,不要将其想的太复杂,只是一种措施、一种手段而已。

优缺点

生成器原本即为迭代器的特殊模式,所以可以看一下对于迭代器而言的优缺点都有哪些。

优点

  1. 内存效率: 迭代器按需生成元素,一次只产生一个元素,因此在处理大规模数据集时,迭代器能够更好地节省内存。这对于在有限内存环境中处理大型数据集或流式数据非常有利。
  2. 惰性计算: 迭代器支持惰性计算,只在需要时生成元素。这使得它们适用于处理无限序列或大规模数据,因为不需要一次性生成整个序列。
  3. 适用于多次迭代: 一旦迭代器耗尽了所有元素,可以通过重新调用 __iter__() 方法将其重新初始化,使得可以再次从头开始迭代。这使得迭代器适用于需要多次迭代相同数据集的情况。
  4. 支持 for 循环: 迭代器实现了迭代协议,因此可以直接用于 for 循环中。这样的代码更加简洁和易读。
  5. 支持无限序列: 由于迭代器是按需生成元素的,它们可以用于表示无限序列。这在模拟无限数据流等场景中非常有用。
  6. 支持并发操作: 由于迭代器是逐个产生元素的,它们可以在多线程或多进程环境中更容易地被共享和处理,而不需要担心整个数据集的同步问题。

缺点

  1. 不支持随机访问: 迭代器一次只能产生一个元素,无法通过索引直接访问元素。如果需要通过索引或其他方式随机访问数据集的元素,迭代器可能不是最佳选择。
  2. 代码繁琐: 相对于直接使用列表等数据结构,实现迭代器可能需要编写更多的代码,包括实现 __iter__()__next__() 方法。这可能在某些情况下增加了代码的复杂性。
  3. 不适用于所有场景: 尽管迭代器在许多情况下非常有用,但并不是所有问题都适合使用迭代器。在某些场景下,传统的数据结构和方法可能更加直观和简单。
  4. 一次性消耗: 大多数迭代器是一次性的,即一旦迭代器耗尽了所有元素,就不能重新开始。这与一些需要多次迭代相同的场景不匹配。
  5. 不易调试: 由于迭代器是按需生成元素的,当程序发生错误时,调试可能变得更加困难。在某些情况下,你可能无法直接查看整个数据集,而需要通过逐步迭代来定位问题。
  6. 不支持修改: 大多数迭代器是只读的,不支持在迭代过程中修改数据集。如果需要修改数据集,可能需要使用其他数据结构。





🎉如果对你有所帮助,可以点赞、关注、收藏起来,不然下次就找不到了🎉


【点赞】⭐️⭐️⭐️⭐️⭐️
【关注】⭐️⭐️⭐️⭐️⭐️
【收藏】⭐️⭐️⭐️⭐️⭐️

Thanks for watching.
Kenny

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1358146.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Apache Doris (六十一): Spark Doris Connector - (1)-源码编译

🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。 🔔 博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录 1. Spark Doris Connector…

开发者必备的 Github 加速工具(截至2024年01月)

开始闲聊前&#xff0c;我要感谢大神小青龍总结的博文&#xff1a;作为程序员不得不知道的几款Github加速神器&#xff0c;给我们介绍了常用&#xff08;较为合规&#x1f604;&#xff09;的加速方法。毕竟 github 是开发者绕不过的宝库。 背景 我用 Github 将近12年&#x…

drf知识--11

补充 # 研究simple-jwt提供的Token类&#xff1a; 1、RefreshToken:生成refresh token的类 2、AccessToken:生成refresh token的类 3、Token&#xff1a;他们俩的父类 4、str(RefreshToken的对象)---得到字符串 refresh token&#xff0c;Token类写了 …

【linux学习】linux概述

1. linux概述 操作系统主要的功能有两个部分&#xff0c;一是更有效率的控制计算机硬件资源&#xff08;主要通过核心来控制&#xff09;&#xff0c;二是为程序设计师提供更容易开发软件的环境&#xff08;系统呼叫提供软件开发环境&#xff09;。linux就是一套操作系统&…

台灯学生用哪个牌子最好?学生护眼台灯最好的品牌推荐

如今的家长对教育十分重视&#xff0c;不仅给孩子提供了各种别致的文具&#xff0c;为了孩子有更好的学习光线&#xff0c;还会购买各种护眼台灯&#xff0c;但各种选择五花八门。从无蓝光、无频闪到柔和光&#xff0c;各种宣传亮点层出不穷……为了为孩子选购一款优质的学习护…

P3704数字表格(莫比乌斯反演)

题目背景 Doris 刚刚学习了 fibonacci 数列。用 fi​ 表示数列的第 i 项&#xff0c;那么 00,11f0​0,f1​1 fn​fn−1​fn−2​,n≥2 题目描述 Doris 用老师的超级计算机生成了一个 nm 的表格&#xff0c; 第 i 行第 j 列的格子中的数是 gcd(i,j)​&#xff0c;其中gcd(…

企业数据治理的三个阶段:从起步到成熟的数据管理之旅

随着数字化时代的到来&#xff0c;企业数据已经成为企业的重要资产和驱动业务发展的重要力量。然而&#xff0c;要想充分利用数据的价值&#xff0c;企业需要对其数据进行有效的管理和治理。本文将对企业数据治理的三个阶段进行详细的探讨&#xff0c;以帮助企业了解其在数据治…

5600U PVE安装WIN10后直通核显

修改PVE系统配置 请先安装相同版本的PVE系统&#xff0c;其他版本如果存在问题请自行查找。 安装过程比较简单&#xff0c;具体方法请自行百度 1. 修改grub启动参数&#xff1a; 修改文件 /etc/default/grub 中 GRUB_CMDLINE_LINUX_DEFAULT 配置&#xff1a; GRUB_CMDLINE_LI…

七款人体感应报警器电路图

人体感应报警器电路图&#xff08;一&#xff09; 人体发出的红外线波长在9&#xff5e;10um之间&#xff0c;属远红外线区。我们利用热释电红外传感器及信号处理集成电路&#xff0c;组装成一个人体红外线感应开关电路报警器&#xff0c;它能依靠人体发出的微量红外线进行开关…

一键减低PNG像素,轻松优化图片质量!

在数字时代&#xff0c;我们每天都要处理大量的图片文件&#xff0c;从网站设计、广告素材到社交媒体图片等。PNG作为一种常用的无损压缩格式&#xff0c;在保证图片质量的同时&#xff0c;也占用了较大的存储空间。为了优化存储空间和提高加载速度&#xff0c;我们需要对PNG图…

获取小红书笔记详情API调用说明(含请求示例参数说明)

前言 小红书&#xff0c;是一个引领全球时尚潮流的社交电商平台。在这里&#xff0c;你可以发现世界各地的优质好物&#xff0c;从美妆护肤、穿搭时尚&#xff0c;到家居生活、旅行美食&#xff0c;一切应有尽有。同时&#xff0c;这里也是一个分享生活点滴的平台&#xff0c;…

CPU平台做视频智能分析,Lnton视频分析平台不仅支持流分析,同时也支持图片分析了

LntonAIServer最新v1.0.09版本支持图片分析了&#xff0c;经过几个月的研发&#xff0c;在原有的视频流分析的基础上&#xff0c;我们终于支持大家都非常期待的图片分析功能了&#xff0c;图片分析的功能加上&#xff0c;能有利于很多场景的展开&#xff0c;比如在烟火、明厨亮…

蓝牙技术在智能交通系统中的革新与应用

随着科技的不断进步&#xff0c;蓝牙技术已经成为智能交通系统中的一项关键技术。其无线连接和低功耗的特性为交通管理和车辆通信提供了新的解决方案。本文将深入探讨蓝牙技术在智能交通系统中的应用&#xff0c;以及其对交通效率、安全性和用户体验的积极影响。 1. 蓝牙技术在…

5G工业物联网网关:连接未来的智能工业

在当今数字化时代&#xff0c;工业物联网正迅速崛起&#xff0c;并引领着全球工业的数字转型。而5G工业物联网网关作为实现IIoT的关键基础设施&#xff0c;在连接未来的智能工业中发挥着举足轻重的作用。 什么是5G工业物联网网关 5G工业物联网网关是连接工业设备和5G网络的关键…

“晨曦记账本:筛选特定时间段内的借款信息,管理更轻松!“

晨曦记账本&#xff0c;为您的财务记录带来前所未有的便捷&#xff01;现在&#xff0c;我们推出了一项新功能&#xff0c;让您能够轻松筛选特定时间段内的借款信息。这不仅让您更轻松地管理借款记录&#xff0c;还能确保您的财务数据一目了然。 首先&#xff0c;我们要打开晨…

YOLOv8独家原创改进:新颖的Shape IoU结合 Inner-IoU,基于辅助边框的IoU损失的同时关注边界框本身的形状和尺度,小目标实现高效涨点

💡💡💡本文改进:一种新的Shape IoU方法结合 Inner-IoU,基于辅助边框的IoU损失的同时,更加关注边界框本身的形状和尺度来计算损失 💡💡💡对小目标检测涨点明显,在VisDrone2019、PASCAL VOC均有涨点 收录 YOLOv8原创自研 https://blog.csdn.net/m0_63774211/ca…

2024年您应该知道的 12个绝佳且免费的 AI 工具

2024年&#xff0c;人工智能的世界会继续让我们着迷。 这里收集了12 个免费的 AI 工具&#xff0c;其中大多数易于使用&#xff0c;还有一些复杂的。无论如何&#xff0c;AI 将会给我们的工作和生活带来巨大的改变&#xff0c;了解并掌握最适合自己的工作至关重要。 1、Adobe …

MySQL的CRUD操作函数介绍union和union all

目录 一. CRUD&#xff08;增删改查&#xff09; 1.1 SELECT&#xff08;查询&#xff09; 概念 语法 含义 1.2 INSERT&#xff08;新增&#xff09; 概念 语法 含义 1.3 UPDATE&#xff08;修改&#xff09; 语法 含义 1.4 DELETE&#xff08;删除&#xff09; 语…

Kotlin:Set其实是有插入的顺序?

MutableSet怎么能调用indexOf去获取它的插入顺序呢&#xff1f;参考官网Collections overview | Kotlin Documentationhttps://kotlinlang.org/docs/collections-overview.html#set翻不了墙的看下面 &#xff08;MutableSet的默认实现是LinkedHashSet&#xff0c;LinkedHashSet…

接口自动化技巧

使用postman发送上传接口方法&#xff1a; pytest运行完很多warning信息&#xff0c;如何去掉&#xff1f; 接口自动化异常处理方法&#xff1a; pytest去掉warning提示 可以再pytest,ini文件设置过滤掉告警信息