你是否遇到过处理大量数据时电脑卡到死机？或者写代码时感觉速度越来越慢？这往往是因为数据在内存中“囤太多”。Python迭代器就像一个“按需生产”的智能工厂，用多少产多少，让你的代码既省内存又高效。本文将用工厂流水线的比喻和简单代码，带新手掌握迭代器优化的核心技巧。

一、为什么迭代器能让代码更高效？

1. 列表vs迭代器：内存占用的“仓库”与“流水线”

• 列表（仓库模式）：
  比如要存1亿个数字，列表会把所有数字一次性堆在内存里，就像把1亿个箱子全塞进小仓库，内存直接爆仓！
• big_list = [i for i in range(100000000)] # 占400MB内存，小电脑直接卡死
• 迭代器（流水线模式）：
  只记住“从0开始，每次+1”的生产规则，需要时才造一个数字，内存永远只存当前数字，就像流水线按需生产，不囤货！
• big_gen = (i for i in range(100000000)) # 仅占800字节，相当于一张照片的大小

2. 延迟计算：只生产需要的数据

迭代器就像聪明的工厂，不会提前生产没用的东西。
案例：找10000以内的质数

• 列表：先造好2-10000所有数字（9999个），再筛选质数（可能只需要1229个），浪费87%的内存！
• 迭代器：边判断边生产，只生成质数，不浪费一丝内存！

二、迭代器优化内存的3个真实场景

场景1：处理超大文件（比如10GB日志）

错误做法（仓库模式）：

with open('big.log', 'r') as f:
    lines = f.readlines()  # 把10GB文件全塞进内存，电脑直接罢工！

优化做法（流水线模式）：

with open('big.log', 'r') as f:
    for line in f:  # 每次只读1行，内存稳如老狗
        if 'ERROR' in line:
            count += 1

效果：内存占用始终只有几百KB，无论文件多大！

场景2：实时数据处理（比如传感器数据）

需求：每秒获取一个温度值，处理后保存，不需要存历史数据
迭代器做法：

import time

def temperature_sensor():
    while True:
        yield round(time.time() * 0.1, 2)  # 实时生成温度值
        time.sleep(1)

sensor = temperature_sensor()
for _ in range(10):
    temp = next(sensor)  # 每次取1个值，内存只存当前温度
    save_to_db(temp)

场景3：数据清洗管道（多级处理不囤货）

需求：处理百万级用户数据，过滤无效数据→转换格式→保存
迭代器流水线：

# 生成原始数据（模拟百万用户）
def generate_users():
    for i in range(1, 1000001):
        yield f"user_{i}"

# 过滤掉编号≤500000的用户
def filter_valid_users(users):
    for user in users:
        if int(user.split('_')[1]) > 500000:
            yield user

# 转换为大写
def convert_to_upper(users):
    for user in users:
        yield user.upper()

# 流水线处理（全程不存中间结果）
pipeline = convert_to_upper(filter_valid_users(generate_users()))
for user in pipeline:
    save_to_db(user)  # 直接存数据库，内存不积压！

三、性能对比：数据告诉你迭代器有多强

实验1：内存占用对比（生成1亿个数字）

实验2：处理速度对比（过滤100万偶数）

四、初学者必学的3个优化技巧

技巧1：用生成器表达式替代列表推导式

口诀：能写( )就不写[ ]

#  列表推导式（囤货模式）
even_list = [x for x in range(1, 1000001) if x%2==0]  # 占4MB内存

#  生成器表达式（流水线模式）
even_gen = (x for x in range(1, 1000001) if x%2==0)  # 仅占800字节

技巧2：用itertools简化复杂迭代

itertools是Python自带的“流水线工具库”，帮你快速组装数据处理流程。
案例：生成前10个奇数

import itertools

# 从1开始，每次+2，生成无限奇数，取前10个
odd_numbers = itertools.islice(itertools.count(1, 2), 10)

for num in odd_numbers:
    print(num)  # 1,3,5,...,19

技巧3：用yield from避免多层循环

需求：把二维列表转一维（如[[1,2],[3,4]]→[1,2,3,4]）

#  传统嵌套循环
flat_list = []
for sublist in nested_list:
    for item in sublist:
        flat_list.append(item)

#  yield from一键展开
def flatten(nested):
    for sublist in nested:
        yield from sublist  # 自动展开子列表

flat = list(flatten([[1,2],[3,4]]))  # [1,2,3,4]

五、新手常犯的3个错误及解决办法

错误1：把迭代器当列表用（提前囤货）

gen = (x for x in range(1000000))
lst = list(gen)  #  又变回列表，浪费迭代器优势！

解决：直接遍历迭代器，需要多少取多少

for x in gen:  #  按需取用，内存始终很小
    process(x)

错误2：在迭代器中存中间结果

def process(iterable):
    temp = []
    for item in iterable:
        temp.append(复杂处理(item))  #  囤货！
    return temp

#  改为边处理边生成
def process(iterable):
    for item in iterable:
        yield 复杂处理(item)  # 流水线模式！

错误3：重复使用用完的迭代器（一次性筷子思维）

gen = (x for x in range(3))
print(sum(gen))  # 3（第一次用，吃完）
print(sum(gen))  # 0（第二次用，没东西了！）

#  重新创建迭代器
gen = (x for x in range(3))
print(sum(gen))  # 3
gen = (x for x in range(3))
print(sum(gen))  # 3

六、实战：用迭代器优化学生成绩处理

场景：处理10万学生成绩数据，过滤不及格成绩→计算平均分
优化前（列表模式）：

with open('scores.csv', 'r') as f:
    scores = [float(line.strip()) for line in f]  # 存10万数据，占400KB

valid_scores = [s for s in scores if s >= 60]  # 过滤，占240KB
average = sum(valid_scores) / len(valid_scores)

优化后（迭代器模式）：

with open('scores.csv', 'r') as f:
    # 流水线：读文件→过滤→计算
    valid_scores = (float(line.strip()) for line in f if float(line.strip()) >= 60)
    total = 0
    count = 0
    for score in valid_scores:
        total += score
        count += 1
    average = total / count if count else 0

效果：内存占用从640KB降至几KB，速度提升30%！

总结：迭代器优化的“三不原则”

1. 不囤货：能用( )生成器就不用[ ]列表
2. 不等待：边生成边处理，不提前计算所有数据
3. 不浪费：用完即弃，不重复使用耗尽的迭代器

给初学者的练习建议：

1. 用生成器表达式重新实现“生成1-1000的平方数”
2. 尝试用itertools生成从5开始的偶数序列
3. 思考：为什么处理实时数据时必须用迭代器？

掌握迭代器的“按需生产”思维，能让你在处理大数据时游刃有余。

Tags：python 优化

微信扫一扫：分享

微信里点“发现”，扫一下

二维码便可将本文分享至朋友圈。