Python异步生成器

作者：YXN-python 阅读量：53 发布日期：2024-10-16

概述

异步生成器是Python 3.6引入的新特性，它结合了普通生成器和异步编程的优点。普通生成器通过 yield 关键字生成一个迭代器，而异步生成器则是用 async def 来定义的，配合 yield 生成异步值。

简而言之，异步生成器允许你按需逐步生成异步数据，而无需一次性加载所有内容，特别适合于需要等待外部资源（如网络请求或文件操作）时使用。使用异步生成器，你的代码能够在等待I/O操作的同时继续执行其他任务，这大大提高了效率。

优点

提高性能：异步生成器允许你避免阻塞式的等待，当一个任务需要时间（比如网络请求、数据库查询等）时，程序可以继续执行其他任务，极大提高了程序的响应速度。
节省内存：当你处理大量数据时，异步生成器可以按需逐个生成数据，而不是一次性加载所有数据，节省内存消耗。
简化代码结构：异步生成器使得异步编程更加清晰与易懂，不再需要复杂的回调函数或状态管理。

创建异步生成器

创建异步生成器的方法非常简单，只需要使用 async def 来定义一个异步函数，并且在其中使用 yield 来生成数据。

基本的异步生成器

import asyncio

# 定义异步生成器
async def async_counter():
    for i in range(5):
        print(f"准备生成 {i}")
        await asyncio.sleep(1)  # 模拟I/O操作
        yield i
        print(f"已生成 {i}")

# 使用异步生成器
async def main():
    async for number in async_counter():
        print(f"收到: {number}")

# 运行事件循环
asyncio.run(main())

应用场景

从文件异步读取数据

在处理大文件时，异步生成器非常有用。它可以在读取文件时，不阻塞主程序的执行。

import asyncio

# 定义异步生成器，逐行读取文件
async def async_read_file(file_name):
    with open(file_name, 'r') as file:
        for line in file:
            await asyncio.sleep(0)  # 让出控制权，模拟I/O操作
            yield line.strip()

asyn cdef main():
    async for line in async_read_file('large_file.txt'):
        print(line)

# 运行事件循环
asyncio.run(main())

这个例子展示了如何使用异步生成器逐行读取一个大文件。通过异步处理，我们避免了因文件过大而占用大量内存的情况。

异步任务调度

异步生成器也可以用于按需调度多个异步任务，例如，模拟多个任务的执行并发。

import asyncio

# 定义异步生成器，模拟多个异步任务
async def async_task(task_id, delay):
    print(f"任务 {task_id} 开始，预计 {delay} 秒")
    await asyncio.sleep(delay)
    yieldf"任务 {task_id} 完成"

async def main():
    async for result in async_task(1, 2):
        print(result)

    async for result in async_task(2, 3):
        print(result)

# 运行事件循环
asyncio.run(main())

在上面的示例中，每个任务都是异步执行的，可以并发执行，而不会阻塞主程序的其他任务。

注意事项

异步迭代器：异步生成器返回的是一个异步迭代器，因此必须使用 async for 来进行迭代，而不能使用常规的 for。
异常处理：异步生成器也支持异常处理，你可以在 async for 循环中捕获异常，确保程序的健壮性。
资源清理：如果异步生成器需要释放资源（例如关闭文件或数据库连接），可以使用 async with 语句来处理。

YXN-python

2024-10-16