故障排查:Pytest Asyncio Event Loop Closed 错误

1. 问题描述

在运行RetrievalService的集成测试(使用pytest-asyncio)时,当连续运行多个异步测试用例时,遇到了以下错误:

RuntimeError: Task <Task pending ...> got Future <Future pending ...> attached to a different loop ... RuntimeError: Event loop is closed

症状

  • 第一个测试用例 (test_search_knowledge_base_flow) 成功通过。
  • 第二个测试用例 (test_search_knowledge_base_no_results) 在 setup 或执行阶段立即失败,抛出RuntimeError

出错的代码(原始版本)

这是在修复之前,导致错误的测试代码结构和db_sessionfixture:

# test/services/test_retrieval_service.py@pytest.fixtureasyncdefdb_session():""" Creates a new database session for testing. """# 错误发生点:直接调用 get_async_engine(),它返回的是一个被缓存的 Engine 实例# 这个 Engine 绑定到了创建它时的 Event Loop(即第一个测试的 Loop)engine=get_async_engine()async_session=async_sessionmaker(engine,expire_on_commit=False)asyncwithasync_session()assession:asyncwithengine.begin()asconn:awaitconn.run_sync(Base.metadata.create_all)yieldsessionawaitsession.rollback()# 测试函数 1:使用新创建的 Loop A,成功获取 Engine(绑定到 Loop A)@pytest.mark.asyncioasyncdeftest_search_knowledge_base_flow(db_session):# ... PASS ...# 测试函数 2:使用新创建的 Loop B# 这里的 db_session fixture 再次运行,但 get_async_engine() 返回的是# 绑定到已关闭的 Loop A 的旧 Engine。导致报错。@pytest.mark.asyncioasyncdeftest_search_knowledge_base_no_results(db_session):# ... FAIL with RuntimeError: Event loop is closed ...

2. 根本原因分析

2.1 冲突来源

该问题源于pytest-asyncio管理 Event Loop 的机制与我们应用程序创建 SQLAlchemy Engine 的方式之间存在冲突。

  1. Pytest-Asyncio 的行为:默认情况下(严格模式),pytest-asyncio会为每个测试函数创建一个新的asyncio Event Loop,以确保隔离性。
  2. 应用程序的行为:我们的src/configs/db.py使用了functools.lru_cache来缓存AsyncEngine实例:
    # src/configs/db.pyfromfunctoolsimportlru_cache@lru_cache()# <--- Engine 实例被缓存了defget_async_engine():""" Returns a cached async engine instance. The engine is created on the first call and reused on subsequent calls within the same event loop. """logger.info("Creating new async engine instance.")returncreate_async_engine(DATABASE_URL,pool_pre_ping=True,echo=False,)

2.2 事件序列

  1. 测试 1 开始
    • Pytest 创建Loop A
    • get_async_engine()被调用。它创建了Engine 1并将其绑定到Loop A
    • 测试 1 结束。Pytest 关闭Loop A
  2. 测试 2 开始
    • Pytest 创建Loop B
    • get_async_engine()再次被调用。
    • 由于有缓存(@lru_cache),它返回了Engine 1(这个 Engine 仍然绑定在已关闭的Loop A上)。
    • 当 SQLAlchemy 尝试使用Engine 1Loop B中连接数据库或执行查询时,失败了,因为 Engine 的内部组件(如asyncpg连接池)试图使用已关闭的 Loop A。

3. 解决方案

3.1 修复方法

我们需要确保为每个测试上下文创建一个新的 AsyncEngine,并绑定到当前由pytest-asyncio提供的 Event Loop。

我们在测试文件 (test/services/test_retrieval_service.py) 的db_sessionfixture 中修改了代码,在请求 Engine 之前显式清除缓存。

@pytest.fixtureasyncdefdb_session():""" Creates a new database session for testing. """# 修复:强制为当前 Event Loop 创建一个新的 Engineget_async_engine.cache_clear()engine=get_async_engine()# 现在返回的是绑定到当前 Loop 的新 Engine# ... fixture 的其余部分 ...

3.2 为什么有效

通过调用get_async_engine.cache_clear(),我们使缓存的AsyncEngine实例失效。随后的get_async_engine()调用会重新执行函数体,创建一个正确绑定到当前运行 Event Loop 的新AsyncEngine实例。

4. 替代方案(供参考)

  1. Scope 匹配:将event_loopfixture 的 scope 更改为session(所有测试共用一个 Loop)。这虽然降低了隔离性,但避免了多 Loop 问题。
  2. 依赖覆盖:如果使用依赖注入框架,可以覆盖get_async_engine依赖。
  3. 全局 Conftest:在conftest.py的 autouse fixture 中实现缓存清除,从而全局应用于所有测试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1098499.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用Miniconda实现PyTorch模型的滚动更新策略

使用Miniconda实现PyTorch模型的滚动更新策略 在现代AI系统的持续迭代中&#xff0c;一个看似简单却频频引发线上故障的问题是&#xff1a;为什么本地跑得好好的模型&#xff0c;一上线就出问题&#xff1f; 答案往往藏在那些看不见的依赖差异里——可能是 NumPy 的浮点计算精度…

Miniconda环境下PyTorch模型热更新技术方案

Miniconda环境下PyTorch模型热更新技术方案 在AI服务从实验室走向生产环境的过程中&#xff0c;一个看似简单却极具挑战的问题浮出水面&#xff1a;如何在不中断线上推理的情况下完成模型迭代&#xff1f; 设想这样一个场景——某电商平台的推荐系统正在高峰期运行&#xff…

全面讲解USB转串口硬件接线与软件配置

从零构建稳定串口通信&#xff1a;CH340G、FT232RL 与 CP2102 深度实战指南 当你的开发板“失联”&#xff0c;第一件事该做什么&#xff1f; 你有没有遇到过这样的场景&#xff1a;手里的STM32最小系统板接上电源&#xff0c;但串口助手却收不到任何打印信息&#xff1f;或者…

Miniconda-Python3.10 + PyTorch实现百万级Token生成性能测试

Miniconda-Python3.10 PyTorch实现百万级Token生成性能测试 在大模型时代&#xff0c;一个稳定、高效且可复现的开发环境不再是“锦上添花”&#xff0c;而是决定项目成败的关键基础设施。当我们面对动辄数亿参数的语言模型和百万级Token输出任务时&#xff0c;哪怕是最轻微的…

Miniconda-Python3.10环境下使用conda env export导出环境

Miniconda-Python3.10环境下使用conda env export导出环境 在AI模型训练或数据科学项目中&#xff0c;你是否曾遇到过这样的场景&#xff1a;本地代码运行完美&#xff0c;但换到服务器上却报错“ModuleNotFoundError”&#xff1f;或者几个月后想复现实验结果&#xff0c;却发…

Miniconda如何帮助开发者规避PyTorch版本陷阱

Miniconda如何帮助开发者规避PyTorch版本陷阱 在深度学习项目中&#xff0c;你是否曾遇到过这样的场景&#xff1a;刚跑通一个基于 PyTorch 1.12 的论文复现代码&#xff0c;结果第二天要启动新项目时发现必须升级到 PyTorch 2.0&#xff1f;于是你一通操作更新包后&#xff0c…

实战案例:基于AUTOSAR架构图的BSW配置流程

从一张图到一整套代码&#xff1a;如何用 AUTOSAR 架构图驱动 BSW 配置实战你有没有遇到过这种情况&#xff1f;系统工程师扔过来一个.arxml文件&#xff0c;说&#xff1a;“这是架构图&#xff0c;按它配吧。”然后你打开工具链&#xff0c;面对 Com、PduR、BswM 一堆模块&am…

微信读书 2025 年热搜趋势,这本豆瓣评分 9.4 的大模型神作上榜!

有些技术书&#xff0c;读完之后你会记住很多东西&#xff0c;作者的名字、惊艳的案例、有说服力的结论&#xff0c;甚至几句可以直接引用的话。也有一些书&#xff0c;读完之后&#xff0c;存在感反而变低了。你很难马上复述它讲了什么&#xff0c;但在之后的学习和工作中&…

图解说明multisim14.3下载安装步骤,清晰易懂零基础适用

零基础也能装好Multisim 14.3&#xff1f;一文讲透从下载到仿真的全流程 你是不是也遇到过这种情况&#xff1a;刚接触电路设计&#xff0c;老师推荐用 Multisim 做仿真&#xff0c;结果第一关“下载安装”就卡住了&#xff1f; 点开搜索引擎&#xff0c;满屏都是“multisi…

Miniconda-Python3.10镜像在剧本创作大模型中的尝试

Miniconda-Python3.10镜像在剧本创作大模型中的实践探索 当一个编剧团队尝试用AI生成一部三幕剧的完整对白时&#xff0c;最怕遇到什么&#xff1f;不是灵感枯竭&#xff0c;而是昨天还能跑通的代码&#xff0c;今天因为某个库版本更新突然报错——transformers 升级后不兼容旧…

Miniconda-Python3.10环境下安装Pandas进行数据清洗

Miniconda-Python3.10环境下安装Pandas进行数据清洗 在处理真实世界的数据时&#xff0c;我们常遇到这样的场景&#xff1a;刚接手一个数据分析项目&#xff0c;满怀信心地运行脚本&#xff0c;却因为“模块找不到”或“版本不兼容”而卡在第一步。更糟的是&#xff0c;同事说“…

入门必看:AUTOSAR架构图各层功能通俗解读

从零开始搞懂AUTOSAR&#xff1a;一文看透汽车电子软件的“操作系统”你有没有想过&#xff0c;为什么现代汽车能同时处理几十个复杂功能——比如自适应巡航、自动泊车、语音交互&#xff0c;还能保证彼此不打架&#xff1f;这背后靠的不是某个天才程序员写的“万能代码”&…

Docker run命令如何启动AI开发容器?Miniconda-Python3.10镜像模板分享

Docker启动AI开发容器实战&#xff1a;Miniconda-Python3.10镜像模板详解 在人工智能项目日益复杂的今天&#xff0c;你是否也曾被“在我机器上明明能跑”的问题困扰&#xff1f;刚接手一个深度学习项目&#xff0c;光是配置环境就花掉一整天——Python版本不兼容、CUDA驱动冲突…

使用Miniconda为PyTorch项目构建可复现的基准环境

使用Miniconda为PyTorch项目构建可复现的基准环境 在深度学习项目开发中&#xff0c;一个看似微不足道的问题却常常让开发者耗费大量时间&#xff1a;“为什么代码在我机器上能跑&#xff0c;换台设备就报错&#xff1f;” 这个问题的背后&#xff0c;往往不是模型设计或数据…

基于Java+SpringBoot+SpringBoot博物馆文创系统(源码+LW+调试文档+讲解等)/博物馆文创产品/博物馆数字化系统/博物馆创意设计系统/博物馆文化衍生品系统/博物馆文创平台

博主介绍 &#x1f497;博主介绍&#xff1a;✌全栈领域优质创作者&#xff0c;专注于Java、小程序、Python技术领域和计算机毕业项目实战✌&#x1f497; &#x1f447;&#x1f3fb; 精彩专栏 推荐订阅&#x1f447;&#x1f3fb; 2025-2026年最新1000个热门Java毕业设计选题…

Miniconda-Python3.10环境下使用conda create新建虚拟环境

Miniconda-Python3.10环境下使用conda create新建虚拟环境 在AI项目开发中&#xff0c;你是否曾遇到这样的场景&#xff1a;刚跑通一个基于PyTorch 1.12的模型训练脚本&#xff0c;却因为另一个项目需要升级到PyTorch 2.0而导致原有代码报错&#xff1f;或者团队协作时&#xf…

Miniconda-Python3.10环境下使用html报告监控训练进度

Miniconda-Python3.10环境下使用HTML报告监控训练进度 在深度学习项目的日常开发中&#xff0c;一个常见的困扰是&#xff1a;模型跑起来了&#xff0c;日志也输出了&#xff0c;但你依然“看不见”它的状态。终端里滚动的 loss 值像摩斯电码&#xff0c;只有最耐心的人才能解读…

使用Miniconda为PyTorch项目集成CI自动化测试

使用Miniconda为PyTorch项目集成CI自动化测试 在深度学习项目的日常开发中&#xff0c;你是否曾遇到过这样的场景&#xff1a;本地训练一切正常&#xff0c;但代码推送到CI流水线后却突然报错——“torch not found”&#xff1f;或者团队新成员花了一整天时间配置环境&#xf…

基于Java+SpringBoot+SpringBoot咖啡店点餐系统(源码+LW+调试文档+讲解等)/咖啡店点单系统/咖啡厅点餐系统/咖啡厅点单系统/咖啡店自助点餐/咖啡店扫码点餐/咖啡店智能点餐

博主介绍 &#x1f497;博主介绍&#xff1a;✌全栈领域优质创作者&#xff0c;专注于Java、小程序、Python技术领域和计算机毕业项目实战✌&#x1f497; &#x1f447;&#x1f3fb; 精彩专栏 推荐订阅&#x1f447;&#x1f3fb; 2025-2026年最新1000个热门Java毕业设计选题…

Meta 数十亿美元收购 Manus,肖弘将出任 Meta 副总裁

Datawhale分享 最新&#xff1a;Manus&#xff0c;编辑&#xff1a;机器之心就在刚刚&#xff0c;Meta 完成了一项大收购&#xff0c;将智能体初创公司 Manus 收入麾下。目前&#xff0c;双方交易的具体细节&#xff08;包括具体收购金额等&#xff09;尚未公布。据晚点LatePos…