微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Pytest系列30- 使用 pytest-xdist 分布式插件,如何保证 scope=session 的 fixture 在多进程运行情况下仍然能只运行一次

@H_404_2@如果你还想从头学起Pytest,可以看看这个系列的文章哦!

https://www.cnblogs.com/poloyy/category/1690628.html

 

背景

  • 使用 pytest-xdist 分布式插件可以加快运行,充分利用机器多核 cpu 的优势
  • 将常用功能放到 fixture,可以提高复用性和维护性
  • 做接口自动化测试的时候,通常我们会将登录接口放到 fixture 里面,并且 scope 会设置为 session,让他全局只运行一次
  • 但是当使用 pytest-xdist 的时候,scope=session 的 fixture 无法保证只运行一次,官方也通报了这一问题

 

官方描述

  • pytest-xdist 的设计使每个工作进程将执行自己的测试集合并执行所有测试子集,这意味着在不同的测试过程中,要求高级范围的 fixture(如:session)将会被多次执行,这超出了预期,在某些情况下可能是不希望的
  • 尽管 pytest-xdist 没有内置支持来确保  scope=session 的fixture 仅执行一次,但是可以通过使用锁定文件进行进程间通信来实现

 

@H_404_2@前置知识

pytest-xdist 分布式插件使用详细教程

https://www.cnblogs.com/poloyy/p/12694861.html

 

pytest-xdist 分布式插件原理

https://www.cnblogs.com/poloyy/p/12703290.html

 

fixture 的使用详细教程

https://www.cnblogs.com/poloyy/p/12642602.html

官方文档

https://pypi.org/project/pytest-xdist/

 

官方解决办法(直接套用就行)

import json

 pytest
from filelock  FileLock


@pytest.fixture(scope="session")
def session_data(tmp_path_factory,worker_id):
    if worker_id == master:
        # not executing in with multiple workers,just produce the data and let
         pytest's fixture caching do its job
        return produce_expensive_data()

     get the temp directory shared by all workers
    root_tmp_dir = tmp_path_factory.getbasetemp().parent

    fn = root_tmp_dir / data.json
    with FileLock(str(fn) + .lock):
        if fn.is_file():
            data = json.loads(fn.read_text())
        else:
            data = produce_expensive_data()
            fn.write_text(json.dumps(data))
    return data
  • 若某个 scope = session 的 fixture 需要确保只运行一次的话,可以用上面的方法,直接套用,然后改需要改的部分即可(这个后面详细讲解)
  • @H_404_2@官方原话:这项技术可能并非在每种情况下都适用,但对于许多情况下,它应该是一个起点,在这种情况下,对于 scope = session 的fixture 只执行一次很重要

 

后续栗子的代码

项目结构

xdist+fixture(文件夹)
│  tmp(存放 allure 数据文件夹)
│  conftest.py
│  test_1.py
│  test_2.py
│  test_3.py
│ __init__.py │ 

 

test_1.py 代码

 os


 test_1(test):
    print(os 环境变量",os.environ['token'])
    test1 测试用例代码
 test_2(test):
    test2 测试用例代码
 test_3(test):
    test3 测试用例解决情况下的栗子

conftest.py 代码

 os
from random  random


@pytest.fixture(scope= test():
    token = str(random())
    fixture:请求登录接口,获取token,token)
    os.environ['] = token
    return token

 

运行命令

pytest -n 3 --alluredir=tmp

 

运行结果

scope=session 的 fixture 很明显执行了三次,三个进程下的三个测试用例得到的数据不一样,明显不会是我们想要的结果

 

使用官方解决方法的栗子

!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
__title__  = 
__Time__   = 2021/4/27 11:28
__Author__ = 小菠萝测试笔记
__Blog__   = https://www.cnblogs.com/poloyy/
"""
 json
 random
 FileLock

@pytest.fixture(scope= test(tmp_path_factory,1)"> 如果是单机运行 则运行这里的代码块【不可删除修改
    :
        自定义代码块】
        这里就写你要本身应该要做的操作,比如:登录请求、新增数据、清空数据库历史数据等等
        """
        token = str(random())
         token

         如果测试用例有需要,可以返回对应的数据,比如 token
         token

     如果是分布式运行
     获取所有子节点共享的临时目录,无需修改【不可删除修改
    root_tmp_dir = tmp_path_factory.getbasetemp().parent
     【不可删除修改
    fn = root_tmp_dir / "
     【不可删除修改
    with FileLock(str(fn) +  【不可删除修改
         fn.is_file():
             缓存文件中读取数据,像登录操作的话就是 token 【不可删除修改
            token = json.loads(fn.read_text())
            print(f读取缓存文件,token 是{token} )
        :
            自定义代码块】
            跟上面 if 的代码块一样就行
            
            token = str(random())
             【不可删除修改
            fn.write_text(json.dumps(token))
            首次执行,token 是{token} )

         最好将后续需要保留的数据存在某个地方,比如这里是 os 的环境变量
        os.environ[return token

 

运行命令

pytest -n 3 --alluredir=tmp

 

运行结果

可以看到 fixture 只执行了一次,不同进程下的测试用例共享一个数据 token

 

重点

  • 读取缓存文件并不是每个测试用例都会读,它是按照进程来读取的
  • 比如 -n 3 指定三个进程运行,那么有一个进程会执行一次 fixture(随机),另外两个进程会各读一次缓存
  • 假设每个进程有很多个用例,那也只是读一次缓存文件,而不会读多次缓存文件
  • 所以最好要将从缓存文件读出来的数据保存在特定的地方,比如上面代码的 os.environ 可以将数据保存在环境变量中

 

两个进程跑三个测试用例文件

还是上面栗子的代码

运行命令

pytest -n 2 --alluredir=tmp

 

运行结果

可以看到 test_3 的测试用例就没有读缓存文件了,每个进程只会读一次缓存文件,记住哦!

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐