Skip to content

Latest commit

 

History

History
102 lines (96 loc) · 6.84 KB

todo.md

File metadata and controls

102 lines (96 loc) · 6.84 KB

todo :

系统功能类

  1. 提供标准化数据用例模板,CRUD,异常场景,并发场景,性能测试等等
  2. 复杂场景接口按比例测试,使数据组成可控
  3. 支持统计类数据输出:sum, count, avg……
  4. 支持导出为swagger文档 (低)
  5. 断言模板保存和选择(已实现断言值模板)
  6. Mock功能(已实现部分)
  • mock调用记录
  • 自动生成mock数据
  • 自动生成符合指定特征的mock数据(V)
  • 自动生成边界mock数据
  1. 接口状态管理(研发流程的管控
  • 接口变更后接口数据提示变更状态
  • 接口状态历史记录
  • 接口状态自动维护(定义,对接,调试,稳定,测试,发布)
    • 定义:编辑过的接口
    • 对接:经过mock过的接口
    • 调试:开发环境跑过的接口
    • 稳定:开发环境N个测试数据测试通过的接口
    • 测试:测试环境开始跑的接口
    • 发布:测试环境N个测试数据测试通过的接口
  1. 数据统计
  • 增加接口过程管理的数据统计
  • 单接口测试次数统计
  • 项目接口测试统计
  • 并发测试环境数据采集和展示
  • 并发测试性能数据采集和展示

易用性功能类

  1. 初次进入,跳转类似使用说明指导文档,然后再跳转正式使用登录页面 (低)
  2. 控制台,场景域,增加全量场景检索的入口
  3. 数据历史域,请求数据和返回数据控制台格式化,方便查看结果
  4. 数据保存时格式不正常,错误返回到前台
  5. 控制台支持文件类型的入参上传(目前直接通过路径关联)
  6. 历史数据文件增加依赖上游output参数记录,方便问题定位和排查
  7. 控制台body请求数据为raw类型时,功能进行健壮
  8. 管理域数据用例文件内容编写更友好
  9. 报告统计数据支持更多维度
  10. 数据文件中的应用与数据列表中的应用不一致时,优先级怎么处理?获取公共环境信息时,以哪个为主,在场景里时,应该是只有数据文件的,所以只能关联到数据文件中的应用

性能优化类

  1. 数据量大时,报表加载慢,进行SQL优化
  2. 数据生成设计并发生成,目前是串行的,并发数可控制,且支持批量写
  3. 变量替换优化,变更成整体替换方案,非结构化后替换,能全局支持变量

使用反馈类功能

  1. 参数定义模块功能看情况进行废除和功能迁移
  2. 部分swagger文档中有OPTIONS, HEAD, PATCH, TRACE请求类型,需要进行兼容适配
  3. 测试环境前检测一下环境鉴权是否等非功能类的是否OK
  4. 立即执行一次性任务支持暂停,即数据或场景执行执行一定次数时,自动创建任务,可以通过任务进行暂停管理
  5. 任务下执行场景和数据,进行错误精细化管理,如果是连接层面的错误,后续不再执行,如果是单场景执行的原因,继续执行
  6. 场景过程变量考虑记录,方便问题定位,日志按级别控制输出 (低)
  7. 生成产品全量测试报告(excel/pdf/html等等)
  8. 增加swagger可视化查看接口信息
  9. [当前不处理,如需下拉,可以使用最上层title的过滤功能]接口定义列表,新增时,应用不是下拉关联式的 (中)
  10. 增加单个任务的结果查看 (中)
  11. 增加场景执行类型,去掉产品和应用中的并发开关,由场景和数据自行控制 (高)
  12. 系统参数中枚举字段设计方案进行遍历执行 (中)
  13. [整体已支持,索引的待合入]支持List的数据直接关联引用用,也支持范围[0,10], (0,9) 引用 (高)
  14. postman文件的transfer,pytest数据文件的transfer (低)
  15. 出现错误时,日志信息持续进行优化,方便问题定位(doing)
  16. 数据历史修改会有问题(看情况需要放出来,做定量数据的修复来回放)
  17. RT断言支持,覆盖常态化的功能返回时间,超时断言需要进行处理
  18. 新增数据增加正确性校验,减少因名称不对导致的异常(新增数据时,全局)
  19. 新增数据,关联场景内容为空时,再次进来查看会存在部分数据不展示
  20. 应用列表去掉产品信息,进行权限的解耦
  21. 控制台接口定义域和运行域,参数是否必填在控制台进行展示
  22. 鉴权失效后,控制台请求不会自动跳转到登录页面
  23. 任务中关联场景,如果场景第一个数据文件如果有变量不存在,执行后,场景历史未进行结果记录,数据历史未进行记录
  24. 控制台-数据域不支持List JSON格式的保存,JSON格式增强
  25. 场景列表未关联产品时,放到任务列表里,场景失败不会往后执行了
  26. 接口数据请求是数组时,再来一次时需要兼容
  27. 控制台-数据域发起数据,当path变量有多值时,只发出了一条请求
  28. 数组管理组件使用控制台发现的不支持的功能,需安排时间合入(eg.: 复杂JSON格式请求)
  29. 支持返回的数组数据按指定值过滤获取数据,减少下则表达式的编写,能更高效编写测试断言
  30. 正则匹配优化,到下一个顶格结束,而非指定关键字,当前就存在误判,可以最后除了assert部分,其他再重新匹配一次未定义参数
  31. 创建时间,修改时间等正确性判断方案设计

代码优化类

  1. 并发改用管道通信机制

运维类

  1. 整体复制包进行,文件单独进行变更 (低)
  2. 历史版本查看,找谁改数据了 (低)
  3. 环境资源少,需要定期清理历史记录信息 (低)
  4. MySQL管理域数据需要定期备份
  5. upload目录下的文件需定时备份
  6. 被测系统环境监控 (低)

BUG列表

  1. 控制台数据域编写数据,请求格式为raw时。 Content-Type会被置为raw,前端传参有问题[控制台]
  2. [验证后没问题,持续跟踪一段时间]控制台场景域环境变更后,再选择场景,关联数据不会同步变动[控制台]
  3. [只允许保存为.yml文件]yaml文件自动保存为.yaml 无法找到文件,保存时先存储为.yml 文件,后续兼容一下,改下文件校验逻辑
  4. 放在场景里跑request请求顺序会乱, 决策-策略管理-场景策略-修改策略-不合法修改
  5. [验证后没问题,持续跟踪]用例为.json文件存储时,执行有问题 (高)
  6. 控制台原生JSON编写保存有问题,以及加载有问题 (高)
  7. 场景管理关联数据文件过多时,保存后会退出登录 (中)
  8. 控制台运行区,body设置json格式后,请求的还是默认的数据格式
  9. 场景关联同个数据文件多次,前置数据文件失败后,历史记录数据,拦接位置错误,导致数据少了
  10. 数据文件少了action:[]占位符时,会出现slice bounds out of range [:-1]错误