xx测试报告

1. 概述

描述本报告覆盖的范围,说明新增的特性清单以及解决问题列表,明确所需的测试活动

2. 版本测试信息

本节描述被测对象的版本信息和测试的时间,包括依赖的环境信息,测试repo源。 硬件和版本要求 产品型号:xxx

*操作系统:xxx * xxx版本:xxx

驱动版本:xxx

Python版本:xxx

PyTorch版本:xxx

依赖三方库版本:xxx

3. 测试结论

给出明确的版本发布或者不发布的结论

xxx版本,共计执行 xxx 个测试用例,发现 xxx 个问题,其中有效问题 xxx 个。整体质量良好,满足出口质量标准。

4. 特性质量评估

新特性的验证结果清单。

序号 特性 测试结论 功能 精度 性能 可靠性 兼容性
1 xx 通过 Pass Pass Pass Pass Pass
2 xx 不通过 Pass Pass Pass Pass Fail

5. DFX专项质量评估

5.1 安全测试

版本整体安全测试结论,包括涉及到的安全配置/权限管理,安全漏洞扫描、fuzz测试、交付件的病毒扫描等

安全测试大项 安全测试标准 测试内容 测试结论 安全问题状态
设计规范验证 各模块依据《昇腾社区安全设计规范》,结合业务完成安全设计自检验证,自检设计问题均需要修复。 各模块参考安全设计规范逐条进行验证 PASS
代码安全检视 各模块依据昇腾社区安全编码规范,进行代码安全检视,检视问题均需要修复。 各模块参考安全编码规范,逐条进行验证 PASS
静态编码扫描 使用安全编码扫描工具扫描测试,扫描告警结果清零。 1、使用社区门禁编码扫描工具或其他编码工具扫描开源代码 PASS
端口扫描 产品对外开放端口都已在通信矩阵中说明 1、使用端口扫描工具对已安装产品软件设备进行扫描,所有对外通信端口都已在通信矩阵中声明 PASS
主机漏洞扫描 使用主机漏洞描软件扫描已安装待测软件的主机设备,漏洞扫描结果均修复或确认为工具误报。 使用主机漏洞扫描工具,扫描运行产品软件的主机是否存在因运行待测软件导致的主机漏洞 PASS
开源软件漏洞扫描 针对开源组件使用业界漏洞扫描工具扫描,开源组件漏洞均已按照社区漏洞管理流程修复。 使用开源组件漏洞扫描工具,扫描开源组件是否存在已知漏洞 PASS
安全配置扫描 使用容器安全配置扫描工具对容器进行扫描,扫描结果均已修复或确认为工具误报 使用容器安全配置扫描工具,扫描运行待测软件的容器,检查是否有安全配置风险 PASS
病毒扫描 使用主流病毒扫描软件扫描软件包,病毒扫描结果均修复或确认为工具误报。 使用2款以上主流病毒扫描开源软件包及代码 PASS
编译选项验证 依据昇腾社区安全编译规范,使用编译选项扫描工具检查二进制文件编译选项开启情况,二进制文件编译选项均需要符合规范要求。 1、检查二进制文件是否开启随机化编译选项 2、检查二进制文件是否开启栈保护编译选项 3、检查二进制文件是否开启GOT表保护编译选项 4、检查二进制文件是否开启立即绑定编译选项 5、检查二进制文件是否开启堆栈不可执行编译选项 6、检查二进制文件是否禁止动态库搜索路径编译选项 7、检查二进制文件是否开启删除符号表搜索路径编译选项 PASS
开源片段扫描 使用开源片段引用扫描工具,扫描产品代码,无引用的开源片段 使用社区门禁或其他开源片段引用扫描工具,扫描产品代码是否引用开源片段 PASS
开源license合规扫描 使用开源license合规检查工具,扫描产品licence,无licence合规问题 使用社区扫描工具或其他扫描工具扫描licence,检查是否有合规问题 PASS
一致性验证 针对发布版本进行一致性验证,发布版本需构建签名且发布签名文件。 检查社区发布版本是否有哈希或者签名 PASS
敏感信息扫描 使用敏感信息扫描工具对源码进行敏感信息扫描,扫描结果均不为:密钥、证书、账号、密码等敏感信息 使用敏感信息扫描工具对源码进行扫描,检查是否包含敏感信息 PASS
Web漏洞扫描 使用Web漏洞扫描工具,对产品软件的Web及接口进行扫描,扫描结果中Web漏洞均已修复或确认为工具误报 使用Web漏洞扫描工具,扫描Web及接口,检查是否有Web漏洞 PASS
镜像扫描 使用镜像扫描工具,对社区发布镜像进行安全扫描,扫描出的安全风险均已修复或确认为工具误报 使用镜像扫描工具,对社区发布镜像进行安全扫描,检查是否有安全风险 PASS

遗留安全问题(如果涉及,则记录)

ISSUE 问题描述 遗留原因​
xxx XXX问题 XXX

5.2 可靠性测试

可靠性指标的验证达成情况,关键可靠性场景的测试结论

序号 可靠性特性 测试结论 遗留风险
1 xxx xxx 暂无
2 xxx

5.3 性能测试

该版本的性能测试结果

场景 模型 特性 性能指标 测试环境 测试结果 遗留风险
推理 xxx xxx xxQPS xxx Pass
训练 xxx xxx xxxQPS xxx Fail xxx

5.4 兼容性测试

给出兼容性验证结论和关键的兼容性配套验证结果 兼容性评估:通过 or 不通过;

序号 兼容性场景 验证结果 遗留风险
1 xx版本配套 pass
2 xx版本配套 pass

6. 测试执行评估

6.1 测试覆盖

特性以及关键测试活动的测试覆盖情况

测试活动 测试结论 用例数 用例覆盖率 用例通过率
特性测试 pass xxx xxx xxx
性能测试 pass xxx xxx xxx
可靠性测试 pass xxx xxx xxx
继承特性测试 pass xxx xxx xxx
兼容性测试 pass xxx xxx xxx
安全测试 pass xxx xxx xxx

7. 遗留问题和关键风险

不涉及

7.1 遗留问题统计

问题总数 严重 主要 次要 不重要 已取消
数目 xx xx xx xx xx xx
百分比 100% xx% xx% xx% xx% xx%

7.2 遗留问题列表

问题单(issue链接) 问题描述 问题级别 问题影响和规避措施 当前状态
xx xx xx xx xx

8. 附件

不涉及