xx测试报告
1. 概述
描述本报告覆盖的范围,说明新增的特性清单以及解决问题列表,明确所需的测试活动
2. 版本测试信息
本节描述被测对象的版本信息和测试的时间,包括依赖的环境信息,测试repo源。 硬件和版本要求 产品型号:xxx
*操作系统:xxx * xxx版本:xxx
驱动版本:xxx
Python版本:xxx
PyTorch版本:xxx
依赖三方库版本:xxx
3. 测试结论
给出明确的版本发布或者不发布的结论
xxx版本,共计执行 xxx 个测试用例,发现 xxx 个问题,其中有效问题 xxx 个。整体质量良好,满足出口质量标准。
4. 特性质量评估
新特性的验证结果清单。
| 序号 | 特性 | 测试结论 | 功能 | 精度 | 性能 | 可靠性 | 兼容性 |
|---|---|---|---|---|---|---|---|
| 1 | xx | 通过 | Pass | Pass | Pass | Pass | Pass |
| 2 | xx | 不通过 | Pass | Pass | Pass | Pass | Fail |
5. DFX专项质量评估
5.1 安全测试
版本整体安全测试结论,包括涉及到的安全配置/权限管理,安全漏洞扫描、fuzz测试、交付件的病毒扫描等
| 安全测试大项 | 安全测试标准 | 测试内容 | 测试结论 | 安全问题状态 |
|---|---|---|---|---|
| 设计规范验证 | 各模块依据《昇腾社区安全设计规范》,结合业务完成安全设计自检验证,自检设计问题均需要修复。 | 各模块参考安全设计规范逐条进行验证 | PASS | |
| 代码安全检视 | 各模块依据昇腾社区安全编码规范,进行代码安全检视,检视问题均需要修复。 | 各模块参考安全编码规范,逐条进行验证 | PASS | |
| 静态编码扫描 | 使用安全编码扫描工具扫描测试,扫描告警结果清零。 | 1、使用社区门禁编码扫描工具或其他编码工具扫描开源代码 | PASS | |
| 端口扫描 | 产品对外开放端口都已在通信矩阵中说明 | 1、使用端口扫描工具对已安装产品软件设备进行扫描,所有对外通信端口都已在通信矩阵中声明 | PASS | |
| 主机漏洞扫描 | 使用主机漏洞描软件扫描已安装待测软件的主机设备,漏洞扫描结果均修复或确认为工具误报。 | 使用主机漏洞扫描工具,扫描运行产品软件的主机是否存在因运行待测软件导致的主机漏洞 | PASS | |
| 开源软件漏洞扫描 | 针对开源组件使用业界漏洞扫描工具扫描,开源组件漏洞均已按照社区漏洞管理流程修复。 | 使用开源组件漏洞扫描工具,扫描开源组件是否存在已知漏洞 | PASS | |
| 安全配置扫描 | 使用容器安全配置扫描工具对容器进行扫描,扫描结果均已修复或确认为工具误报 | 使用容器安全配置扫描工具,扫描运行待测软件的容器,检查是否有安全配置风险 | PASS | |
| 病毒扫描 | 使用主流病毒扫描软件扫描软件包,病毒扫描结果均修复或确认为工具误报。 | 使用2款以上主流病毒扫描开源软件包及代码 | PASS | |
| 编译选项验证 | 依据昇腾社区安全编译规范,使用编译选项扫描工具检查二进制文件编译选项开启情况,二进制文件编译选项均需要符合规范要求。 | 1、检查二进制文件是否开启随机化编译选项 2、检查二进制文件是否开启栈保护编译选项 3、检查二进制文件是否开启GOT表保护编译选项 4、检查二进制文件是否开启立即绑定编译选项 5、检查二进制文件是否开启堆栈不可执行编译选项 6、检查二进制文件是否禁止动态库搜索路径编译选项 7、检查二进制文件是否开启删除符号表搜索路径编译选项 | PASS | |
| 开源片段扫描 | 使用开源片段引用扫描工具,扫描产品代码,无引用的开源片段 | 使用社区门禁或其他开源片段引用扫描工具,扫描产品代码是否引用开源片段 | PASS | |
| 开源license合规扫描 | 使用开源license合规检查工具,扫描产品licence,无licence合规问题 | 使用社区扫描工具或其他扫描工具扫描licence,检查是否有合规问题 | PASS | |
| 一致性验证 | 针对发布版本进行一致性验证,发布版本需构建签名且发布签名文件。 | 检查社区发布版本是否有哈希或者签名 | PASS | |
| 敏感信息扫描 | 使用敏感信息扫描工具对源码进行敏感信息扫描,扫描结果均不为:密钥、证书、账号、密码等敏感信息 | 使用敏感信息扫描工具对源码进行扫描,检查是否包含敏感信息 | PASS | |
| Web漏洞扫描 | 使用Web漏洞扫描工具,对产品软件的Web及接口进行扫描,扫描结果中Web漏洞均已修复或确认为工具误报 | 使用Web漏洞扫描工具,扫描Web及接口,检查是否有Web漏洞 | PASS | |
| 镜像扫描 | 使用镜像扫描工具,对社区发布镜像进行安全扫描,扫描出的安全风险均已修复或确认为工具误报 | 使用镜像扫描工具,对社区发布镜像进行安全扫描,检查是否有安全风险 | PASS |
遗留安全问题(如果涉及,则记录)
| ISSUE | 问题描述 | 遗留原因 |
|---|---|---|
| xxx | XXX问题 | XXX |
5.2 可靠性测试
可靠性指标的验证达成情况,关键可靠性场景的测试结论
| 序号 | 可靠性特性 | 测试结论 | 遗留风险 |
|---|---|---|---|
| 1 | xxx | xxx | 暂无 |
| 2 | xxx |
5.3 性能测试
该版本的性能测试结果
| 场景 | 模型 | 特性 | 性能指标 | 测试环境 | 测试结果 | 遗留风险 |
|---|---|---|---|---|---|---|
| 推理 | xxx | xxx | xxQPS | xxx | Pass | |
| 训练 | xxx | xxx | xxxQPS | xxx | Fail | xxx |
5.4 兼容性测试
给出兼容性验证结论和关键的兼容性配套验证结果 兼容性评估:通过 or 不通过;
| 序号 | 兼容性场景 | 验证结果 | 遗留风险 |
|---|---|---|---|
| 1 | xx版本配套 | pass | |
| 2 | xx版本配套 | pass |
6. 测试执行评估
6.1 测试覆盖
特性以及关键测试活动的测试覆盖情况
| 测试活动 | 测试结论 | 用例数 | 用例覆盖率 | 用例通过率 |
|---|---|---|---|---|
| 特性测试 | pass | xxx | xxx | xxx |
| 性能测试 | pass | xxx | xxx | xxx |
| 可靠性测试 | pass | xxx | xxx | xxx |
| 继承特性测试 | pass | xxx | xxx | xxx |
| 兼容性测试 | pass | xxx | xxx | xxx |
| 安全测试 | pass | xxx | xxx | xxx |
7. 遗留问题和关键风险
不涉及
7.1 遗留问题统计
| 问题总数 | 严重 | 主要 | 次要 | 不重要 | 已取消 | |
|---|---|---|---|---|---|---|
| 数目 | xx | xx | xx | xx | xx | xx |
| 百分比 | 100% | xx% | xx% | xx% | xx% | xx% |
7.2 遗留问题列表
| 问题单(issue链接) | 问题描述 | 问题级别 | 问题影响和规避措施 | 当前状态 |
|---|---|---|---|---|
| xx | xx | xx | xx | xx |
8. 附件
不涉及