评测材料说明

文件结构

evaluation/
├── precision_eval.py       # 精度评测源代码
├── performance_eval.py     # 性能评测源代码
├── logs/                   # 运行日志
├── screenshots/            # 自验证截图
└── images/                 # 评测生成的图像

精度评测

功能说明

precision_eval.py 用于验证 Ascend NPU 推理的精度一致性，包含以下测试项：

1. NPU 可复现性验证：相同 seed 运行两次，对比输出一致性
2. CPU 基准对比：CPU fp32 结果作为基线，与 NPU bf16 对比
3. 多指标评估：MSE、RMSE、MAE、PSNR、SSIM、LPIPS

运行方式

cd evaluation
python3 precision_eval.py --save-diff --output-dir ./precision_results

判定标准

• 相对 MAE < 1% 视为通过
• PSNR > 30dB 视为高质量
• SSIM > 0.99 视为高度一致

性能评测

功能说明

performance_eval.py 用于测量推理性能指标：

1. 模型加载时间：从启动到模型就绪的时间
2. 首图延迟：冷启动第一次推理耗时
3. 平均推理时间：预热后多次推理的平均值
4. 吞吐量：images/sec
5. 峰值显存：NPU HBM 占用峰值

运行方式

cd evaluation
python3 performance_eval.py --runs 5 --output performance_report.json

支持多配置对比

python3 performance_eval.py \
  --steps 4 8 \
  --width 512 1024 \
  --height 512 1024 \
  --runs 3

评测输出

运行日志

日志文件命名规则：{type}_eval_{timestamp}.log

• 包含完整的命令行输出
• 环境信息（PyTorch、torch_npu、diffusers 版本）
• 每一步的详细耗时和内存占用

自验证截图

截图包含：

1. 环境检查截图：npu-smi info 输出、Python 包版本
2. 推理结果截图：生成的图像
3. 精度对比截图：差异热力图
4. 性能报表截图：终端输出的汇总表格

预期结果参考

精度评测

测试项	预期结果
NPU 可复现性	MAE < 0.1%（相同 seed 完全一致）
CPU vs NPU	MAE < 1%（bf16 与 fp32 的合理差异）
PSNR	> 40dB
SSIM	> 0.995

性能评测（Ascend 910B, bf16, 1024x1024）

指标	4 steps	8 steps
模型加载	~60s	~60s
首图延迟	~15s	~25s
平均推理	~8s	~15s
吞吐量	~0.12 ips	~0.07 ips
峰值显存	~28GB	~28GB