aclmdlExeOMDesc
typedef struct aclmdlExeOMDesc {
size_t workSize;
size_t weightSize;
size_t modelDescSize;
size_t kernelSize;
size_t kernelArgsSize;
size_t staticTaskSize;
size_t dynamicTaskSize;
size_t fifoTaskSize;
size_t reserved[8];
} aclmdlExeOMDesc;
|
若某个模型在推理时,其每一层的输入来自上一层的输出以及前面几轮推理结果拼接而成时,则需使用模型级别的全局内存将该模型所需的输入数据保存下来,供后续推理使用。 |
|