矩阵计算的搬入总体说明

矩阵计算的搬入接口主要实现Global Memory到L1 Buffer和L1 Buffer到L0A Buffer/L0B Buffer/L0ScaleA Buffer/L0ScaleB Buffer/BiasTable Buffer/Fixpipe Buffer的数据高效传输。

针对Ascend 950PR/Ascend 950DT:

表1 数据通路和存储层级

源位置 源地址对齐要求 目的位置 目的地址对齐要求 格式转换 典型应用场景
Global Memory 1字节 L1 Buffer 32字节 ND2ND、ND2NZ、ND2ZN、DN2NZ、DN2ZN、NZ2NZ、ZN2ZN 从全局内存加载左矩阵、右矩阵等数据到L1 Buffer。
Global Memory 1字节 L1 Buffer 32字节 ScaleND2ZZ、ScaleDN2ZZ、ZZ2ZZ、ScaleND2NN、ScaleDN2NN、NN2NN 从全局内存加载左矩阵缩放系数和右矩阵缩放系数到L1 Buffer。
L1 Buffer 32字节 L0A Buffer 512字节 NZ2NZ、ZN2NZ 从L1 Buffer加载左矩阵数据到L0A Buffer。
L1 Buffer 32字节 L0B Buffer 512字节 ZN2ZN、NZ2ZN 从L1 Buffer加载右矩阵数据到L0B Buffer。
L1 Buffer 32字节 L0ScaleA Buffer 32字节 ZZ2ZZ 从L1 Buffer加载左矩阵缩放系数到L0ScaleA Buffer。
L1 Buffer 32字节 L0ScaleB Buffer 32字节 NN2NN 从L1 Buffer加载右矩阵缩放系数到L0ScaleB Buffer。
L1 Buffer 32字节 BiasTable Buffer 64字节 ND2ND 从L1 Buffer加载Bias数据到BiasTable Buffer。
L1 Buffer 32字节 Fixpipe Buffer 128字节 ND2ND 从L1 Buffer加载量化数据到Fixpipe Buffer。