GetGeluMaxMinTmpSize
功能说明
kernel侧Gelu、FasterGelu、FasterGeluV2接口的计算需要开发者预留/申请临时空间,本接口用于在host侧获取预留/申请的最大最小临时空间大小,开发者基于此范围选择合适的空间大小作为Tiling参数传递到kernel侧使用。
- 为保证功能正确,预留/申请的临时空间大小不能小于最小临时空间大小;
- 在最小临时空间-最大临时空间范围内,随着临时空间增大,kernel侧接口计算性能会有一定程度的优化提升。为了达到更好的性能,开发者可以根据实际的内存使用情况进行空间预留/申请。
函数原型
-
获取Kernel接口计算所需最大临时空间大小的接口
uint32_t GetGeluMaxTmpSize(const ge::Shape& srcShape, const uint32_t typeSize) -
获取Kernel接口计算所需最小临时空间大小
uint32_t GetGeluMinTmpSize(const ge::Shape& srcShape, const uint32_t typeSize) -
获取Kernel接口计算所需最大/最小临时空间的接口
void GetGeluMaxMinTmpSize(const ge::Shape& srcShape, const uint32_t typeSize, uint32_t& maxValue, uint32_t& minValue)
参数说明
表 1 参数列表
返回值说明
GetGeluMaxTmpSize返回kernel侧接口能完成计算所需最大临时空间大小。
GetGeluMinTmpSize返回kernel侧接口能完成计算所需最小临时空间大小。
GetGeluMaxMinTmpSize无返回值。
约束说明
无
调用示例
// 输入shape信息为1024;算子输入的数据类型为half;
std::vector<int64_t> shape_vec = {1024};
ge::Shape srcShape(shape_vec);
uint32_t typeSize = 2;
uint32_t maxValue = 0;
uint32_t minValue = 0;
AscendC::GetGeluMaxMinTmpSize(srcShape, typeSize, maxValue, minValue);