aclnnQuantMatmulAlltoAll
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | × |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | × |
功能说明
-
接口功能：完成量化的Matmul计算、Permute（保证通信后地址连续）和AlltoAll通信的融合，先计算后通信，支持K-C量化、mx量化模式。
-
计算公式：假设x1的shape为(BS, H1)，x2的shape为(H1, H2)，rankSize为NPU卡数。
-
Atlas A2 训练系列产品/Atlas A2 推理系列产品：
-
K-C量化场景：
computeOut=(x1@x2)∗x1Scale∗x2Scale+biaspermutedOut=computeOut.view(BS,rankSize,H2/rankSize).permute(1,0,2)output=AlltoAll(permutedOut).view(rankSize∗BS,H2/rankSize)computeOut = (x1 @ x2) * x1Scale * x2Scale + bias \\ permutedOut = computeOut.view(BS, rankSize, H2 / rankSize).permute(1, 0, 2) \\ output = AlltoAll(permutedOut).view(rankSize * BS, H2 / rankSize)
-
-
Ascend 950PR/Ascend 950DT：
-
K-C量化场景：
computeOut=(x1@x2+bias)∗x1Scale∗x2ScalepermutedOut=computeOut.view(BS,rankSize,H2/rankSize).permute(1,0,2)output=AlltoAll(permutedOut).view(rankSize∗BS,H2/rankSize)computeOut = (x1 @ x2 + bias) * x1Scale * x2Scale \\ permutedOut = computeOut.view(BS, rankSize, H2 / rankSize).permute(1, 0, 2) \\ output = AlltoAll(permutedOut).view(rankSize * BS, H2 / rankSize)
-
mx量化场景：
computeOut=∑0⌊kblockSize=32⌋(x1@x2∗(x1Scale∗x2Scale))+biaspermutedOut=computeOut.view(BS,rankSize,H2/rankSize).permute(1,0,2)output=AlltoAll(permutedOut).view(rankSize∗BS,H2/rankSize)computeOut = \sum_{0}^{\left \lfloor \frac{k}{blockSize=32} \right \rfloor} (x1 @ x2 * (x1Scale * x2Scale)) + bias \\ permutedOut = computeOut.view(BS, rankSize, H2 / rankSize).permute(1, 0, 2) \\ output = AlltoAll(permutedOut).view(rankSize * BS, H2 / rankSize)
-
-
函数原型
每个算子分为两段式接口，必须先调用 “aclnnQuantMatmulAlltoAllGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnQuantMatmulAlltoAll”接口执行计算。
aclnnStatus aclnnQuantMatmulAlltoAllGetWorkspaceSize(
const aclTensor* x1,
const aclTensor* x2,
const aclTensor* biasOptional,
const aclTensor* x1Scale,
const aclTensor* x2Scale,
const aclTensor* commScaleOptional,
const aclTensor* x1OffsetOptional,
const aclTensor* x2OffsetOptional,
const aclIntArray* alltoAllAxesOptional,
const char* group,
int64_t x1QuantMode,
int64_t x2QuantMode,
int64_t commQuantMode,
int64_t commQuantDtype,
int64_t groupSize,
bool transposeX1,
bool transposeX2,
const aclTensor* output,
uint64_t* workspaceSize,
aclOpExecutor** executor);
aclnnStatus aclnnQuantMatmulAlltoAll(
void* workspace,
uint64_t workspaceSize,
aclOpExecutor* executor,
aclrtStream stream)
aclnnQuantMatmulAlltoAllGetWorkspaceSize
-
参数说明：
参数名 输入/输出 描述 使用说明 数据类型 数据格式 维度(shape) 非连续tensor x1 输入 融合算子的左矩阵输入，对应公式中的x1。 该输入作为MatMul计算的左矩阵输入；根据设备型号对数据类型有不同限制，详细参见约束说明。 FLOAT8_E4M3FN、FLOAT8_E5M2、FLOAT4_E2M1、INT8 ND 2维，shape为(BS, H1) x x2 输入 融合算子的右矩阵输入，对应公式中的x2。 直接作为MatMul计算的右矩阵输入；根据设备型号对数据类型和非连续有不同限制，详细参见约束说明。 FLOAT8_E4M3FN、FLOAT8_E5M2、FLOAT4_E2M1、INT8 ND 2维，shape为(H1, H2) 不同设备型号支持情况不同，参见约束说明。 biasOptional 输入 阵乘运算后累加的偏置，对应公式中的bias。 根据设备型号对数据类型有不同限制，详细参见约束说明。 FLOAT16、BFLOAT16、FLOAT32 ND 1维，shape为(H2) x x1Scale 输入 左矩阵的量化系数。 对应公式中的x1Scale。 FLOAT32、FLOAT8_E8M0 ND 1维/3维。K-C量化场景时shape为(BS)。mx量化场景时shape为(BS, ceil(H1/64), 2)。 x x2Scale 输入 右矩阵的量化系数。 对应公式中的x2Scale。 FLOAT32、FLOAT8_E8M0 ND 1维/3维。K-C量化场景时shape为(H2)。mx量化场景时shape为(H2, ceil(H1/64), 2)。 x commScaleOptional 输入 低比特通信的量化系数。 预留参数，暂不支持低比特通信。 - - - - x1OffsetOptional 输入 左矩阵的量化偏置。 预留参数，暂不支持。 - - - - x2OffsetOptional 输入 右矩阵的量化偏置。 预留参数，暂不支持。 - - - - alltoAllAxesOptional 输入 AlltoAll和Permute数据交换的方向。 支持配置空或者[-1, -2]，传入空时默认按[-1, -2]处理，表示将输入由(BS, H2)转为(BS*rankSize, H2/rankSize)。 aclIntArray*(元素类型INT64) - 1维，shape为(2) - group 输入 标识列组的字符串，即通信域名称，通过Hccl接口HcclGetCommName获取commName作为该参数。 字符串长度要求(0, 128)。 STRING - - - x1QuantMode 输入 左矩阵的量化方式。 根据设备型号对取值有不同限制，详细参见约束说明。 INT - - - x2QuantMode 输入 右矩阵的量化方式。 根据设备型号对取值有不同限制，详细参见约束说明。 INT - - - commQuantMode 输入 低比特通信的量化方式。 预留参数，当前仅支持配置为0，表示不量化。 INT - - - commQuantDtype 输入 低比特通信的量化类型。 预留参数，当前仅支持配置为-1，表示ACL_DT_UNDEFINED。 INT - - - groupSize 输入 用于Matmul计算三个方向上的量化分组大小，由3个方向的groupSizeM，groupSizeN，groupSizeK三个值拼接组成，每个值占16位，共占用int64_t类型groupSize的低48位（groupSize中的高16位的数值无效）。 INT - - - transposeX1 输入 标识左矩阵是否转置过。 暂不支持配置为True。 bool - - - transposeX2 输入 标识右矩阵是否转置过。 配置为True时右矩阵Shape为(H2, H1)。mx量化模式下必须配置为True。 bool - - - output 输出 最终的计算结果。 FLOAT16、BFLOAT16、FLOAT32 ND 2维，shape为(BS*rankSize, H2/rankSize) x workspaceSize 输出 返回需要在Device侧申请的workspace大小。 UINT64 - - - executor 输出 返回op执行器，包含了算子的计算流程。 aclOpExecutor* - - - x1QuantMode、x2QuantMode、commQuantMode的枚举值与量化模式关系如下:
- 0: 不量化
- 1: pertensor
- 2: perchannel
- 3: pertoken
- 4: pergroup
- 5: perblock
- 6: mx量化
- 7: pertoken动态量化
-
返回值
aclnnStatus：返回状态码，具体参见aclnn返回码。
第一段接口完成入参校验，出现以下场景时报错：
返回值 错误码 描述 ACLNN_ERR_PARAM_NULLPTR 161001 输入和输出的必选参数Tensor是空指针。 ACLNN_ERR_PARAM_INVALID 161002 输入和输出的数据类型不在支持的范围内。 输入Tensor为空Tensor。 alltoAllAxesOptional非法。 transposeX1为true。 通信域长度非法。 输入输出Tensor维度不合法。 输入输出format为私有格式。
aclnnQuantMatmulAlltoAll
-
参数说明：
参数名 输入/输出 描述 workspace 输入 在Device侧申请的workspace内存地址。 workspaceSize 输入 在Device侧申请的workspace大小，由第一段接口aclnnQuantMatmulAlltoAllGetWorkspaceSize获取。 executor 输入 op执行器，包含了算子计算流程。 stream 输入 指定执行任务的Stream。 -
返回值：
返回aclnnStatus状态码，具体参见aclnn返回码。
约束说明
-
默认支持确定性计算。
-
NPU卡数(rankSize)，根据设备型号有不同限制：
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：支持2、4、8卡。
- Ascend 950PR/Ascend 950DT：支持2、4、8、16卡。
-
参数说明中shape使用的变量H2必须整除NPU卡数。
-
BS*rankSize和H2的值不得超过2147483647(INT32_MAX)，BS的值不得小于1，H2的值不得小于2。
-
不支持空tensor。
-
非连续tensor的支持度根据不同设备型号有不同的限制：
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持任何非连续tensor。
- Ascend 950PR/Ascend 950DT：仅支持x2为非连续tensor，其它非连续tensor均不支持。
-
传入的x1、x2、x1Scale、x2Scale与output均不为空指针，且
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：biasOptional不支持传入空指针。
-
groupSize相关约束:
-
仅当x1Scale和x2Scale输入都是2维及以上数据时，groupSize取值有效，其他场景需传入0。
-
传入的groupSize内部会按如下公式分解得到groupSizeM、groupSizeN、groupSizeK，当其中有1个或多个为0，会根据x1/x2/x1Scale/x2Scale输入shape重新设置groupSizeM、groupSizeN、groupSizeK用于计算。原理：假设groupSizeM=0，表示m方向量化分组值由接口推断，推断公式为groupSizeM = m / scaleM（需保证m能被scaleM整除），其中m与x1 shape中的m一致，scaleM与x1Scale shape中的m一致，k和n方向同理。
groupSize=groupSizeK∣groupSizeN<<16∣groupSizeM<<32groupSize = groupSizeK | groupSizeN << 16 | groupSizeM << 32
-
假设输入x和scale各方向满足整除关系，且自动推导的groupSizeM、groupSizeN、groupSizeK满足[1,1,32]，则mx量化场景下groupSize支持以下取值：
groupSize 根据计算公式[gsM,gsN,gsK] 根据自动推导[gsM,gsN,gsK] 4295032864 [1,1,32] - 0 [0,0,0] [1,1,32] 32 [0,0,32] [1,1,32] 65536 [0,1,0] [1,1,32] 65568 [0,1,32] [1,1,32] 4294967296 [1,0,0] [1,1,32] 4294967328 [1,0,32] [1,1,32] 4295032832 [1,1,0] [1,1,32]
-
-
该算子输入输出的数据类型、数据维度和量化模式根据不同设备型号有不同的限制：
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：
-
量化模式：
- 目前支持：K-C量化，左矩阵perToken量化，x1QuantMode=3，右矩阵perChannel量化，x2QuantMode=2。
- bias偏置在量化后增加。
-
类型约束：
- 输入输出支持的数据类型组合有：
-
K-C量化：
x1 x2 biasOptional output INT8 INT8 FLOAT16 FLOAT16 INT8 INT8 FLOAT32 FLOAT16 INT8 INT8 BFLOAT16 BFLOAT16 INT8 INT8 FLOAT32 BFLOAT16
-
- 输入输出支持的数据类型组合有：
-
维度约束：
- H1范围仅支持[1, 65535]。
-
- Ascend 950PR/Ascend 950DT：
-
量化模式：
- 目前支持：K-C量化，左矩阵perToken量化，x1QuantMode=3，右矩阵perChannel量化，x2QuantMode=2；mx量化，左矩阵mx量化，x1QuantMode=6，右矩阵mx量化，x2QuantMode=6。
-
类型约束：
- biasOptional可以为空。
- 输入输出支持的数据类型组合有：
-
K-C量化：
x1 x2 biasOptional output x1QuantMode x2QuantMode x1ScaleOptional x2Scale FLOAT8_E4M3FN FLOAT8_E4M3FN FLOAT32 FLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E4M3FN FLOAT8_E4M3FN FLOAT32 BFLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E4M3FN FLOAT8_E4M3FN FLOAT32 FLOAT32 3 2 FLOAT32 FLOAT32 FLOAT8_E4M3FN FLOAT8_E5M2 FLOAT32 FLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E4M3FN FLOAT8_E5M2 FLOAT32 BFLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E4M3FN FLOAT8_E5M2 FLOAT32 FLOAT32 3 2 FLOAT32 FLOAT32 FLOAT8_E5M2 FLOAT8_E4M3FN FLOAT32 FLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E5M2 FLOAT8_E4M3FN FLOAT32 BFLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E5M2 FLOAT8_E4M3FN FLOAT32 FLOAT32 3 2 FLOAT32 FLOAT32 FLOAT8_E5M2 FLOAT8_E5M2 FLOAT32 FLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E5M2 FLOAT8_E5M2 FLOAT32 BFLOAT16 3 2 FLOAT32 FLOAT32 FLOAT8_E5M2 FLOAT8_E5M2 FLOAT32 FLOAT32 3 2 FLOAT32 FLOAT32 -
mx量化：
x1 x2 biasOptional output x1QuantMode x2QuantMode x1ScaleOptional x2Scale FLOAT8_E4M3FN FLOAT8_E4M3FN FLOAT32 FLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E4M3FN FLOAT8_E4M3FN FLOAT32 BFLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E4M3FN FLOAT8_E4M3FN FLOAT32 FLOAT32 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E4M3FN FLOAT8_E5M2 FLOAT32 FLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E4M3FN FLOAT8_E5M2 FLOAT32 BFLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E4M3FN FLOAT8_E5M2 FLOAT32 FLOAT32 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E5M2 FLOAT8_E4M3FN FLOAT32 FLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E5M2 FLOAT8_E4M3FN FLOAT32 BFLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E5M2 FLOAT8_E4M3FN FLOAT32 FLOAT32 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E5M2 FLOAT8_E5M2 FLOAT32 FLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E5M2 FLOAT8_E5M2 FLOAT32 BFLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT8_E5M2 FLOAT8_E5M2 FLOAT32 FLOAT32 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT4_E2M1 FLOAT4_E2M1 FLOAT32 FLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT4_E2M1 FLOAT4_E2M1 FLOAT32 BFLOAT16 6 6 FLOAT8_E8M0 FLOAT8_E8M0 FLOAT4_E2M1 FLOAT4_E2M1 FLOAT32 FLOAT32 6 6 FLOAT8_E8M0 FLOAT8_E8M0
-
-
维度约束：
- H1范围仅支持[1, 65535]。
- mx量化场景下，x2必须转置，shape为(H2, H1)，transposeX2为True。
- mx量化场景下，且x1和x2输入为FLOAT4_E2M1时，H1必须是偶数，且ceil(H1/32)必须是偶数。
-
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：
-
通算融合算子不支持并发调用，不同的通算融合算子也不支持并发调用。
-
不支持跨超节点通信，只支持超节点内。
-
通信引擎约束：
- Atlas A2 训练系列产品/Atlas A2 推理系列产品：支持MTE通信。
- Ascend 950PR/Ascend 950DT：支持CCU通信。
调用示例
示例代码如下，仅供参考，具体编译和执行过程请参考编译与运行样例。
说明：本示例代码调用了部分HCCL集合通信库接口：HcclGetCommName、HcclCommInitAll、HcclCommDestroy，请参考《HCCL API (C)》。
-
Atlas A2 训练系列产品/Atlas A2 推理系列产品：
#include <thread> #include <iostream> #include <string> #include <cstring> #include <vector> #include <acl/acl.h> #include <hccl/hccl.h> #include "aclnn/opdev/fp16_t.h" #include "aclnnop/aclnn_quant_matmul_allto_all.h" int ndev = 2; #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t> &shape) { int64_t shapeSize = 1; for (auto i: shape) { shapeSize *= i; } return shapeSize; } template<typename T> int CreateAclTensor(const std::vector<T> &hostData, const std::vector<int64_t> &shape, void **deviceAddr, aclDataType dataType, aclTensor **tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } struct Args { uint32_t rankId; HcclComm hcclComm; aclrtStream stream; aclrtContext context; }; int launchOneThreadQuantMatmulAlltoAll(Args &args) { int ret; ret = aclrtSetCurrentContext(args.context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); char hcom_name[128]; ret = HcclGetCommName(args.hcclComm, hcom_name); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("[ERROR] HcclGetCommName failed. ret = %d \n", ret); return -1); LOG_PRINT("[INFO] rank %d hcom: %s stream: %p, context : %p\n", args.rankId, hcom_name, args.stream, args.context); std::vector<int64_t> x1Shape = {32, 64}; std::vector<int64_t> x2Shape = {64, 128}; std::vector<int64_t> biasShape = {128}; std::vector<int64_t> x1ScaleShape = {32}; std::vector<int64_t> x2ScaleShape = {128}; std::vector<int64_t> outShape = {32, 128}; void *x1DeviceAddr = nullptr; void *x2DeviceAddr = nullptr; void *biasDeviceAddr = nullptr; void *x1ScaleDeviceAddr = nullptr; void *x2ScaleDeviceAddr = nullptr; void *outDeviceAddr = nullptr; aclTensor *x1 = nullptr; aclTensor *x2 = nullptr; aclTensor *bias = nullptr; aclTensor *x1Scale = nullptr; aclTensor *x2Scale = nullptr; aclTensor *out = nullptr; int64_t x1QuantMode = 3; int64_t x2QuantMode = 2; int64_t commQuantMode = 0; int64_t commQuantDtype = -1; int64_t groupSize = 0; int64_t a2aAxes[2] = {-1, -2}; aclIntArray* alltoAllAxesOptional = aclCreateIntArray(a2aAxes, static_cast<uint64_t>(2)); uint64_t workspaceSize = 0; aclOpExecutor *executor; void *workspaceAddr = nullptr; long long x1ShapeSize = GetShapeSize(x1Shape); long long x2ShapeSize = GetShapeSize(x2Shape); long long biasShapeSize = GetShapeSize(biasShape); long long x1ScaleShapeSize = GetShapeSize(x1ScaleShape); long long x2ScaleShapeSize = GetShapeSize(x2ScaleShape); long long outShapeSize = GetShapeSize(outShape); std::vector<int8_t> x1HostData(x1ShapeSize, 1); std::vector<int8_t> x2HostData(x2ShapeSize, 1); std::vector<op::fp16_t> biasHostData(biasShapeSize, 1); std::vector<float> x1ScaleHostData(x1ScaleShapeSize, 1); std::vector<float> x2ScaleHostData(x2ScaleShapeSize, 1); std::vector<op::fp16_t> outHostData(outShapeSize, 0); // 创建 tensor ret = CreateAclTensor(x1HostData, x1Shape, &x1DeviceAddr, aclDataType::ACL_INT8, &x1); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(x2HostData, x2Shape, &x2DeviceAddr, aclDataType::ACL_INT8, &x2); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(biasHostData, biasShape, &biasDeviceAddr, aclDataType::ACL_FLOAT16, &bias); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(x1ScaleHostData, x1ScaleShape, &x1ScaleDeviceAddr, aclDataType::ACL_FLOAT, &x1Scale); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(x2ScaleHostData, x2ScaleShape, &x2ScaleDeviceAddr, aclDataType::ACL_FLOAT, &x2Scale); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT16, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 调用第一段接口 ret = aclnnQuantMatmulAlltoAllGetWorkspaceSize(x1, x2, bias, x1Scale, x2Scale, nullptr, nullptr, nullptr, alltoAllAxesOptional, hcom_name, x1QuantMode, x2QuantMode, commQuantMode, commQuantDtype, groupSize, false, false, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnQuantMatmulAlltoAllGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用第二段接口 ret = aclnnQuantMatmulAlltoAll(workspaceAddr, workspaceSize, executor, args.stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnQuantMatmulAlltoAll failed. ERROR: %d\n", ret); return ret); //（固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStreamWithTimeout(args.stream, 10000); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); LOG_PRINT("device%d aclnnQuantMatmulAlltoAll execute success \n", args.rankId); // 释放device资源，需要根据具体API的接口定义修改 if (x1 != nullptr) { aclDestroyTensor(x1); } if (x2 != nullptr) { aclDestroyTensor(x2); } if (bias != nullptr) { aclDestroyTensor(bias); } if (x1Scale != nullptr) { aclDestroyTensor(x1Scale); } if (x2Scale != nullptr) { aclDestroyTensor(x2Scale); } if (out != nullptr) { aclDestroyTensor(out); } if (x1DeviceAddr != nullptr) { aclrtFree(x1DeviceAddr); } if (x2DeviceAddr != nullptr) { aclrtFree(x2DeviceAddr); } if (biasDeviceAddr != nullptr) { aclrtFree(biasDeviceAddr); } if (outDeviceAddr != nullptr) { aclrtFree(outDeviceAddr); } if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(args.stream); HcclCommDestroy(args.hcclComm); aclrtDestroyContext(args.context); aclrtResetDevice(args.rankId); return 0; } int main(int argc, char *argv[]) { // 本样例基于Atlas A2实现，必须在Atlas A2上运行 int ret; int32_t devices[ndev]; for (int i = 0; i < ndev; i++) { devices[i] = i; } HcclComm comms[128]; ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); // 初始化集合通信域 for (int i = 0; i < ndev; i++) { ret = aclrtSetDevice(devices[i]); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); } ret = HcclCommInitAll(ndev, devices, comms); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("HcclCommInitAll failed. ERROR: %d\n", ret); return ret); Args args[ndev]; aclrtStream stream[ndev]; aclrtContext context[ndev]; for (uint32_t rankId = 0; rankId < ndev; rankId++) { ret = aclrtSetDevice(rankId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(&context[rankId], rankId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(&stream[rankId]); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); } // 启动多线程 std::vector<std::unique_ptr<std::thread>> threads(ndev); for (uint32_t rankId = 0; rankId < ndev; rankId++) { args[rankId].rankId = rankId; args[rankId].hcclComm = comms[rankId]; args[rankId].stream = stream[rankId]; args[rankId].context = context[rankId]; threads[rankId].reset(new(std::nothrow) std::thread(&launchOneThreadQuantMatmulAlltoAll, std::ref(args[rankId]))); } for (uint32_t rankId = 0; rankId < ndev; rankId++) { threads[rankId]->join(); } aclFinalize(); return 0; } -
Ascend 950PR/Ascend 950DT：
#include <thread> #include <iostream> #include <string> #include <cstring> #include <vector> #include <acl/acl.h> #include <hccl/hccl.h> #include "aclnnop/aclnn_quant_matmul_allto_all.h" int ndev = 2; #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t> &shape) { int64_t shapeSize = 1; for (auto i: shape) { shapeSize *= i; } return shapeSize; } template<typename T> int CreateAclTensor(const std::vector<T> &hostData, const std::vector<int64_t> &shape, void **deviceAddr, aclDataType dataType, aclTensor **tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } struct Args { uint32_t rankId; HcclComm hcclComm; aclrtStream stream; aclrtContext context; }; int launchOneThreadQuantMatmulAlltoAll(Args &args) { int ret; ret = aclrtSetCurrentContext(args.context); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetCurrentContext failed. ERROR: %d\n", ret); return ret); char hcom_name[128]; ret = HcclGetCommName(args.hcclComm, hcom_name); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("[ERROR] HcclGetCommName failed. ret = %d \n", ret); return -1); LOG_PRINT("[INFO] rank %d hcom: %s stream: %p, context : %p\n", args.rankId, hcom_name, args.stream, args.context); std::vector<int64_t> x1Shape = {32, 64}; std::vector<int64_t> x2Shape = {64, 128}; std::vector<int64_t> biasShape = {128}; std::vector<int64_t> x1ScaleShape = {32}; std::vector<int64_t> x2ScaleShape = {128}; std::vector<int64_t> outShape = {32 * ndev, 128 / ndev}; void *x1DeviceAddr = nullptr; void *x2DeviceAddr = nullptr; void *biasDeviceAddr = nullptr; void *x1ScaleDeviceAddr = nullptr; void *x2ScaleDeviceAddr = nullptr; void *outDeviceAddr = nullptr; aclTensor *x1 = nullptr; aclTensor *x2 = nullptr; aclTensor *bias = nullptr; aclTensor *x1Scale = nullptr; aclTensor *x2Scale = nullptr; aclTensor *out = nullptr; int64_t x1QuantMode = 3; int64_t x2QuantMode = 2; int64_t commQuantMode = 0; int64_t commQuantDtype = -1; int64_t groupSize = 0; int64_t a2aAxes[2] = {-1, -2}; aclIntArray* alltoAllAxesOptional = aclCreateIntArray(a2aAxes, static_cast<uint64_t>(2)); uint64_t workspaceSize = 0; aclOpExecutor *executor; void *workspaceAddr = nullptr; long long x1ShapeSize = GetShapeSize(x1Shape); long long x2ShapeSize = GetShapeSize(x2Shape); long long biasShapeSize = GetShapeSize(biasShape); long long x1ScaleShapeSize = GetShapeSize(x1ScaleShape); long long x2ScaleShapeSize = GetShapeSize(x2ScaleShape); long long outShapeSize = GetShapeSize(outShape); std::vector<int16_t> x1HostData(x1ShapeSize, 1); std::vector<int16_t> x2HostData(x2ShapeSize, 1); std::vector<int16_t> biasHostData(biasShapeSize, 1); std::vector<int16_t> x1ScaleHostData(x1ShapeSize, 1); std::vector<int16_t> x2ScaleHostData(x2ShapeSize, 1); std::vector<int16_t> outHostData(outShapeSize, 0); // 创建 tensor ret = CreateAclTensor(x1HostData, x1Shape, &x1DeviceAddr, aclDataType::ACL_FLOAT8_E4M3FN, &x1); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(x2HostData, x2Shape, &x2DeviceAddr, aclDataType::ACL_FLOAT8_E4M3FN, &x2); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(biasHostData, biasShape, &biasDeviceAddr, aclDataType::ACL_FLOAT, &bias); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(x1ScaleHostData, x1ScaleShape, &x1ScaleDeviceAddr, aclDataType::ACL_FLOAT, &x1Scale); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(x2ScaleHostData, x2ScaleShape, &x2ScaleDeviceAddr, aclDataType::ACL_FLOAT, &x2Scale); CHECK_RET(ret == ACL_SUCCESS, return ret); ret = CreateAclTensor(outHostData, outShape, &outDeviceAddr, aclDataType::ACL_FLOAT16, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 调用第一段接口 ret = aclnnQuantMatmulAlltoAllGetWorkspaceSize(x1, x2, bias, x1Scale, x2Scale, nullptr, nullptr, nullptr, alltoAllAxesOptional, hcom_name, x1QuantMode, x2QuantMode, commQuantMode, commQuantDtype, groupSize, false, false, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnQuantMatmulAlltoAllGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } // 调用第二段接口 ret = aclnnQuantMatmulAlltoAll(workspaceAddr, workspaceSize, executor, args.stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnQuantMatmulAlltoAll failed. ERROR: %d\n", ret); return ret); //（固定写法）同步等待任务执行结束 ret = aclrtSynchronizeStreamWithTimeout(args.stream, 10000); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); LOG_PRINT("device%d aclnnQuantMatmulAlltoAll execute success \n", args.rankId); // 释放device资源，需要根据具体API的接口定义修改 if (x1 != nullptr) { aclDestroyTensor(x1); } if (x2 != nullptr) { aclDestroyTensor(x2); } if (bias != nullptr) { aclDestroyTensor(bias); } if (x1Scale != nullptr) { aclDestroyTensor(x1Scale); } if (x2Scale != nullptr) { aclDestroyTensor(x2Scale); } if (out != nullptr) { aclDestroyTensor(out); } if (x1DeviceAddr != nullptr) { aclrtFree(x1DeviceAddr); } if (x2DeviceAddr != nullptr) { aclrtFree(x2DeviceAddr); } if (biasDeviceAddr != nullptr) { aclrtFree(biasDeviceAddr); } if (outDeviceAddr != nullptr) { aclrtFree(outDeviceAddr); } if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(args.stream); HcclCommDestroy(args.hcclComm); aclrtDestroyContext(args.context); aclrtResetDevice(args.rankId); return 0; } int main(int argc, char *argv[]) { // 本样例基于<term>Ascend 950PR/Ascend 950DT</term>实现，必须在<term>Ascend 950PR/Ascend 950DT</term>上运行 int ret; int32_t devices[ndev]; for (int i = 0; i < ndev; i++) { devices[i] = i; } HcclComm comms[128]; ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); // 初始化集合通信域 for (int i = 0; i < ndev; i++) { ret = aclrtSetDevice(devices[i]); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); } ret = HcclCommInitAll(ndev, devices, comms); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("HcclCommInitAll failed. ERROR: %d\n", ret); return ret); Args args[ndev]; aclrtStream stream[ndev]; aclrtContext context[ndev]; for (uint32_t rankId = 0; rankId < ndev; rankId++) { ret = aclrtSetDevice(rankId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateContext(&context[rankId], rankId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateContext failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(&stream[rankId]); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); } // 启动多线程 std::vector<std::unique_ptr<std::thread>> threads(ndev); for (uint32_t rankId = 0; rankId < ndev; rankId++) { args[rankId].rankId = rankId; args[rankId].hcclComm = comms[rankId]; args[rankId].stream = stream[rankId]; args[rankId].context = context[rankId]; threads[rankId].reset(new(std::nothrow) std::thread(&launchOneThreadQuantMatmulAlltoAll, std::ref(args[rankId]))); } for (uint32_t rankId = 0; rankId < ndev; rankId++) { threads[rankId]->join(); } aclFinalize(); return 0; }