asc_sync_vec
产品支持情况
- Ascend 950PR/Ascend 950DT:支持
- Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
- Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
- Atlas 200I/500 A2 推理产品:不支持
- Atlas 推理系列产品AI Core:不支持
- Atlas 推理系列产品Vector Core:不支持
- Atlas 训练系列产品:不支持
功能说明
头文件路径为:"c_api/sync/sync.h"。
无入参函数原型asc_sync_vec()接口已废弃,请使用asc_sync执行针对所有流水的同步操作。
针对PIPE_V执行同步操作。其作用是保证PIPE_V中前序指令(如矢量计算)全部完成后,PIPE_MTE2、PIPE_MTE3与PIPE_S的后续指令才能开始执行。
本接口为易用性接口,用于简化手工同步的编码。
函数原型
// 有入参函数原型
__aicore__ inline void asc_sync_vec(int id)
// 无入参函数原型
__aicore__ inline void asc_sync_vec()
参数说明
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| id | 输入 | 核内多流水同步的同步ID,取值范围为[0, 7],其含义与asc_sync_notify中id参数的event_t枚举值相同,各枚举取值请参考event_t枚举定义。 |
返回值说明
无
流水类型
PIPE_S
约束说明
- 同步ID取值范围为[0, 7]。
- 本接口只能在AIV中调用。
调用示例
本示例展示asc_sync_vec作为易用性接口的价值:PIPE_V上的矢量计算完成后,PIPE_MTE2上的搬入、PIPE_MTE3上的数据搬出以及PIPE_S上的标量处理都需要依赖该次计算。若手工同步,需分别对PIPE_MTE2、PIPE_MTE3与PIPE_S各执行一组asc_sync_notify与asc_sync_wait;而使用asc_sync_vec一次调用即可同时完成对PIPE_MTE2、PIPE_MTE3与PIPE_S的同步,减少手写代码量。示例中PIPE_MTE2到PIPE_V的依赖则使用asc_sync_notify与asc_sync_wait进行精准同步,以便与asc_sync_vec的易用性写法形成对比。
将代码保存为example.asc后,可通过bisheng命令编译运行,其中--npu-arch参数需根据实际产品型号指定对应的NPU架构,具体产品与NPU架构的映射关系请参考__NPU_ARCH__。
以Ascend 950PR/Ascend 950DT产品(对应NPU架构为dav-3510)为例,编译运行命令如下:
bisheng example.asc -o main --npu-arch=dav-3510 && ./main
#include <cstdint>
#include <iostream>
#include <vector>
#include "c_api/asc_simd.h"
#include "acl/acl.h"
namespace {
constexpr uint32_t ELEMENTS = 64;
constexpr uint32_t BYTES = ELEMENTS * sizeof(float);
__simd_vf__ inline void add_vf(__ubuf__ float* dst, __ubuf__ float* src0, __ubuf__ float* src1)
{
vector_float dst_reg;
vector_float src0_reg;
vector_float src1_reg;
uint32_t count = ELEMENTS;
vector_bool mask = asc_update_mask_b32(count);
asc_loadalign(src0_reg, src0);
asc_loadalign(src1_reg, src1);
asc_add(dst_reg, src0_reg, src1_reg, mask);
asc_storealign(dst, dst_reg, mask);
}
__global__ __vector__ void asc_sync_vec_kernel(__gm__ float* dst0, __gm__ float* src0, __gm__ float* src1)
{
asc_init();
__ubuf__ float x[ELEMENTS], y[ELEMENTS], z[ELEMENTS];
asc_copy_gm2ub_align(x, src0, BYTES);
asc_copy_gm2ub_align(y, src1, BYTES);
// PIPE_MTE2到PIPE_V的同步,需分别编写notify与wait。
asc_sync_notify(PIPE_MTE2, PIPE_V, EVENT_ID0);
asc_sync_wait(PIPE_MTE2, PIPE_V, EVENT_ID0);
add_vf(z, x, y);
// 一次asc_sync_vec同时完成对PIPE_MTE2、PIPE_MTE3与PIPE_S的同步,
// 保证计算完成后,后续搬入、搬出与标量处理才执行。
asc_sync_vec(0);
asc_copy_ub2gm_align(dst0, z, BYTES);
}
} // namespace
int main()
{
std::vector<float> src0(ELEMENTS), src1(ELEMENTS), dst0(ELEMENTS, 0.0f), golden0(ELEMENTS);
for (uint32_t i = 0; i < ELEMENTS; ++i) {
src0[i] = static_cast<float>(i) * 0.25f;
src1[i] = static_cast<float>(ELEMENTS - i) * 0.5f;
golden0[i] = src0[i] + src1[i];
}
aclInit(nullptr);
aclrtSetDevice(0);
float *src0_device = nullptr, *src1_device = nullptr, *dst0_device = nullptr;
aclrtMalloc(reinterpret_cast<void**>(&src0_device), BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
aclrtMalloc(reinterpret_cast<void**>(&src1_device), BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
aclrtMalloc(reinterpret_cast<void**>(&dst0_device), BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
aclrtMemcpy(src0_device, BYTES, src0.data(), BYTES, ACL_MEMCPY_HOST_TO_DEVICE);
aclrtMemcpy(src1_device, BYTES, src1.data(), BYTES, ACL_MEMCPY_HOST_TO_DEVICE);
asc_sync_vec_kernel<<<1, 0>>>(dst0_device, src0_device, src1_device);
aclrtSynchronizeDevice();
aclrtMemcpy(dst0.data(), BYTES, dst0_device, BYTES, ACL_MEMCPY_DEVICE_TO_HOST);
const bool passed = dst0 == golden0;
std::cout << (passed ? "[Success] asc_sync_vec passed." : "[Failed] asc_sync_vec failed.") << std::endl;
aclrtFree(src0_device);
aclrtFree(src1_device);
aclrtFree(dst0_device);
aclrtResetDevice(0);
aclFinalize();
return passed ? 0 : 1;
}