asc_sync_vec

产品支持情况

  • Ascend 950PR/Ascend 950DT:支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
  • Atlas 200I/500 A2 推理产品:不支持
  • Atlas 推理系列产品AI Core:不支持
  • Atlas 推理系列产品Vector Core:不支持
  • Atlas 训练系列产品:不支持

功能说明

头文件路径为:"c_api/sync/sync.h"。

无入参函数原型asc_sync_vec()接口已废弃,请使用asc_sync执行针对所有流水的同步操作。

针对PIPE_V执行同步操作。其作用是保证PIPE_V中前序指令(如矢量计算)全部完成后,PIPE_MTE2、PIPE_MTE3与PIPE_S的后续指令才能开始执行。

本接口为易用性接口,用于简化手工同步的编码。

函数原型

// 有入参函数原型
__aicore__ inline void asc_sync_vec(int id)

// 无入参函数原型
__aicore__ inline void asc_sync_vec()

参数说明

参数名 输入/输出 描述
id 输入 核内多流水同步的同步ID,取值范围为[0, 7],其含义与asc_sync_notify中id参数的event_t枚举值相同,各枚举取值请参考event_t枚举定义。

返回值说明

无

流水类型

PIPE_S

约束说明

  • 同步ID取值范围为[0, 7]。
  • 本接口只能在AIV中调用。

调用示例

本示例展示asc_sync_vec作为易用性接口的价值:PIPE_V上的矢量计算完成后,PIPE_MTE2上的搬入、PIPE_MTE3上的数据搬出以及PIPE_S上的标量处理都需要依赖该次计算。若手工同步,需分别对PIPE_MTE2、PIPE_MTE3与PIPE_S各执行一组asc_sync_notify与asc_sync_wait;而使用asc_sync_vec一次调用即可同时完成对PIPE_MTE2、PIPE_MTE3与PIPE_S的同步,减少手写代码量。示例中PIPE_MTE2到PIPE_V的依赖则使用asc_sync_notify与asc_sync_wait进行精准同步,以便与asc_sync_vec的易用性写法形成对比。

将代码保存为example.asc后,可通过bisheng命令编译运行,其中--npu-arch参数需根据实际产品型号指定对应的NPU架构,具体产品与NPU架构的映射关系请参考__NPU_ARCH__。

以Ascend 950PR/Ascend 950DT产品(对应NPU架构为dav-3510)为例,编译运行命令如下:

bisheng example.asc -o main --npu-arch=dav-3510 && ./main
#include <cstdint>
#include <iostream>
#include <vector>
#include "c_api/asc_simd.h"
#include "acl/acl.h"

namespace {

constexpr uint32_t ELEMENTS = 64;
constexpr uint32_t BYTES = ELEMENTS * sizeof(float);

__simd_vf__ inline void add_vf(__ubuf__ float* dst, __ubuf__ float* src0, __ubuf__ float* src1)
{
    vector_float dst_reg;
    vector_float src0_reg;
    vector_float src1_reg;
    uint32_t count = ELEMENTS;
    vector_bool mask = asc_update_mask_b32(count);
    asc_loadalign(src0_reg, src0);
    asc_loadalign(src1_reg, src1);
    asc_add(dst_reg, src0_reg, src1_reg, mask);
    asc_storealign(dst, dst_reg, mask);
}

__global__ __vector__ void asc_sync_vec_kernel(__gm__ float* dst0, __gm__ float* src0, __gm__ float* src1)
{
    asc_init();
    __ubuf__ float x[ELEMENTS], y[ELEMENTS], z[ELEMENTS];
    asc_copy_gm2ub_align(x, src0, BYTES);
    asc_copy_gm2ub_align(y, src1, BYTES);

    // PIPE_MTE2到PIPE_V的同步,需分别编写notify与wait。
    asc_sync_notify(PIPE_MTE2, PIPE_V, EVENT_ID0);
    asc_sync_wait(PIPE_MTE2, PIPE_V, EVENT_ID0);

    add_vf(z, x, y);

    // 一次asc_sync_vec同时完成对PIPE_MTE2、PIPE_MTE3与PIPE_S的同步,
    // 保证计算完成后,后续搬入、搬出与标量处理才执行。
    asc_sync_vec(0);

    asc_copy_ub2gm_align(dst0, z, BYTES);
}

} // namespace

int main()
{
    std::vector<float> src0(ELEMENTS), src1(ELEMENTS), dst0(ELEMENTS, 0.0f), golden0(ELEMENTS);
    for (uint32_t i = 0; i < ELEMENTS; ++i) {
        src0[i] = static_cast<float>(i) * 0.25f;
        src1[i] = static_cast<float>(ELEMENTS - i) * 0.5f;
        golden0[i] = src0[i] + src1[i];
    }

    aclInit(nullptr);
    aclrtSetDevice(0);
    float *src0_device = nullptr, *src1_device = nullptr, *dst0_device = nullptr;
    aclrtMalloc(reinterpret_cast<void**>(&src0_device), BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMalloc(reinterpret_cast<void**>(&src1_device), BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMalloc(reinterpret_cast<void**>(&dst0_device), BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMemcpy(src0_device, BYTES, src0.data(), BYTES, ACL_MEMCPY_HOST_TO_DEVICE);
    aclrtMemcpy(src1_device, BYTES, src1.data(), BYTES, ACL_MEMCPY_HOST_TO_DEVICE);
    asc_sync_vec_kernel<<<1, 0>>>(dst0_device, src0_device, src1_device);
    aclrtSynchronizeDevice();
    aclrtMemcpy(dst0.data(), BYTES, dst0_device, BYTES, ACL_MEMCPY_DEVICE_TO_HOST);
    const bool passed = dst0 == golden0;
    std::cout << (passed ? "[Success] asc_sync_vec passed." : "[Failed] asc_sync_vec failed.") << std::endl;
    aclrtFree(src0_device);
    aclrtFree(src1_device);
    aclrtFree(dst0_device);
    aclrtResetDevice(0);
    aclFinalize();
    return passed ? 0 : 1;
}