55ed6e65创建于 10 天前历史提交

asc_atomic_min

产品支持情况

Ascend 950PR/Ascend 950DT：支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品：不支持

Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持

Atlas 200I/500 A2 推理产品：不支持

Atlas 推理系列产品AI Core：不支持
Atlas 推理系列产品Vector Core：不支持

Atlas 训练系列产品：不支持

功能说明

头文件路径为："simt_api/device_atomic_functions.h"（除half、half2、bfloat16_t、bfloat16x2_t类型之外的接口）、"simt_api/asc_fp16.h"（half和half2类型接口）、"simt_api/asc_bf16.h"（bfloat16_t和bfloat16x2_t类型接口）。

对Unified Buffer（UB）或Global Memory数据做原子求最小值操作，即将UB或Global Memory的数据与指定数据中的最小值赋值到UB或Global Memory地址中。

函数原型

inline int32_t asc_atomic_min(int32_t *address, int32_t val)

inline uint32_t asc_atomic_min(uint32_t *address, uint32_t val)

inline float asc_atomic_min(float *address, float val)

inline int64_t asc_atomic_min(int64_t *address, int64_t val)

inline uint64_t asc_atomic_min(uint64_t *address, uint64_t val)

inline half asc_atomic_min(half *address, half val)

inline bfloat16_t asc_atomic_min(bfloat16_t *address, bfloat16_t val)

inline half2 asc_atomic_min(half2 *address, half2 val)

inline bfloat16x2_t asc_atomic_min(bfloat16x2_t *address, bfloat16x2_t val)

参数说明

表1 参数说明

参数名	输入/输出	描述
address	输出	UB或Global Memory的地址。
val	输入	源操作数。

不同数据类型支持的内存范围说明如下：

表2 不同数据类型支持的内存范围

参数数据类型	支持的内存空间
int32_t、uint32_t、float、half、bfloat16_t、half2、bfloat16x2_t	UB、Global Memory
int64_t、uint64_t	Global Memory

返回值说明

UB或Global Memory上的初始数据。

注意，由于底层硬件约束，half和bfloat16_t类型的返回值不准确，禁止直接使用这些类型的返回值。half2和bfloat16x2_t类型不受此限制。

约束说明

原子操作保证对同一地址的读改写过程具有原子性，但不保证多个线程之间的执行顺序。对于依赖接口返回值判断线程先后顺序的场景，结果可能随线程调度变化而不同。
本接口的性能受以下因素影响，相关原理请参见原子操作机制。
- 内存空间：UB的访问路径比Global Memory短，通常具有更低的访问开销。当使用的数据类型支持UB（即int32_t、uint32_t、float、half、bfloat16_t、half2、bfloat16x2_t）时，建议优先在UB中完成原子操作。
- 返回值：是否使用返回值可能影响编译器生成的原子指令。各数据类型在不使用返回值时是否能生成更优指令的情况如下：
  
  数据类型不使用返回值时是否生成更优指令
  
  int32_t、uint32_t、float、half、bfloat16_t、half2、bfloat16x2_t 是
  
  int64_t、uint64_t 否
  
  业务场景允许时，建议不使用返回值。
- 地址分布：Global Memory原子操作经过L2 Cache处理，L2 Cache以512B Cache Line为缓存管理单位，每条Cache Line包含4个128B扇区（Sector），Global Memory原子操作以128B Sector为处理粒度。目标地址集中在同一个Sector内时，处理效率较低；目标地址分布在更多Sector内时，处理效率较高。因此，业务允许时，建议将原子操作的目标地址分散到更多Sector中。

数据类型	不使用返回值时是否生成更优指令
int32_t、uint32_t、float、half、bfloat16_t、half2、bfloat16x2_t	是
int64_t、uint64_t	否

调用示例

示例场景为：多个线程扫描延迟数组，使用asc_atomic_min()接口将全局最低延迟写入同一个结果地址。输入参数说明如下：

名称	说明
`latency`	每个元素表示一次请求的延迟值。
`min_latency`	Global Memory中的最小值结果，kernel启动前初始化为足够大的值。
`n`	延迟样本数量。

核心代码实现如下：

SIMT编程场景：

#include "simt_api/device_atomic_functions.h"

__global__ __launch_bounds__(256) void find_min_latency(uint32_t *min_latency,
                                                       uint32_t *latency,
                                                       uint32_t n)
{
    uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx >= n) {
        return;
    }

    asc_atomic_min(min_latency, latency[idx]);
}

SIMD与SIMT混合编程场景：

SIMD与SIMT混合编程场景，需要显式使用地址空间限定符表示地址空间：__gm__表示Global Memory内存空间，__ubuf__表示UB内存空间。

#include "simt_api/device_atomic_functions.h"

__simt_vf__ __launch_bounds__(1024) inline void find_min_latency(__gm__ uint32_t *min_latency,
                                                                __gm__ uint32_t *latency,
                                                                uint32_t n)
{
    uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx >= n) {
        return;
    }

    asc_atomic_min(min_latency, latency[idx]);
}

输出结果示例如下：

latency: 31, 20, 45
min_latency: 20 // 表明所有线程并发更新后得到最小值