triton.language.where

1. 函数概述

简介:根据条件进行判断返回的是张量x还是y的值,条件为真时,返回x的值,否则返回y的值。

triton.language.where(condition, x, y, _semantic=None)

2. 规格

2.1 参数说明

参数名 类型 说明
condition tensor(bool) 张量数据
x tensor 张量数据
y tensor 张量数据
_semantic - 保留参数,暂不支持外部调用

返回值: out:输出张量的shape与输入x的shape相同

2.2 OP 规格

2.2.1 DataType 支持

int8 int16 int32 uint8 uint16 uint32 uint64 int64 fp16 fp32 fp64 bf16 bool
GPU
Ascend A2/A3 × × × ×

结论:Ascend 相比 GPU 缺失 uint、fp64 类型支持。

2.2.2 Shape 支持

支持维度范围
GPU 仅支持 1~5维 tensor
Ascend A2/A3 仅支持 1~5维 tensor

结论:在 Shape 方面,GPU 与 Ascend 平台无差异,均支持 1 至 5 维张量。

2.3 特殊限制说明

相对社区能力缺失且无法实现

Ascend 相比 GPU 缺失 uint、fp64 类型支持。

2.4 使用方法

以下示例根据条件 X < Y 逐元素选择:条件为真时取 X 的元素,否则取常量 1

@triton.jit
def fn_npu_(output_ptr, x_ptr, y_ptr, z_ptr,
            XB: tl.constexpr, YB: tl.constexpr, ZB: tl.constexpr,
            XNUMEL: tl.constexpr, YNUMEL: tl.constexpr, ZNUMEL: tl.constexpr):
    xoffs = tl.program_id(0) * XB
    yoffs = tl.program_id(1) * YB
    zoffs = tl.program_id(2) * ZB

    xidx = tl.arange(0, XB) + xoffs
    yidx = tl.arange(0, YB) + yoffs
    zidx = tl.arange(0, ZB) + zoffs

    idx = xidx[:, None, None] * YNUMEL * ZNUMEL + yidx[None, :, None] * ZNUMEL + zidx[None, None, :]

    X = tl.load(x_ptr + idx)
    Y = tl.load(y_ptr + idx)

    tmp2 = X < Y
    ret = tl.where(tmp2, X, 1)

    tl.store(output_ptr + idx, ret)

x = test_common.generate_tensor(shape, dtype).npu()
y = test_common.generate_tensor(shape, dtype).npu()