SetNextTaskStart
说明
本接口为试验接口，在后续版本中可能会调整或改进，不保证后续兼容性。请开发者在使用过程中关注后续版本更新。
产品支持情况
| 产品 | 是否支持 | 备注 |
|---|---|---|
| Ascend 950PR/Ascend 950DT | √ | 该接口生效 |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ | 该接口生效 |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ | 仅保证编译兼容，实际功能不生效。 |
| Atlas 200I/500 A2 推理产品 | √ | 仅保证编译兼容，实际功能不生效。 |
| Atlas 推理系列产品AI Core | √ | 仅保证编译兼容，实际功能不生效。 |
| Atlas 推理系列产品Vector Core | √ | 仅保证编译兼容，实际功能不生效。 |
| Atlas 训练系列产品 | √ | 仅保证编译兼容，实际功能不生效。 |
| Kirin X90 | √ | 仅保证编译兼容，实际功能不生效。 |
| Kirin 9030 | √ | 仅保证编译兼容，实际功能不生效。 |
功能说明
头文件路径为："basic_api/kernel_operator_common_intf.h"。
在SuperKernel的子Kernel中调用，调用后的指令可以和后续其他的子Kernel实现并行，提升整体性能。如图1所示，SuperKernel按序调用子Kernel，为保证子Kernel之间数据互不干扰，会在子Kernel间插入算子间同步进行保序，子KernelN-1调用该接口后，之后的指令会和后续子KernelN实现并行。
SuperKernel是一种算子的二进制融合技术，与源码融合不同，它聚焦于内核函数 (Kernel) 的二进制的调度方案，展开深度优化，于已编译的二进制代码基础上融合创建一个超级Kernel函数（SuperKernel），以调用子函数的方式调用多个其他内核函数，也就是子Kernel。相对于单算子下发，SuperKernel技术可以减少任务调度等待时间和调度开销，同时利用Task间隙资源进一步优化算子头开销。
开发者需要自行保证调用此接口后的指令不会与后序算子互相干扰而导致精度问题，推荐在整个算子最后一条搬运指令后调用此接口。
函数原型
-
该原型支持如下产品型号：
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品
Kirin X90
Kirin 9030
template<pipe_t AIV_PIPE = PIPE_MTE3, pipe_t AIC_PIPE = PIPE_FIX> __aicore__ inline void SetNextTaskStart()
-
该原型支持如下产品型号：
Atlas 推理系列产品AI Core
Atlas 推理系列产品Vector Core
Atlas 训练系列产品
template<pipe_t AIV_PIPE = PIPE_MTE3, pipe_t AIC_PIPE = PIPE_MTE3> __aicore__ inline void SetNextTaskStart()
参数说明
表 1 模板参数说明
| 参数名 | 描述 |
|---|---|
| AIV_PIPE | SetNextTaskStart之后运行的指令，如果位于AIV上的AIV_PIPE流水，可以与后序算子并行。AIV_PIPE的取值范围为PIPE_MTE2、PIPE_MTE3、PIPE_S、PIPE_V。 |
| AIC_PIPE | SetNextTaskStart之后运行的指令，如果位于AIC上的AIC_PIPE流水，可以与后序算子并行。AIC_PIPE的取值范围为PIPE_MTE1、PIPE_MTE2、PIPE_MTE3、PIPE_FIX、PIPE_M。 |
说明
不同的硬件架构，每一种硬件流水类型包含的具体流水会有所差异，流水类型详细介绍请参考硬件流水类型。
返回值说明
无
约束说明
- 该接口适用于TorchAir图模式开发场景，且需在启用SuperKernel特性后方可生效。具体内容请参考《Ascend Extension for PyTorch》中“Pytorch图模式使用(TorchAir) > max-autotune模式功能 > 图内标定SuperKernel范围”章节。
- 在算子运行过程中，需要保证此接口在每个核上都被调用，且每个核上仅被调用一次。
- 若子Kernel某个TilingKey分支调用了此接口，则开发者需要保证当前算子可能会运行的所有TilingKey均调用了此接口，否则会出现因同步指令数量不匹配而卡住的现象。
调用示例
AscendC::DataCopy(dstGlobal, dstLocal, TOTAL_LENGTH);
// 在最后一条搬运指令后调用，使之后的指令可与后续子kernel并行执行。
AscendC::SetNextTaskStart();
完整样例请参考TaskSync样例。