Merged
docs: 按产品名称映射表统一产品名称(其余API及其他内容) #6574
docs: 按产品名称映射表统一产品名称(其余API及其他内容) #6574
Merged
munanhwAdd on Oct 8
Total: 146 files changed+463-673
@@ -5,12 +5,12 @@
5 5 
6| `npu` 值 | 产品名称 |6| `npu` 值 | 产品名称 |
7|---|---|7|---|---|
8-| `950` | Ascend 950PR/Ascend 950DT |8+| `950` | Ascend 950PR&950DT系列产品 |
9-| `A3` | Atlas A3 训练系列产品/Atlas A3 推理系列产品 |9+| `A3` | Atlas A3系列产品 |
10-| `910b` | Atlas A2 训练系列产品/Atlas A2 推理系列产品 |10+| `910b` | Atlas A2系列产品 |
11-| `310b` | Atlas 200I/500 A2 推理产品 |11+| `310b` | Atlas 200I/500 A2推理产品 |
12-| `310p` | Atlas 推理系列产品AI Core;Atlas 推理系列产品Vector Core |12+| `310p` | Atlas推理系列产品AI Core;Atlas推理系列产品Vector Core |
13-| `910` | Atlas 训练系列产品 |13+| `910` | Atlas训练系列产品 |
14| `x90` | Kirin X90 |14| `x90` | Kirin X90 |
15| `9030` | Kirin 9030 |15| `9030` | Kirin 9030 |
16 16 
@@ -18,7 +18,7 @@ API 内容页标签使用 HTML 注释:
18 18 
19```text19```text
20<!-- npu="950" id1 -->20<!-- npu="950" id1 -->
21-- Ascend 950PR/Ascend 950DT:支持21+- Ascend 950PR&950DT系列产品:支持
22<!-- end id1 -->22<!-- end id1 -->
23```23```
24 24 
@@ -47,7 +47,7 @@ description: Ascend NPU 架构知识技能。触发:当用户需要确认芯
47| 2002 | ASCEND310P | Atlas 推理系列 | Ascend310P1, Ascend310P3, Ascend610 |47| 2002 | ASCEND310P | Atlas 推理系列 | Ascend310P1, Ascend310P3, Ascend610 |
48| 2201 | ASCEND910B | Atlas A2 训练/推理系列 | Ascend910B1~B4, Ascend910B2C |48| 2201 | ASCEND910B | Atlas A2 训练/推理系列 | Ascend910B1~B4, Ascend910B2C |
49| 2201 | ASCEND910B | Atlas A3 训练/推理系列 | Ascend910_93 |49| 2201 | ASCEND910B | Atlas A3 训练/推理系列 | Ascend910_93 |
50-| 3002 | ASCEND310B | Atlas 200I/500 A2 推理产品 | Ascend310B1~B4 |50+| 3002 | ASCEND310B | Atlas 200I/500 A2推理产品 | Ascend310B1~B4 |
51| 3510 | ASCEND950 | Atlas A5 训练系列 | Ascend950DT |51| 3510 | ASCEND950 | Atlas A5 训练系列 | Ascend950DT |
52| 3510 | ASCEND950 | Atlas A5 推理系列 | Ascend950PR |52| 3510 | ASCEND950 | Atlas A5 推理系列 | Ascend950PR |
53 53 
@@ -153,7 +153,7 @@
153 153 
154| 产品范围 | 文档声明的支持 dtype |154| 产品范围 | 文档声明的支持 dtype |
155|---------|----------------------|155|---------|----------------------|
156-| Ascend 950PR / Ascend 950DT | `bool`, `int8_t`, `uint8_t`, `fp4x2_e2m1_t`, `fp4x2_e1m2_t`, `hifloat8_t`, `fp8_e5m2_t`, `fp8_e4m3fn_t`, `fp8_e8m0_t`, `int4x2_t`, `int16_t`, `uint16_t`, `half`, `bfloat16_t`, `int32_t`, `uint32_t`, `float`, `complex32`, `int64_t`, `uint64_t`, `double`, `complex64` |156+| Ascend 950PR&950DT系列产品 | `bool`, `int8_t`, `uint8_t`, `fp4x2_e2m1_t`, `fp4x2_e1m2_t`, `hifloat8_t`, `fp8_e5m2_t`, `fp8_e4m3fn_t`, `fp8_e8m0_t`, `int4x2_t`, `int16_t`, `uint16_t`, `half`, `bfloat16_t`, `int32_t`, `uint32_t`, `float`, `complex32`, `int64_t`, `uint64_t`, `double`, `complex64` |
157| Atlas A2 / A3 训练和推理系列 | `int8_t`, `uint8_t`, `int16_t`, `uint16_t`, `int32_t`, `uint32_t`, `int64_t`, `uint64_t`, `half`, `bfloat16_t`, `float`, `double` |157| Atlas A2 / A3 训练和推理系列 | `int8_t`, `uint8_t`, `int16_t`, `uint16_t`, `int32_t`, `uint32_t`, `int64_t`, `uint64_t`, `half`, `bfloat16_t`, `float`, `double` |
158 158 
159复数章节还声明 `complex32` / `complex64` 当前仅昇腾 910_95 AI 处理器支持;如果与产品支持表或本地代码存在差异,生成 UT 前必须以目标 API 和本地实现为准。159复数章节还声明 `complex32` / `complex64` 当前仅昇腾 910_95 AI 处理器支持;如果与产品支持表或本地代码存在差异,生成 UT 前必须以目标 API 和本地实现为准。
@@ -15,6 +15,6 @@
15 15 
161. “主要为 SIMD”表示当前公开 tuning 文档没有为 A2/A3 承诺 SIMT 或 VF 变体,不代表所有其他开发路径都没有相关能力。161. “主要为 SIMD”表示当前公开 tuning 文档没有为 A2/A3 承诺 SIMT 或 VF 变体,不代表所有其他开发路径都没有相关能力。
172. 目标架构未知时,先获取 `__NPU_ARCH__`/SoC 信息,再选择 API;不要用产品名称推断每个接口都支持。172. 目标架构未知时,先获取 `__NPU_ARCH__`/SoC 信息,再选择 API;不要用产品名称推断每个接口都支持。
18-3. `__trap` 的最新公开文档只列出 Ascend 950PR/950DT。即使头文件存在其他条件编译分支,也必须以目标版本公开文档为准。18+3. `__trap` 的最新公开文档只列出 Ascend 950PR&950DT系列产品。即使头文件存在其他条件编译分支,也必须以目标版本公开文档为准。
194. SIMD VF 的 reserved UBUF、FIFO 和编译选项限制需要单独检查,不能套用普通 SIMD 的容量结论。194. SIMD VF 的 reserved UBUF、FIFO 和编译选项限制需要单独检查,不能套用普通 SIMD 的容量结论。
205. API 支持不等于当前调用场景可运行;还要检查 CPU/NPU、直接调用/入图、编译模式和版本。205. API 支持不等于当前调用场景可运行;还要检查 CPU/NPU、直接调用/入图、编译模式和版本。
@@ -103,7 +103,7 @@
103 103 
104### 🚀 关键特性104### 🚀 关键特性
105 105 
106-基于Atlas A3 训练系列产品/Atlas A3推理系列产品、Atlas A2训练系列产品/Atlas A2推理系列产品全面开源开放,包含以下新特性:106+基于Atlas A3系列产品、Atlas A2系列产品全面开源开放,包含以下新特性:
107- 实现分仓分包,支持分包独立安装部署,包括Ascend C算子开发所需的核心仓asc-devkit、调试工具仓[asc-tools](https://gitcode.com/cann/asc-tools)、Vector算子模板库仓[atvc](https://gitcode.com/cann/atvc)和[atvoss](https://gitcode.com/cann/atvoss)、Python前端仓[pyasc](https://gitcode.com/cann/pyasc)。107- 实现分仓分包,支持分包独立安装部署,包括Ascend C算子开发所需的核心仓asc-devkit、调试工具仓[asc-tools](https://gitcode.com/cann/asc-tools)、Vector算子模板库仓[atvc](https://gitcode.com/cann/atvc)和[atvoss](https://gitcode.com/cann/atvoss)、Python前端仓[pyasc](https://gitcode.com/cann/pyasc)。
108- 编程API能力扩展108- 编程API能力扩展
109 - 新增语言扩展层C API,提供与业界相似的编程体验。109 - 新增语言扩展层C API,提供与业界相似的编程体验。
@@ -103,7 +103,7 @@ Release Date: 2026/01/23
103 103 
104### 🚀 Key Features104### 🚀 Key Features
105 105 
106-Based on Atlas A3 training series products/Atlas A3 inference series products, Atlas A2 training series products/Atlas A2 inference series products fully open source, including the following new features:106+Based on Atlas A3 products, Atlas A2 products fully open source, including the following new features:
107- Implemented repository separation and packaging, supporting independent installation and deployment of separate packages, including core repository asc-devkit for Ascend C operator development, debugging tool repository [asc-tools](https://gitcode.com/cann/asc-tools), Vector operator template library repository [atvc](https://gitcode.com/cann/atvc) and [atvoss](https://gitcode.com/cann/atvoss), Python frontend repository [pyasc](https://gitcode.com/cann/pyasc).107- Implemented repository separation and packaging, supporting independent installation and deployment of separate packages, including core repository asc-devkit for Ascend C operator development, debugging tool repository [asc-tools](https://gitcode.com/cann/asc-tools), Vector operator template library repository [atvc](https://gitcode.com/cann/atvc) and [atvoss](https://gitcode.com/cann/atvoss), Python frontend repository [pyasc](https://gitcode.com/cann/pyasc).
108- Programming API capability expansion108- Programming API capability expansion
109 - Added language extension layer C API, providing industry-similar programming experience.109 - Added language extension layer C API, providing industry-similar programming experience.
@@ -84,7 +84,7 @@ Ascend C采用分层架构设计,自下而上构建完整的算子开发技术
84 84 
85各层级能力定义与说明如下:85各层级能力定义与说明如下:
86- **语言扩展层(SIMT API)**:面向多线程并行场景的原生C语言编程接口,支持业界通用的SIMT编程模型,保障跨技术栈开发体验的一致性,支撑离散、不规则计算场景下的高性能算子开发。86- **语言扩展层(SIMT API)**:面向多线程并行场景的原生C语言编程接口,支持业界通用的SIMT编程模型,保障跨技术栈开发体验的一致性,支撑离散、不规则计算场景下的高性能算子开发。
87-- **语言扩展层(SIMD C API)**:基于SIMD向量化编程模型、面向极致性能调优的C语言级底层编程接口,原生支持数组式内存分配与指针式计算原语,具备指令级零封装开销的硬件访问能力。Ascend 950PR/Ascend 950DT架构新增SIMD/SIMT混合编程模式支持,可覆盖多形态并行计算场景。87+- **语言扩展层(SIMD C API)**:基于SIMD向量化编程模型、面向极致性能调优的C语言级底层编程接口,原生支持数组式内存分配与指针式计算原语,具备指令级零封装开销的硬件访问能力。Ascend 950PR&950DT系列产品架构新增SIMD/SIMT混合编程模式支持,可覆盖多形态并行计算场景。
88- **Tensor API**:面向高性能算子开发的C++ Tensor级核心编程接口。将内存布局(Layout)作为Tensor抽象的一等公民,原生支持携带Layout语义的Tensor对象;内置Layout代数运算能力,可自动化完成内存布局索引推导与布局变换管理,显著降低复杂内存排布场景的开发复杂度,提升代码可维护性与跨架构可移植性。88- **Tensor API**:面向高性能算子开发的C++ Tensor级核心编程接口。将内存布局(Layout)作为Tensor抽象的一等公民,原生支持携带Layout语义的Tensor对象;内置Layout代数运算能力,可自动化完成内存布局索引推导与布局变换管理,显著降低复杂内存排布场景的开发复杂度,提升代码可维护性与跨架构可移植性。
89- **基础API(Basic API)**:基于单指令抽象的C++类库接口,以无Layout约束的Tensor对象为核心提供基础编程能力;依托TPipe/TQue框架统一托管内存调度与执行同步,屏蔽底层硬件实现细节。89- **基础API(Basic API)**:基于单指令抽象的C++类库接口,以无Layout约束的Tensor对象为核心提供基础编程能力;依托TPipe/TQue框架统一托管内存调度与执行同步,屏蔽底层硬件实现细节。
90- **高阶API(Adv API)**:对单核通用计算算法进行标准化抽象封装,提供开箱即用的公共算法实现,屏蔽底层硬件指令细节,支撑算法快速验证与工程原型落地。90- **高阶API(Adv API)**:对单核通用计算算法进行标准化抽象封装,提供开箱即用的公共算法实现,屏蔽底层硬件指令细节,支撑算法快速验证与工程原型落地。
@@ -87,7 +87,7 @@ Ascend C adopts a layered architecture design, building a complete operator deve
87 87 
88The capability definition and description of each layer are as follows:88The capability definition and description of each layer are as follows:
89- **Language Extension Layer (SIMT API)**: Native C programming interface for multi-threaded parallel scenarios, supports industry-standard SIMT programming model, ensures consistent cross-technology development experience, and enables high-performance operator development in discrete and irregular computing scenarios.89- **Language Extension Layer (SIMT API)**: Native C programming interface for multi-threaded parallel scenarios, supports industry-standard SIMT programming model, ensures consistent cross-technology development experience, and enables high-performance operator development in discrete and irregular computing scenarios.
90-- **Language Extension Layer (SIMD C API)**: C-level underlying programming interface based on SIMD vectorized programming model for ultimate performance tuning, natively supports array-style memory allocation and pointer-based computing primitives, with instruction-level zero-encapsulation-overhead hardware access capability. Ascend 950PR/Ascend 950DT architecture adds support for SIMD/SIMT hybrid programming mode, covering multi-form parallel computing scenarios.90+- **Language Extension Layer (SIMD C API)**: C-level underlying programming interface based on SIMD vectorized programming model for ultimate performance tuning, natively supports array-style memory allocation and pointer-based computing primitives, with instruction-level zero-encapsulation-overhead hardware access capability. Ascend 950PR&950DT products architecture adds support for SIMD/SIMT hybrid programming mode, covering multi-form parallel computing scenarios.
91- **Tensor API**: Core C++ Tensor-level programming interface for high-performance operator development. Takes memory layout (Layout) as a first-class citizen of Tensor abstraction, natively supports Tensor objects carrying Layout semantics; built-in Layout algebra can automatically complete memory layout index derivation and layout transformation management, significantly reducing development complexity in complex memory layout scenarios, and improving code maintainability and cross-architecture portability.91- **Tensor API**: Core C++ Tensor-level programming interface for high-performance operator development. Takes memory layout (Layout) as a first-class citizen of Tensor abstraction, natively supports Tensor objects carrying Layout semantics; built-in Layout algebra can automatically complete memory layout index derivation and layout transformation management, significantly reducing development complexity in complex memory layout scenarios, and improving code maintainability and cross-architecture portability.
92- **Basic API**: C++ class library interface based on single-instruction abstraction, provides basic programming capability centered on Tensor objects without Layout constraints; relies on TPipe/TQue framework to uniformly manage memory scheduling and execution synchronization, shielding underlying hardware implementation details.92- **Basic API**: C++ class library interface based on single-instruction abstraction, provides basic programming capability centered on Tensor objects without Layout constraints; relies on TPipe/TQue framework to uniformly manage memory scheduling and execution synchronization, shielding underlying hardware implementation details.
93- **High-level API (Adv API)**: Standardized abstract encapsulation of single-core general computing algorithms, provides out-of-the-box public algorithm implementations, shields underlying hardware instruction details, and supports rapid algorithm verification and engineering prototype delivery.93- **High-level API (Adv API)**: Standardized abstract encapsulation of single-core general computing algorithms, provides out-of-the-box public algorithm implementations, shields underlying hardware instruction details, and supports rapid algorithm verification and engineering prototype delivery.
@@ -294,13 +294,13 @@ Some interfaces are Host interfaces that do not differentiate by product. In thi
294## Product Support294## Product Support
295 295 
296<!-- npu="950" id1 -->296<!-- npu="950" id1 -->
297-- Ascend 950PR/Ascend 950DT: Supported297+- Ascend 950PR&950DT products: Supported
298<!-- end id1 -->298<!-- end id1 -->
299<!-- npu="A3" id2 -->299<!-- npu="A3" id2 -->
300-- Atlas A3 Training Series Products/Atlas A3 Inference Series Products: Not supported300+- Atlas A3 products: Not supported
301<!-- end id2 -->301<!-- end id2 -->
302<!-- npu="910b" id3 -->302<!-- npu="910b" id3 -->
303-- Atlas A2 Training Series Products/Atlas A2 Inference Series Products: Not supported303+- Atlas A2 products: Not supported
304<!-- end id3 -->304<!-- end id3 -->
305<!-- npu="310b" id4 -->305<!-- npu="310b" id4 -->
306- Atlas 200I/500 A2 Inference Products: Not supported306- Atlas 200I/500 A2 Inference Products: Not supported
@@ -328,13 +328,13 @@ Some interfaces are Host interfaces that do not differentiate by product. In thi
328## Product Support328## Product Support
329 329 
330<!-- npu="950" id8 -->330<!-- npu="950" id8 -->
331-- Ascend 950PR/Ascend 950DT: Supported331+- Ascend 950PR&950DT products: Supported
332<!-- end id8 -->332<!-- end id8 -->
333<!-- npu="A3" id9 -->333<!-- npu="A3" id9 -->
334-- Atlas A3 Training Series Products/Atlas A3 Inference Series Products: Not supported334+- Atlas A3 products: Not supported
335<!-- end id9 -->335<!-- end id9 -->
336<!-- npu="910b" id10 -->336<!-- npu="910b" id10 -->
337-- Atlas A2 Training Series Products/Atlas A2 Inference Series Products: Not supported337+- Atlas A2 products: Not supported
338<!-- end id10 -->338<!-- end id10 -->
339<!-- npu="310b" id11 -->339<!-- npu="310b" id11 -->
340- Atlas 200I/500 A2 Inference Products: Not supported340- Atlas 200I/500 A2 Inference Products: Not supported
@@ -597,15 +597,15 @@ For scenarios with too many function prototypes, using only unordered lists woul
597- This prototype supports the following product models:597- This prototype supports the following product models:
598 598 
599 <!-- npu="950" id16 -->599 <!-- npu="950" id16 -->
600- Ascend 950PR/Ascend 950DT 600+ Ascend 950PR&950DT products
601 <!-- end id16 -->601 <!-- end id16 -->
602 602 
603 <!-- npu="A3" id17 -->603 <!-- npu="A3" id17 -->
604- Atlas A3 Training Series Products/Atlas A3 Inference Series Products 604+ Atlas A3 products
605 <!-- end id17 -->605 <!-- end id17 -->
606 606 
607 <!-- npu="910b" id18 -->607 <!-- npu="910b" id18 -->
608- Atlas A2 Training Series Products/Atlas A2 Inference Series Products 608+ Atlas A2 products
609 <!-- end id18 -->609 <!-- end id18 -->
610 610 
611 <!-- npu="310b" id19 -->611 <!-- npu="310b" id19 -->
@@ -788,7 +788,7 @@ Only lists the parameter units as 16 Bytes and 32 Bytes without the necessary pr
788 788 
789- When the inter-core synchronization mode is mode 0, 1, or 2, the supported value range is 0-15.789- When the inter-core synchronization mode is mode 0, 1, or 2, the supported value range is 0-15.
790<!-- npu="950" id26 -->790<!-- npu="950" id26 -->
791-- For Ascend 950PR/Ascend 950DT, when the inter-core synchronization mode is mode 4, the supported value range is as follows:791+- For Ascend 950PR&950DT products, when the inter-core synchronization mode is mode 4, the supported value range is as follows:
792 - CrossCoreSetFlag operations with flagId 0-10 initiated by AIV0 correspond to CrossCoreWaitFlag operations with flagId 0-10 on AIC.792 - CrossCoreSetFlag operations with flagId 0-10 initiated by AIV0 correspond to CrossCoreWaitFlag operations with flagId 0-10 on AIC.
793 - CrossCoreSetFlag operations with flagId 0-10 initiated by AIV1 correspond to CrossCoreWaitFlag operations with flagId 16-26 on AIC.793 - CrossCoreSetFlag operations with flagId 0-10 initiated by AIV1 correspond to CrossCoreWaitFlag operations with flagId 16-26 on AIC.
794 - CrossCoreSetFlag operations with flagId 0-10 initiated by AIC correspond to CrossCoreWaitFlag operations with flagId 0-10 on AIV0.794 - CrossCoreSetFlag operations with flagId 0-10 initiated by AIC correspond to CrossCoreWaitFlag operations with flagId 0-10 on AIV0.
@@ -1193,7 +1193,7 @@ Content customization refers to the ability to dynamically display different con
1193 1193 
1194```text1194```text
1195<!-- npu="950" id27 -->1195<!-- npu="950" id27 -->
1196-This interface supports counter mode on Ascend 950PR/Ascend 950DT.1196+This interface supports counter mode on Ascend 950PR&950DT products.
1197<!-- end id27 -->1197<!-- end id27 -->
1198```1198```
1199 1199 
@@ -143,8 +143,8 @@ The following comparison table does not provide recommendation conditions, preve
143| Programming model | Supported scope | Chip support |143| Programming model | Supported scope | Chip support |
144|----------|----------|----------|144|----------|----------|----------|
145| **SIMD (primary)** | Vector, matrix, and fused computation | All Ascend series |145| **SIMD (primary)** | Vector, matrix, and fused computation | All Ascend series |
146-| **SIMT (auxiliary)** | Vector computation only | Ascend 950PR/Ascend 950DT only |146+| **SIMT (auxiliary)** | Vector computation only | Ascend 950PR&950DT products only |
147-| **SIMD+SIMT hybrid** | Vector, matrix, and fused computation | Ascend 950PR/Ascend 950DT only |147+| **SIMD+SIMT hybrid** | Vector, matrix, and fused computation | Ascend 950PR&950DT products only |
148 148 
149**Association Layer**:149**Association Layer**:
150 150 
@@ -261,13 +261,13 @@ For details, see [C Programming Overview](../../../guide/programming_guide/progr
261### Prototype without config261### Prototype without config
262 262 
263<!-- npu="950" id1 -->263<!-- npu="950" id1 -->
264-- Ascend 950PR/Ascend 950DT: Not supported264+- Ascend 950PR&950DT products: Not supported
265<!-- end id1 -->265<!-- end id1 -->
266<!-- npu="A3" id2 -->266<!-- npu="A3" id2 -->
267-- Atlas A3 training series products/Atlas A3 inference series products: Supported267+- Atlas A3 products: Supported
268<!-- end id2 -->268<!-- end id2 -->
269<!-- npu="910b" id3 -->269<!-- npu="910b" id3 -->
270-- Atlas A2 training series products/Atlas A2 inference series products: Supported270+- Atlas A2 products: Supported
271<!-- end id3 -->271<!-- end id3 -->
272<!-- npu="310b" id4 -->272<!-- npu="310b" id4 -->
273- Atlas 200I/500 A2 inference products: Supported273- Atlas 200I/500 A2 inference products: Supported
@@ -291,13 +291,13 @@ For details, see [C Programming Overview](../../../guide/programming_guide/progr
291### Prototype with config291### Prototype with config
292 292 
293<!-- npu="950" id10 -->293<!-- npu="950" id10 -->
294-- Ascend 950PR/Ascend 950DT: Supported294+- Ascend 950PR&950DT products: Supported
295<!-- end id10 -->295<!-- end id10 -->
296<!-- npu="A3" id11 -->296<!-- npu="A3" id11 -->
297-- Atlas A3 training series products/Atlas A3 inference series products: Not supported297+- Atlas A3 products: Not supported
298<!-- end id11 -->298<!-- end id11 -->
299<!-- npu="910b" id12 -->299<!-- npu="910b" id12 -->
300-- Atlas A2 training series products/Atlas A2 inference series products: Not supported300+- Atlas A2 products: Not supported
301<!-- end id12 -->301<!-- end id12 -->
302<!-- npu="310b" id13 -->302<!-- npu="310b" id13 -->
303- Atlas 200I/500 A2 inference products: Not supported303- Atlas 200I/500 A2 inference products: Not supported
@@ -495,8 +495,8 @@ inQueueY.FreeTensor(yLocal);
495 495 
496<!-- npu="910b,A3" id19 -->496<!-- npu="910b,A3" id19 -->
497- For the following product models:497- For the following product models:
498- - Atlas A2 training series products/Atlas A2 inference series products498+ - Atlas A2 products
499- - Atlas A3 training series products/Atlas A3 inference series products499+ - Atlas A3 products
500 500 
501 In cross-device communication operator development scenarios, DataCopy interfaces support cross-device data transfers over HCCS physical links only; other paths are not supported. During development, developers must pay attention to the physical paths involved in inter-device communication. Run the `npu-smi info -t topo` command to query HCCS physical links.501 In cross-device communication operator development scenarios, DataCopy interfaces support cross-device data transfers over HCCS physical links only; other paths are not supported. During development, developers must pay attention to the physical paths involved in inter-device communication. Run the `npu-smi info -t topo` command to query HCCS physical links.
502<!-- end id19 -->502<!-- end id19 -->
@@ -686,15 +686,15 @@ The functional design described in this document determines what each type of co
686The source and destination operands must use the same data type. The Global Memory -> Unified Buffer and Unified Buffer -> Global Memory data paths support the same data types on the same product, as follows:686The source and destination operands must use the same data type. The Global Memory -> Unified Buffer and Unified Buffer -> Global Memory data paths support the same data types on the same product, as follows:
687 687 
688<!-- npu="950" id20 -->688<!-- npu="950" id20 -->
689-- Ascend 950PR/Ascend 950DT supports the following data types: b8, b16, b32, and b64.689+- Ascend 950PR&950DT products support the following data types: b8, b16, b32, and b64.
690<!-- end id20 -->690<!-- end id20 -->
691 691 
692<!-- npu="A3" id21 -->692<!-- npu="A3" id21 -->
693-- Atlas A3 training series products/Atlas A3 inference series products support the following data types: int8_t, uint8_t, int16_t, uint16_t, half, bfloat16_t, int32_t, uint32_t, float, int64_t, uint64_t, and double.693+- Atlas A3 products support the following data types: int8_t, uint8_t, int16_t, uint16_t, half, bfloat16_t, int32_t, uint32_t, float, int64_t, uint64_t, and double.
694<!-- end id21 -->694<!-- end id21 -->
695 695 
696<!-- npu="910b" id22 -->696<!-- npu="910b" id22 -->
697-- Atlas A2 training series products/Atlas A2 inference series products support the following data types: int8_t, uint8_t, int16_t, uint16_t, half, bfloat16_t, int32_t, uint32_t, float, int64_t, uint64_t, and double.697+- Atlas A2 products support the following data types: int8_t, uint8_t, int16_t, uint16_t, half, bfloat16_t, int32_t, uint32_t, float, int64_t, uint64_t, and double.
698<!-- end id22 -->698<!-- end id22 -->
699 699 
700<!-- npu="310b" id23 -->700<!-- npu="310b" id23 -->
@@ -735,8 +735,8 @@ None
735 735 
736<!-- npu="910b,A3" id29 -->736<!-- npu="910b,A3" id29 -->
737- For the following product models:737- For the following product models:
738- - Atlas A2 training series products/Atlas A2 inference series products738+ - Atlas A2 products
739- - Atlas A3 training series products/Atlas A3 inference series products739+ - Atlas A3 products
740 740 
741 In cross-device communication operator development scenarios, DataCopy interfaces support cross-device data transfers over HCCS physical links only; other paths are not supported. During development, developers must pay attention to the physical paths involved in inter-device communication. Run the `npu-smi info -t topo` command to query HCCS physical links.741 In cross-device communication operator development scenarios, DataCopy interfaces support cross-device data transfers over HCCS physical links only; other paths are not supported. During development, developers must pay attention to the physical paths involved in inter-device communication. Run the `npu-smi info -t topo` command to query HCCS physical links.
742<!-- end id29 -->742<!-- end id29 -->
@@ -946,10 +946,10 @@ Matrix fractal formats define the layout rules for multidimensional tensors in m
946>[!NOTE] Note946>[!NOTE] Note
947>This performance optimization recommendation applies to the following product models:947>This performance optimization recommendation applies to the following product models:
948><!-- npu="A3" id30 -->948><!-- npu="A3" id30 -->
949->- Atlas A3 Training Series products/Atlas A3 Inference Series products949+>- Atlas A3 products
950><!-- end id30 -->950><!-- end id30 -->
951><!-- npu="910b" id31 -->951><!-- npu="910b" id31 -->
952->- Atlas A2 Training Series products/Atlas A2 Inference Series products952+>- Atlas A2 products
953><!-- end id31 -->953><!-- end id31 -->
954```954```
955 955 
@@ -427,7 +427,7 @@ TEST_F(TestTiling, TestAxpyTiling)
427}427}
428```428```
429##### Modify cmake file429##### Modify cmake file
430-Before executing UT cases, modify the [CMakeLists.txt](../../../tests/api/adv_api/CMakeLists.txt) file. Since kernel function-side UTs and Tiling-side UTs have different test targets, add the test files to their respective targets. Using the kernel function-side UT for Atlas A2 training series products/Atlas A2 inference series products as an example, add the UT test file path to the case source file list `ASCENDC_TEST_ASCEND910B1_AIV_CASE_SRC_PART_FILES`, that is, add the new file path `${ASCENDC_TESTS_DIR}/math/axpy/test_operator_axpy.cpp`. For the Tiling-side UT, add the test file to the `ASCENDC_TILING_TEST_SRC_FILES` list.430+Before executing UT cases, modify the [CMakeLists.txt](../../../tests/api/adv_api/CMakeLists.txt) file. Since kernel function-side UTs and Tiling-side UTs have different test targets, add the test files to their respective targets. Using the kernel function-side UT for Atlas A2 products as an example, add the UT test file path to the case source file list `ASCENDC_TEST_ASCEND910B1_AIV_CASE_SRC_PART_FILES`, that is, add the new file path `${ASCENDC_TESTS_DIR}/math/axpy/test_operator_axpy.cpp`. For the Tiling-side UT, add the test file to the `ASCENDC_TILING_TEST_SRC_FILES` list.
431##### Execute UT431##### Execute UT
432- Execute all UT cases432- Execute all UT cases
433 433
@@ -108,8 +108,8 @@ The following lists some common architecture directories; for the complete list,
108 108 
109| Directory | `__NPU_ARCH__` value | Corresponding Products |109| Directory | `__NPU_ARCH__` value | Corresponding Products |
110|------|-------------------|---------|110|------|-------------------|---------|
111-| `dav_c220` | `2201` | Atlas A2 training series products / Atlas A2 inference series products, Atlas A3 training series products / Atlas A3 inference series products |111+| `dav_c220` | `2201` | Atlas A2 products, Atlas A3 products |
112-| `dav_3510` | `3510` | Ascend 950PR/Ascend 950DT |112+| `dav_3510` | `3510` | Ascend 950PR&950DT products |
113 113 
114> For the complete mapping between product models and `__NPU_ARCH__`, see the [**NPU_ARCH** documentation](../../zh/guide/programming_guide/language_extension/simd_builtin_keywords.md#npu-arch).114> For the complete mapping between product models and `__NPU_ARCH__`, see the [**NPU_ARCH** documentation](../../zh/guide/programming_guide/language_extension/simd_builtin_keywords.md#npu-arch).
115 115 
@@ -51,11 +51,11 @@
51 无参构造函数只支持如下产品型号:51 无参构造函数只支持如下产品型号:
52 52 
53 <!-- npu="910b" id1 -->53 <!-- npu="910b" id1 -->
54- Atlas A2训练系列产品/Atlas 800I A2推理产品54+ Atlas A2系列产品
55 <!-- end id1 -->55 <!-- end id1 -->
56 56 
57 <!-- npu="A3" id2 -->57 <!-- npu="A3" id2 -->
58- Atlas A3 训练系列产品58+ Atlas A3系列产品
59 <!-- end id2 -->59 <!-- end id2 -->
60<!-- end id3 -->60<!-- end id3 -->
61 61 
@@ -86,7 +86,7 @@ TopK提供了两种不同的排序算法,MERGE\_SORT算法和RADIX\_SELECT算
86 <!-- end id31 -->86 <!-- end id31 -->
87 87 
88 <!-- npu="310p" id32 -->88 <!-- npu="310p" id32 -->
89- Atlas 推理系列产品采用方式二。89+ Atlas推理系列产品采用方式二。
90 <!-- end id32 -->90 <!-- end id32 -->
91 91 
92 <!-- npu="x90" id3 -->92 <!-- npu="x90" id3 -->
@@ -116,7 +116,7 @@ TopK提供了两种不同的排序算法,MERGE\_SORT算法和RADIX\_SELECT算
116 <!-- end id35 -->116 <!-- end id35 -->
117 117 
118 <!-- npu="310p" id36 -->118 <!-- npu="310p" id36 -->
119- Atlas 推理系列产品采用方式二。119+ Atlas推理系列产品采用方式二。
120 <!-- end id36 -->120 <!-- end id36 -->
121 121 
122 <!-- npu="x90" id5 -->122 <!-- npu="x90" id5 -->
@@ -141,7 +141,7 @@ TopK提供了两种不同的排序算法,MERGE\_SORT算法和RADIX\_SELECT算
141 6. isLargest参数为false,则给数据乘以-1还原数据。141 6. isLargest参数为false,则给数据乘以-1还原数据。
142 142 
143 <!-- npu="310p" id41 -->143 <!-- npu="310p" id41 -->
144- 注意:Atlas 推理系列产品上使用ProposalConcat基础API将data和index组合起来后,再使用RpSort16基础API对数据排序;使用MrgSort4进行归并;使用ProposalExtract基础API提取data和index。144+ 注意:Atlas推理系列产品上使用ProposalConcat基础API将data和index组合起来后,再使用RpSort16基础API对数据排序;使用MrgSort4进行归并;使用ProposalExtract基础API提取data和index。
145 <!-- end id41 -->145 <!-- end id41 -->
146 146 
147 - 计算TopK SMALL模式,过程如下:147 - 计算TopK SMALL模式,过程如下:
@@ -161,7 +161,7 @@ TopK提供了两种不同的排序算法,MERGE\_SORT算法和RADIX\_SELECT算
161 <!-- end id39 -->161 <!-- end id39 -->
162 162 
163 <!-- npu="310p" id40 -->163 <!-- npu="310p" id40 -->
164- Atlas 推理系列产品采用方式二。164+ Atlas推理系列产品采用方式二。
165 <!-- end id40 -->165 <!-- end id40 -->
166 166 
167 <!-- npu="x90" id7 -->167 <!-- npu="x90" id7 -->
@@ -181,7 +181,7 @@ TopK提供了两种不同的排序算法,MERGE\_SORT算法和RADIX\_SELECT算
181 5. isLargest参数为false,则给输入数据乘以-1还原数据。181 5. isLargest参数为false,则给输入数据乘以-1还原数据。
182 182 
183 <!-- npu="310p" id42 -->183 <!-- npu="310p" id42 -->
184- 注意:Atlas 推理系列产品上使用ProposalConcat基础API将data和index组合起来后,再使用RpSort16基础API对数据排序;由于small模式下inner为32,RpSort16排序后为每16个数据有序,因此在步骤3和步骤4之间,使用MrgSort4基础API进行一次归并排序。184+ 注意:Atlas推理系列产品上使用ProposalConcat基础API将data和index组合起来后,再使用RpSort16基础API对数据排序;由于small模式下inner为32,RpSort16排序后为每16个数据有序,因此在步骤3和步骤4之间,使用MrgSort4基础API进行一次归并排序。
185 <!-- end id42 -->185 <!-- end id42 -->
186 186 
187- **RADIX\_SELECT算法**187- **RADIX\_SELECT算法**
@@ -171,7 +171,7 @@
171 - Atlas A2系列产品,支持KERNEL\_TYPE\_AIV\_ONLY、 KERNEL\_TYPE\_AIC\_ONLY、KERNEL\_TYPE\_MIX\_AIV\_1\_0、KERNEL\_TYPE\_MIX\_AIC\_1\_0、KERNEL\_TYPE\_MIX\_AIC\_1\_1、KERNEL\_TYPE\_MIX\_AIC\_1\_2。171 - Atlas A2系列产品,支持KERNEL\_TYPE\_AIV\_ONLY、 KERNEL\_TYPE\_AIC\_ONLY、KERNEL\_TYPE\_MIX\_AIV\_1\_0、KERNEL\_TYPE\_MIX\_AIC\_1\_0、KERNEL\_TYPE\_MIX\_AIC\_1\_1、KERNEL\_TYPE\_MIX\_AIC\_1\_2。
172 <!-- end id102 -->172 <!-- end id102 -->
173 <!-- npu="310p" id103 -->173 <!-- npu="310p" id103 -->
174- - Atlas 推理系列产品,支持KERNEL\_TYPE\_AICORE、KERNEL\_TYPE\_MIX\_VECTOR\_CORE。174+ - Atlas推理系列产品,支持KERNEL\_TYPE\_AICORE、KERNEL\_TYPE\_MIX\_VECTOR\_CORE。
175 <!-- end id103 -->175 <!-- end id103 -->
176 176 
177- **KERNEL\_TASK\_TYPE**优先级高于**KERNEL\_TASK\_TYPE\_DEFAULT**,同时设置了全局核函数(Kernel)类型和某一个tiling key的核函数(Kernel)类型,该tiling key的核函数(Kernel)类型以**KERNEL\_TASK\_TYPE**设置的为准。177- **KERNEL\_TASK\_TYPE**优先级高于**KERNEL\_TASK\_TYPE\_DEFAULT**,同时设置了全局核函数(Kernel)类型和某一个tiling key的核函数(Kernel)类型,该tiling key的核函数(Kernel)类型以**KERNEL\_TASK\_TYPE**设置的为准。
@@ -55,89 +55,20 @@ class ListTensorDesc {
55 55 
56**表1** 模板参数说明56**表1** 模板参数说明
57 57 
58-<a name="table13588175515344"></a>58+| 参数名 | 描述 |
59-<table><thead align="left"><tr id="row1160915519346"><th class="cellrowborder" valign="top" width="21.8%" id="mcps1.2.3.1.1"><p id="p9609105553412"><a name="p9609105553412"></a><a name="p9609105553412"></a>参数名</p>59+|---|---|
60-</th>60+| T | Tensor中元素的数据类型。 |
61-<th class="cellrowborder" valign="top" width="78.2%" id="mcps1.2.3.1.2"><p id="p156091955143419"><a name="p156091955143419"></a><a name="p156091955143419"></a>描述</p>
62-</th>
63-</tr>
64-</thead>
65-<tbody><tr id="row1545073919457"><td class="cellrowborder" valign="top" width="21.8%" headers="mcps1.2.3.1.1 "><p id="p1745103924512"><a name="p1745103924512"></a><a name="p1745103924512"></a>T</p>
66-</td>
67-<td class="cellrowborder" valign="top" width="78.2%" headers="mcps1.2.3.1.2 "><p id="p11700113714195"><a name="p11700113714195"></a><a name="p11700113714195"></a>Tensor中元素的数据类型。</p>
68-</td>
69-</tr>
70-</tbody>
71-</table>
72 61 
73**表2** 函数及参数说明62**表2** 函数及参数说明
74 63 
75-<a name="table153364918102"></a>64+| 函数名称 | 入参说明 | 含义 |
76-<table><thead align="left"><tr id="row7363209171013"><th class="cellrowborder" valign="top" width="22.58%" id="mcps1.2.4.1.1"><p id="p136399171010"><a name="p136399171010"></a><a name="p136399171010"></a><strong id="b137544519107"><a name="b137544519107"></a><a name="b137544519107"></a>函数名称</strong></p>65+|---|---|---|
77-</th>66+| ListTensorDesc | - | 默认构造函数,需配合Init函数使用。 |
78-<th class="cellrowborder" valign="top" width="32.879999999999995%" id="mcps1.2.4.1.2"><p id="p7363209141012"><a name="p7363209141012"></a><a name="p7363209141012"></a><strong id="b1767135119100"><a name="b1767135119100"></a><a name="b1767135119100"></a>入参说明</strong></p>67+| ListTensorDesc | data:待解析数据的首地址<br>length:待解析内存的长度<br>shapeSize:数据指针的个数<br>length和shapeSize仅用于校验,不填写时不进行校验 | ListTensorDesc类的构造函数,用于解析对应的内存排布。 |
79-</th>68+| Init | data:待解析数据的首地址<br>length:待解析内存的长度<br>shapeSize:数据指针的个数<br>length和shapeSize仅用于校验,不填写时不进行校验 | 初始化函数,用于解析对应的内存排布。 |
80-<th class="cellrowborder" valign="top" width="44.54%" id="mcps1.2.4.1.3"><p id="p736369161015"><a name="p736369161015"></a><a name="p736369161015"></a><strong id="b3770145112107"><a name="b3770145112107"></a><a name="b3770145112107"></a>含义</strong></p>69+| GetDesc | desc:出参,解析后的Tensor描述信息<br>index:索引值 | 根据index获得功能说明图中对应的TensorDesc信息。<br>使用GetDesc前需要先调用TensorDesc.SetShapeAddr为desc指定用于储存shape信息的地址,调用GetDesc后会将shape信息写入该地址。<br>Atlas推理系列产品AI Core支持该功能<br>Atlas训练系列产品不支持该功能<br>Atlas A2系列产品支持该功能<br>Atlas A3系列产品支持该功能<br>Atlas 200I/500 A2推理产品不支持该功能 |
81-</th>70+| GetDataPtr | index:索引值 | 根据index获取储存对应数据的地址。 |
82-</tr>71+| GetSize | - | 获取ListTensor中包含的数据指针的个数。 |
83-</thead>
84-<tbody><tr id="row8679452171114"><td class="cellrowborder" valign="top" width="22.58%" headers="mcps1.2.4.1.1 "><p id="p048812536114"><a name="p048812536114"></a><a name="p048812536114"></a>ListTensorDesc</p>
85-</td>
86-<td class="cellrowborder" valign="top" width="32.879999999999995%" headers="mcps1.2.4.1.2 "><p id="p20679185210116"><a name="p20679185210116"></a><a name="p20679185210116"></a>-</p>
87-</td>
88-<td class="cellrowborder" valign="top" width="44.54%" headers="mcps1.2.4.1.3 "><p id="p66799524117"><a name="p66799524117"></a><a name="p66799524117"></a>默认构造函数,需配合Init函数使用。</p>
89-</td>
90-</tr>
91-<tr id="row2036317913108"><td class="cellrowborder" valign="top" width="22.58%" headers="mcps1.2.4.1.1 "><p id="p836312981011"><a name="p836312981011"></a><a name="p836312981011"></a>ListTensorDesc</p>
92-</td>
93-<td class="cellrowborder" valign="top" width="32.879999999999995%" headers="mcps1.2.4.1.2 "><p id="p412513492010"><a name="p412513492010"></a><a name="p412513492010"></a>data:待解析数据的首地址</p>
94-<p id="p13363493109"><a name="p13363493109"></a><a name="p13363493109"></a>length:待解析内存的长度</p>
95-<p id="p133633981020"><a name="p133633981020"></a><a name="p133633981020"></a>shapeSize:数据指针的个数</p>
96-<p id="p5441241210"><a name="p5441241210"></a><a name="p5441241210"></a>length和shapeSize仅用于校验,不填写时不进行校验</p>
97-</td>
98-<td class="cellrowborder" valign="top" width="44.54%" headers="mcps1.2.4.1.3 "><p id="p736312951011"><a name="p736312951011"></a><a name="p736312951011"></a>ListTensorDesc类的构造函数,用于解析对应的内存排布。</p>
99-</td>
100-</tr>
101-<tr id="row18487145155715"><td class="cellrowborder" valign="top" width="22.58%" headers="mcps1.2.4.1.1 "><p id="p727005014572"><a name="p727005014572"></a><a name="p727005014572"></a>Init</p>
102-</td>
103-<td class="cellrowborder" valign="top" width="32.879999999999995%" headers="mcps1.2.4.1.2 "><p id="p337451113583"><a name="p337451113583"></a><a name="p337451113583"></a>data:待解析数据的首地址</p>
104-<p id="p637411135819"><a name="p637411135819"></a><a name="p637411135819"></a>length:待解析内存的长度</p>
105-<p id="p11374171114582"><a name="p11374171114582"></a><a name="p11374171114582"></a>shapeSize:数据指针的个数</p>
106-<p id="p10374131114583"><a name="p10374131114583"></a><a name="p10374131114583"></a>length和shapeSize仅用于校验,不填写时不进行校验</p>
107-</td>
108-<td class="cellrowborder" valign="top" width="44.54%" headers="mcps1.2.4.1.3 "><p id="p1848724515571"><a name="p1848724515571"></a><a name="p1848724515571"></a>初始化函数,用于解析对应的内存排布。</p>
109-</td>
110-</tr>
111-<tr id="row6363594108"><td class="cellrowborder" valign="top" width="22.58%" headers="mcps1.2.4.1.1 "><p id="p203647981019"><a name="p203647981019"></a><a name="p203647981019"></a>GetDesc</p>
112-</td>
113-<td class="cellrowborder" valign="top" width="32.879999999999995%" headers="mcps1.2.4.1.2 "><p id="p036429151011"><a name="p036429151011"></a><a name="p036429151011"></a>desc:出参,解析后的Tensor描述信息</p>
114-<p id="p1836410919102"><a name="p1836410919102"></a><a name="p1836410919102"></a>index:索引值</p>
115-</td>
116-<td class="cellrowborder" valign="top" width="44.54%" headers="mcps1.2.4.1.3 "><p id="p1364129101013"><a name="p1364129101013"></a><a name="p1364129101013"></a>根据index获得功能说明图中对应的TensorDesc信息。</p>
117-<p id="zh-cn_topic_0000001441184464_p4760716131514"><a name="zh-cn_topic_0000001441184464_p4760716131514"></a><a name="zh-cn_topic_0000001441184464_p4760716131514"></a>使用GetDesc前需要先调用TensorDesc.SetShapeAddr为desc指定用于储存shape信息的地址,调用GetDesc后会将shape信息写入该地址。</p>
118-<p id="p1163195320433"><a name="p1163195320433"></a><a name="p1163195320433"></a><span id="ph340755317588"><a name="ph340755317588"></a><a name="ph340755317588"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas 推理系列产品</term>AI Core</span>支持该功能</p>
119-<p id="p4601733194519"><a name="p4601733194519"></a><a name="p4601733194519"></a><span id="ph176033374518"><a name="ph176033374518"></a><a name="ph176033374518"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>不支持该功能</p>
120-<p id="p173433415610"><a name="p173433415610"></a><a name="p173433415610"></a><span id="ph113414344611"><a name="ph113414344611"></a><a name="ph113414344611"></a><term id="zh-cn_topic_0000001312391781_term11962195213215_1"><a name="zh-cn_topic_0000001312391781_term11962195213215_1"></a><a name="zh-cn_topic_0000001312391781_term11962195213215_1"></a>Atlas A2 训练系列产品</term>/<term id="zh-cn_topic_0000001312391781_term184716139811_1"><a name="zh-cn_topic_0000001312391781_term184716139811_1"></a><a name="zh-cn_topic_0000001312391781_term184716139811_1"></a>Atlas A2 推理系列产品</term></span>支持该功能</p>
121-<p id="p286194811518"><a name="p286194811518"></a><a name="p286194811518"></a><span id="ph14862134820150"><a name="ph14862134820150"></a><a name="ph14862134820150"></a><term id="zh-cn_topic_0000001312391781_term1253731311225_1"><a name="zh-cn_topic_0000001312391781_term1253731311225_1"></a><a name="zh-cn_topic_0000001312391781_term1253731311225_1"></a>Atlas A3 训练系列产品</term>/<term id="zh-cn_topic_0000001312391781_term131434243115_1"><a name="zh-cn_topic_0000001312391781_term131434243115_1"></a><a name="zh-cn_topic_0000001312391781_term131434243115_1"></a>Atlas A3 推理系列产品</term></span>支持该功能</p>
122-<p id="p830124417119"><a name="p830124417119"></a><a name="p830124417119"></a><span id="ph15301744513"><a name="ph15301744513"></a><a name="ph15301744513"></a><term id="zh-cn_topic_0000001312391781_term354143892110_1"><a name="zh-cn_topic_0000001312391781_term354143892110_1"></a><a name="zh-cn_topic_0000001312391781_term354143892110_1"></a>Atlas 200I/500 A2推理产品</term></span>不支持该功能</p>
123-</td>
124-</tr>
125-<tr id="row936499191010"><td class="cellrowborder" valign="top" width="22.58%" headers="mcps1.2.4.1.1 "><p id="p1636415981013"><a name="p1636415981013"></a><a name="p1636415981013"></a>GetDataPtr</p>
126-</td>
127-<td class="cellrowborder" valign="top" width="32.879999999999995%" headers="mcps1.2.4.1.2 "><p id="p93647921018"><a name="p93647921018"></a><a name="p93647921018"></a>index:索引值</p>
128-</td>
129-<td class="cellrowborder" valign="top" width="44.54%" headers="mcps1.2.4.1.3 "><p id="p4364996106"><a name="p4364996106"></a><a name="p4364996106"></a>根据index获取储存对应数据的地址。</p>
130-</td>
131-</tr>
132-<tr id="row1936417910103"><td class="cellrowborder" valign="top" width="22.58%" headers="mcps1.2.4.1.1 "><p id="p133641294106"><a name="p133641294106"></a><a name="p133641294106"></a>GetSize</p>
133-</td>
134-<td class="cellrowborder" valign="top" width="32.879999999999995%" headers="mcps1.2.4.1.2 "><p id="p636449101018"><a name="p636449101018"></a><a name="p636449101018"></a>-</p>
135-</td>
136-<td class="cellrowborder" valign="top" width="44.54%" headers="mcps1.2.4.1.3 "><p id="p2036420914106"><a name="p2036420914106"></a><a name="p2036420914106"></a>获取ListTensor中包含的数据指针的个数。</p>
137-</td>
138-</tr>
139-</tbody>
140-</table>
141 72 
142## 调用示例<a name="section1742652412511"></a>73## 调用示例<a name="section1742652412511"></a>
143 74 
@@ -15,10 +15,10 @@
15- Atlas训练系列产品:不支持15- Atlas训练系列产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="310b" id7 -->23<!-- npu="310b" id7 -->
24- Atlas 200I/500 A2推理产品:不支持24- Atlas 200I/500 A2推理产品:不支持
@@ -60,7 +60,7 @@
60<!-- end id8 -->60<!-- end id8 -->
61 61 
62<!-- npu="310p" id12 -->62<!-- npu="310p" id12 -->
63-- 针对Atlas 推理系列产品 AI Core,`len`不控制预取长度,预取长度固定为128Byte。63+- 针对Atlas推理系列产品AI Core,`len`不控制预取长度,预取长度固定为128Byte。
64<!-- end id12 -->64<!-- end id12 -->
65 65 
66## 返回值说明66## 返回值说明
@@ -4,7 +4,7 @@
4 4 
5## MX系数矩阵<a name="zh-cn_topic_0000002563445163_section648585413300"></a>5## MX系数矩阵<a name="zh-cn_topic_0000002563445163_section648585413300"></a>
6 6 
7-针对Ascend 950PR&950DT系列产品产品:7+针对Ascend 950PR&950DT系列产品:
8 8 
9浮点数在科学计算、图像处理、神经网络等领域应用广泛。以AI训练为例,现有的浮点数格式或数值范围不足,或精度不高,这影响了模型的收敛速度和性能。如果要同时满足数值范围和精度的要求,将会导致内存占用过大,从而增加数据存储和传输的成本。基于此种情况,业内提出了一种新的浮点数格式——微缩放(Microscaling,MX)格式。MX格式的浮点数可以支持更低比特位宽的AI训练和推理,并且占用的内存更少。符合MX标准的数据格式在使用8位或更低比特位的情况下,能够实现稳健的AI训练和推理模型精度。9浮点数在科学计算、图像处理、神经网络等领域应用广泛。以AI训练为例,现有的浮点数格式或数值范围不足,或精度不高,这影响了模型的收敛速度和性能。如果要同时满足数值范围和精度的要求,将会导致内存占用过大,从而增加数据存储和传输的成本。基于此种情况,业内提出了一种新的浮点数格式——微缩放(Microscaling,MX)格式。MX格式的浮点数可以支持更低比特位宽的AI训练和推理,并且占用的内存更少。符合MX标准的数据格式在使用8位或更低比特位的情况下,能够实现稳健的AI训练和推理模型精度。
10 10 
@@ -75,7 +75,7 @@ MXMmad为带有量化系数X的矩阵乘法,即左矩阵和右矩阵均有对
75 75 
76## 4选2稀疏索引矩阵<a name="zh-cn_topic_0000002563445163_section1873692415233"></a>76## 4选2稀疏索引矩阵<a name="zh-cn_topic_0000002563445163_section1873692415233"></a>
77 77 
78-针对Atlas A2训练系列产品/Atlas A2推理系列产品和Atlas A3训练系列产品/Atlas A3推理系列产品:78+针对Atlas A2系列产品和Atlas A3系列产品:
79 79 
80- 定义:原始B矩阵稠密化过程中生成的索引矩阵。假设原始B矩阵每4个元素有至少2个零元素,稠密化的B矩阵是过滤掉2个零的稠密矩阵。80- 定义:原始B矩阵稠密化过程中生成的索引矩阵。假设原始B矩阵每4个元素有至少2个零元素,稠密化的B矩阵是过滤掉2个零的稠密矩阵。
81- 场景:通常存在于Global Memory(GM)中。在进行sparse矩阵运算前,通常需要离线生成并将其转换为大Z小n格式(Zn)以适配Cube单元。81- 场景:通常存在于Global Memory(GM)中。在进行sparse矩阵运算前,通常需要离线生成并将其转换为大Z小n格式(Zn)以适配Cube单元。
@@ -8,16 +8,16 @@
8- Zz × Zn = Nz(A × B = C)组合 8- Zz × Zn = Nz(A × B = C)组合
9 矩阵乘法A × B = C要求:左矩阵A使用Zz格式,右矩阵B使用Zn格式,结果矩阵C使用Nz格式,如图1所示。这种分形格式组合适用于:9 矩阵乘法A × B = C要求:左矩阵A使用Zz格式,右矩阵B使用Zn格式,结果矩阵C使用Nz格式,如图1所示。这种分形格式组合适用于:
10 <!-- npu="910b" id2 -->10 <!-- npu="910b" id2 -->
11- - Atlas A2训练系列产品/Atlas A2推理系列产品11+ - Atlas A2系列产品
12 <!-- end id2 -->12 <!-- end id2 -->
13 <!-- npu="A3" id3 -->13 <!-- npu="A3" id3 -->
14- - Atlas A3训练系列产品/Atlas A3推理系列产品14+ - Atlas A3系列产品
15 <!-- end id3 -->15 <!-- end id3 -->
16 <!-- npu="310b" id4 -->16 <!-- npu="310b" id4 -->
17 - Atlas 200I/500 A2推理产品17 - Atlas 200I/500 A2推理产品
18 <!-- end id4 -->18 <!-- end id4 -->
19 <!-- npu="310p" id5 -->19 <!-- npu="310p" id5 -->
20- - Atlas 推理系列产品20+ - Atlas推理系列产品
21 <!-- end id5 -->21 <!-- end id5 -->
22 <!-- npu="910" id6 -->22 <!-- npu="910" id6 -->
23 - Atlas训练系列产品23 - Atlas训练系列产品
@@ -35,7 +35,7 @@
35 35 
36头文件路径为:`"basic_api/kernel_operator_mm_intf.h"`。36头文件路径为:`"basic_api/kernel_operator_mm_intf.h"`。
37 37 
38-本接口本质上实现功能和[LoadData(卷积数据搬运)](./LoadData_3D.md)接口一致,用于将NC1HWC0格式的Feature Map完成Image to Column展开,然后再从展开后的二维矩阵中选取指定数据块搬入对应内存位置。与LoadData(卷积数据搬运)接口的差异在于,本接口仅支持Ascend 950PR&950DT系列产品产品,支持配置输出矩阵K轴方向偏移量dstStride的能力且必须配置该参数,调用之前必须使用辅助配置接口[SetLoadDataRepeatWithStride](../cube_load_aux_config/SetLoadDataRepeatWithStride.md)配置dstStride参数。此外,相比于LoadData(卷积数据搬运),本接口内部不包含针对其他芯片版本的兼容性实现,减少了兼容造成的额外开销,性能表现有所优化。38+本接口本质上实现功能和[LoadData(卷积数据搬运)](./LoadData_3D.md)接口一致,用于将NC1HWC0格式的Feature Map完成Image to Column展开,然后再从展开后的二维矩阵中选取指定数据块搬入对应内存位置。与LoadData(卷积数据搬运)接口的差异在于,本接口仅支持Ascend 950PR&950DT系列产品,支持配置输出矩阵K轴方向偏移量dstStride的能力且必须配置该参数,调用之前必须使用辅助配置接口[SetLoadDataRepeatWithStride](../cube_load_aux_config/SetLoadDataRepeatWithStride.md)配置dstStride参数。此外,相比于LoadData(卷积数据搬运),本接口内部不包含针对其他芯片版本的兼容性实现,减少了兼容造成的额外开销,性能表现有所优化。
39 39 
40LoadDataWithStride支持的数据通路为:L1 Buffer->L0A Buffer、L1 Buffer->L0B Buffer。40LoadDataWithStride支持的数据通路为:L1 Buffer->L0A Buffer、L1 Buffer->L0B Buffer。
41 41 
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -80,7 +80,7 @@ __aicore__ inline void LoadData(const LocalTensor<T>& dst, const LocalTensor<T>&
80| srcStride | 以M×K矩阵为例,源矩阵K方向前一个分形起始地址与后一个分形起始地址的间隔,单位:512字节。 |80| srcStride | 以M×K矩阵为例,源矩阵K方向前一个分形起始地址与后一个分形起始地址的间隔,单位:512字节。 |
81| dstStride | 以M×K矩阵为例,目标矩阵K方向前一个分形起始地址与后一个分形起始地址的间隔,单位:512字节。 |81| dstStride | 以M×K矩阵为例,目标矩阵K方向前一个分形起始地址与后一个分形起始地址的间隔,单位:512字节。 |
82| ifTranspose | 是否启用转置功能,对每个分形矩阵进行转置,默认为false:<br>&nbsp;&nbsp;&bull; true:启用<br>&nbsp;&nbsp;&bull; false:不启用<br>注意:只有L1 Buffer(TPosition: A1)->L0A Buffer(TPosition: A2)和L1 Buffer(TPosition: B1)->L0B Buffer(TPosition: B2)通路才能开启转置。开启转置功能时,支持b4、b8、b16、b32数据类型。 |82| ifTranspose | 是否启用转置功能,对每个分形矩阵进行转置,默认为false:<br>&nbsp;&nbsp;&bull; true:启用<br>&nbsp;&nbsp;&bull; false:不启用<br>注意:只有L1 Buffer(TPosition: A1)->L0A Buffer(TPosition: A2)和L1 Buffer(TPosition: B1)->L0B Buffer(TPosition: B2)通路才能开启转置。开启转置功能时,支持b4、b8、b16、b32数据类型。 |
83-| sid | 预留参数,配置为0即可。<br>注:兼容旧款产品接口传入,Ascend 950PR&950DT系列产品产品不做处理。 |83+| sid | 预留参数,配置为0即可。<br>注:兼容旧款产品接口传入,Ascend 950PR&950DT系列产品不做处理。 |
84 84 
85LoadData2DParamsV2结构体在不启用转置时,示意图如下,参数设置值和解释说明如下:85LoadData2DParamsV2结构体在不启用转置时,示意图如下,参数设置值和解释说明如下:
86 86 
@@ -229,7 +229,7 @@ __aicore__ inline void LoadData(const LocalTensor<T>& dst, const LocalTensor<T>&
229<!-- end id27 -->229<!-- end id27 -->
230 230 
231<!-- npu="x90" id28 -->231<!-- npu="x90" id28 -->
232-- Kirin X90处理器系列产品产品:232+- Kirin X90处理器系列产品:
233 - TPosition为A1/A2时,支持数据类型为:int8_t、half。233 - TPosition为A1/A2时,支持数据类型为:int8_t、half。
234 - TPosition为B1/B2时,支持数据类型为:int8_t、half。234 - TPosition为B1/B2时,支持数据类型为:int8_t、half。
235<!-- end id28 -->235<!-- end id28 -->
@@ -33,7 +33,7 @@ LoadDataWithSparse主要用于搬运以512Byte为单位存放的稠密权重矩
33 33
34<!-- npu="910b,A3" id2 -->34<!-- npu="910b,A3" id2 -->
35 35 
36-### 针对Atlas A2训练系列产品/Atlas A2推理系列产品和Atlas A3训练系列产品/Atlas A3推理系列产品36+### 针对Atlas A2系列产品和Atlas A3系列产品
37 37 
38常用分形支持情况如下,供开发者参考:38常用分形支持情况如下,供开发者参考:
39 39 
@@ -230,7 +230,7 @@ LoadData(MX矩阵搬运)在搬运左右矩阵的时候,在不使能转置
230## 数据类型约束230## 数据类型约束
231 231 
232<!-- npu="910b,A3" id4 -->232<!-- npu="910b,A3" id4 -->
233-针对Atlas A2训练系列产品/Atlas A2推理系列产品和Atlas A3训练系列产品/Atlas A3推理系列产品,数据类型约束如表3所示:233+针对Atlas A2系列产品和Atlas A3系列产品,数据类型约束如表3所示:
234 234 
235**表3** 数据类型约束235**表3** 数据类型约束
236 236 
@@ -278,7 +278,7 @@ LoadData(MX矩阵搬运)在搬运左右矩阵的时候,在不使能转置
278<!-- npu="910b,A3" id7 -->278<!-- npu="910b,A3" id7 -->
279结合上述数据类型与分形等约束条件,我们对数据搬入接口的使用场景进行了归纳总结,现提供如下,供开发者参考。279结合上述数据类型与分形等约束条件,我们对数据搬入接口的使用场景进行了归纳总结,现提供如下,供开发者参考。
280 280 
281-针对Atlas A2训练系列产品/Atlas A2推理系列产品和Atlas A3训练系列产品/Atlas A3推理系列产品,**从L1 Buffer->L0A Buffer/L0B Buffer通路,常用的搬运指令有LoadData(2D矩阵搬运)、LoadDataWithTranspose和LoadData(卷积数据搬运),可以调用指令总结如表5所示:**281+针对Atlas A2系列产品和Atlas A3系列产品,**从L1 Buffer->L0A Buffer/L0B Buffer通路,常用的搬运指令有LoadData(2D矩阵搬运)、LoadDataWithTranspose和LoadData(卷积数据搬运),可以调用指令总结如表5所示:**
282 282 
283**表5** L1 Buffer->L0A Buffer/L0B Buffer通路调用指令总结283**表5** L1 Buffer->L0A Buffer/L0B Buffer通路调用指令总结
284 284 
@@ -81,7 +81,7 @@
81<!-- end id_l12l0_950note -->81<!-- end id_l12l0_950note -->
82 82 
83<!-- npu="910b,A3" id3 -->83<!-- npu="910b,A3" id3 -->
84-针对Atlas A2训练系列产品/Atlas A2推理系列产品和Atlas A3训练系列产品/Atlas A3推理系列产品,支持L1 Buffer->L0B Buffer如下接口,请开发者参考表6。84+针对Atlas A2系列产品和Atlas A3系列产品,支持L1 Buffer->L0B Buffer如下接口,请开发者参考表6。
85 85 
86**表6** **L1 Buffer->L0B Buffer接口**86**表6** **L1 Buffer->L0B Buffer接口**
87 87 
@@ -84,8 +84,8 @@ __aicore__ inline void Fill(const LocalTensor<T>& dst, const InitConstValueParam
84 84 
85<!-- npu="910" id10 -->Atlas训练系列产品,支持的数据类型为:half。<!-- end id10 --><br>85<!-- npu="910" id10 -->Atlas训练系列产品,支持的数据类型为:half。<!-- end id10 --><br>
86<!-- npu="310p" id11 -->Atlas推理系列产品AI Core,支持的数据类型为:int16_t、uint16_t、half。<!-- end id11 --><br>86<!-- npu="310p" id11 -->Atlas推理系列产品AI Core,支持的数据类型为:int16_t、uint16_t、half。<!-- end id11 --><br>
87-<!-- npu="910b" id12 -->Atlas A2训练系列产品/Atlas A2推理系列产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id12 --><br>87+<!-- npu="910b" id12 -->Atlas A2系列产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id12 --><br>
88-<!-- npu="A3" id13 -->Atlas A3训练系列产品/Atlas A3推理系列产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id13 --><br>88+<!-- npu="A3" id13 -->Atlas A3系列产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id13 --><br>
89<!-- npu="310b" id14 -->Atlas 200I/500 A2推理产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id14 --><br>89<!-- npu="310b" id14 -->Atlas 200I/500 A2推理产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id14 --><br>
90<!-- npu="950" id15 -->Ascend 950PR&950DT系列产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id15 --><br>90<!-- npu="950" id15 -->Ascend 950PR&950DT系列产品,支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id15 --><br>
91<!-- npu="x90" id16 -->Kirin X90处理器系列产品,支持的数据类型为:int8_t、half。<!-- end id16 --><br>91<!-- npu="x90" id16 -->Kirin X90处理器系列产品,支持的数据类型为:int8_t、half。<!-- end id16 --><br>
@@ -64,8 +64,8 @@ __aicore__ inline void LoadImageToLocal(const LocalTensor<T>& dst, const LoadIma
64## 数据类型64## 数据类型
65 65 
66<!-- npu="950" id8 -->Ascend 950PR&950DT系列产品,支持的数据类型为:int8_t、uint8_t、half。<!-- end id8 --><br>66<!-- npu="950" id8 -->Ascend 950PR&950DT系列产品,支持的数据类型为:int8_t、uint8_t、half。<!-- end id8 --><br>
67-<!-- npu="A3" id9 -->Atlas A3训练系列产品/Atlas A3推理系列产品,支持数据类型:int8_t、half。<!-- end id9 --><br>67+<!-- npu="A3" id9 -->Atlas A3系列产品,支持数据类型:int8_t、half。<!-- end id9 --><br>
68-<!-- npu="910b" id10 -->Atlas A2训练系列产品/Atlas A2推理系列产品,支持数据类型:int8_t、half。<!-- end id10 --><br>68+<!-- npu="910b" id10 -->Atlas A2系列产品,支持数据类型:int8_t、half。<!-- end id10 --><br>
69<!-- npu="310b" id11 -->Atlas 200I/500 A2推理产品,支持数据类型为:int8_t、uint8_t、half。<!-- end id11 --><br>69<!-- npu="310b" id11 -->Atlas 200I/500 A2推理产品,支持数据类型为:int8_t、uint8_t、half。<!-- end id11 --><br>
70<!-- npu="310p" id12 -->Atlas推理系列产品AI Core,支持的数据类型为:int8_t、uint8_t、half。<!-- end id12 -->70<!-- npu="310p" id12 -->Atlas推理系列产品AI Core,支持的数据类型为:int8_t、uint8_t、half。<!-- end id12 -->
71 71 
@@ -56,8 +56,8 @@ __aicore__ inline void SetLoadDataPaddingValue(const T padValue)
56 56 
57<!-- npu="950" id10 -->Ascend 950PR&950DT系列产品,支持数据类型为:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id10 --><br>57<!-- npu="950" id10 -->Ascend 950PR&950DT系列产品,支持数据类型为:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id10 --><br>
58<!-- npu="310p" id11 -->Atlas推理系列产品AI Core,支持的数据类型为:int8_t、uint8_t、int16_t、uint16_t、half。<!-- end id11 --><br>58<!-- npu="310p" id11 -->Atlas推理系列产品AI Core,支持的数据类型为:int8_t、uint8_t、int16_t、uint16_t、half。<!-- end id11 --><br>
59-<!-- npu="910b" id12 -->Atlas A2训练系列产品/Atlas A2推理系列产品,支持数据类型:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id12 --><br>59+<!-- npu="910b" id12 -->Atlas A2系列产品,支持数据类型:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id12 --><br>
60-<!-- npu="A3" id13 -->Atlas A3训练系列产品/Atlas A3推理系列产品,支持数据类型:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id13 --><br>60+<!-- npu="A3" id13 -->Atlas A3系列产品,支持数据类型:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id13 --><br>
61<!-- npu="310b" id14 -->Atlas 200I/500 A2推理产品,支持数据类型:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id14 --><br>61<!-- npu="310b" id14 -->Atlas 200I/500 A2推理产品,支持数据类型:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。<!-- end id14 --><br>
62<!-- npu="x90" id15 -->Kirin X90处理器系列产品,支持数据类型:int8_t、half。<!-- end id15 --><br>62<!-- npu="x90" id15 -->Kirin X90处理器系列产品,支持数据类型:int8_t、half。<!-- end id15 --><br>
63<!-- npu="9030" id16 -->Kirin 9030处理器系列产品,支持数据类型:half。<!-- end id16 -->63<!-- npu="9030" id16 -->Kirin 9030处理器系列产品,支持数据类型:half。<!-- end id16 -->
@@ -21,7 +21,7 @@ VREQ8, // Vector_ReQuant_int8:int32_t重量化成int8_t/uint8_
21```21```
22 22 
23<!-- npu="950" id1 -->23<!-- npu="950" id1 -->
24-除上述量化模式外,Ascend 950PR&950DT系列产品产品还额外支持以下量化模式:24+除上述量化模式外,Ascend 950PR&950DT系列产品还额外支持以下量化模式:
25 25 
26```text26```text
27QF322FP8_PRE, // Quant_Float32_2_FP8: float量化成fp8_e4m3fn_t,scalar量化27QF322FP8_PRE, // Quant_Float32_2_FP8: float量化成fp8_e4m3fn_t,scalar量化
@@ -7,7 +7,7 @@
7![](../../../../figures/Fixpipe_NC1HWC0_NHWC.png)7![](../../../../figures/Fixpipe_NC1HWC0_NHWC.png)
8 8 
9<!-- npu="950" id1 -->9<!-- npu="950" id1 -->
10-特别的,针对Ascend 950PR&950DT系列产品产品,还支持Fixpipe指令通过[NZ2DN](NZ2DN.md)能力,将L0C Buffer上数据转为NCHW格式输出。转换示意图如下所示:10+特别的,针对Ascend 950PR&950DT系列产品,还支持Fixpipe指令通过[NZ2DN](NZ2DN.md)能力,将L0C Buffer上数据转为NCHW格式输出。转换示意图如下所示:
11 11 
12**图2** NC1HWC0转换为NCHW格式<a name="fig188671630134414"></a> 12**图2** NC1HWC0转换为NCHW格式<a name="fig188671630134414"></a>
13 13 
@@ -291,7 +291,7 @@ Atlas A2系列产品
291 291 
292- 结果矩阵C只支持位于L0C Buffer(CO1),左矩阵A只支持位于L0A Buffer(A2),右矩阵B只支持位于L0B Buffer(B2)。292- 结果矩阵C只支持位于L0C Buffer(CO1),左矩阵A只支持位于L0A Buffer(A2),右矩阵B只支持位于L0B Buffer(B2)。
293- 当M、K、N中的任意一个值为0时,表示指令不会执行,该接口将被视为NOP(空操作)。293- 当M、K、N中的任意一个值为0时,表示指令不会执行,该接口将被视为NOP(空操作)。
294-- 当M = 1时,会默认开启GEMV(General Matrix-Vector Multiplication)功能。在这种情况下,Mmad API从L0A Buffer读取数据时,会以ND格式进行读取,而不会将其视为ZZ或NZ格式。所以此时左矩阵需要直接按照ND格式进行排布([GEMV特性说明](../mmad_compute_key_features/GEMV.md#ZH-CN_TOPIC_0000002538231187))。要注意的是,开启GEMV的情况下,A矩阵的起始地址仍要求512字节对齐。<!-- npu="950" id29 -->针对Ascend 950PR&950DT系列产品产品,可以通过设置MmadParams的disableGemv参数为true,将该功能关闭。<!-- end id29 -->294+- 当M = 1时,会默认开启GEMV(General Matrix-Vector Multiplication)功能。在这种情况下,Mmad API从L0A Buffer读取数据时,会以ND格式进行读取,而不会将其视为ZZ或NZ格式。所以此时左矩阵需要直接按照ND格式进行排布([GEMV特性说明](../mmad_compute_key_features/GEMV.md#ZH-CN_TOPIC_0000002538231187))。要注意的是,开启GEMV的情况下,A矩阵的起始地址仍要求512字节对齐。<!-- npu="950" id29 -->针对Ascend 950PR&950DT系列产品,可以通过设置MmadParams的disableGemv参数为true,将该功能关闭。<!-- end id29 -->
295- 一般来说,一次Mmad计算至少完成一次A(16\*16\*half) \* B(16\*16\*half)数据块计算。但实际计算时M、K、N有效值可能不是16的倍数,从而有部分数据为无效数据。以M=30,K=70,N=40为例来介绍无效数据与有效数据的排布方式。295- 一般来说,一次Mmad计算至少完成一次A(16\*16\*half) \* B(16\*16\*half)数据块计算。但实际计算时M、K、N有效值可能不是16的倍数,从而有部分数据为无效数据。以M=30,K=70,N=40为例来介绍无效数据与有效数据的排布方式。
296 296 
297 数据为half类型,当M=30,K=70,N=40的时候,L0A Buffer(A2)中有2x5个16x16矩阵,L0B Buffer(B2)中有5x3个16x16矩阵,L0C Buffer(CO1)中有2x3个16x16矩阵。在这种场景下M、K和N都不是16的倍数,A2中右下角的矩阵实际有效的数据只有14x6个,但是也需要占一个16x16矩阵的空间,其他无效数据在计算中会被忽略。一个16x16分形的数据块中,无效数据与有效数据排布的方式示意如下:297 数据为half类型,当M=30,K=70,N=40的时候,L0A Buffer(A2)中有2x5个16x16矩阵,L0B Buffer(B2)中有5x3个16x16矩阵,L0C Buffer(CO1)中有2x3个16x16矩阵。在这种场景下M、K和N都不是16的倍数,A2中右下角的矩阵实际有效的数据只有14x6个,但是也需要占一个16x16矩阵的空间,其他无效数据在计算中会被忽略。一个16x16分形的数据块中,无效数据与有效数据排布的方式示意如下:
@@ -5,7 +5,7 @@
5Gemv的核心功能体现为:当矩阵A的维度M取值为1时,接口会自动启用Gemv功能,该操作退化为1×K维度的行向量与K×N维度矩阵之间的乘法运算。5Gemv的核心功能体现为:当矩阵A的维度M取值为1时,接口会自动启用Gemv功能,该操作退化为1×K维度的行向量与K×N维度矩阵之间的乘法运算。
6 6 
7<!-- npu="950" id1 -->7<!-- npu="950" id1 -->
8-针对Ascend 950PR&950DT系列产品产品,可以通过设置MmadParams的disableGemv参数为true,将该功能关闭。8+针对Ascend 950PR&950DT系列产品,可以通过设置MmadParams的disableGemv参数为true,将该功能关闭。
9<!-- end id1 -->9<!-- end id1 -->
10 10 
11**特性约束:**11**特性约束:**
@@ -48,7 +48,7 @@ M=1时自动开启GEMV模式,则矩阵乘法将M方向作为非对齐场景进
48| B | 4096 * 256 | half |48| B | 4096 * 256 | half |
49| C | 1 * 256 | float |49| C | 1 * 256 | float |
50 50 
51-A矩阵为1\* 4096的向量,从软件侧可以视为64\*64的(针对Ascend 950PR&950DT系列产品产品为NZ分形)数据,通过LoadData搬运到L0A Buffer上;51+A矩阵为1\* 4096的向量,从软件侧可以视为64\*64的(针对Ascend 950PR&950DT系列产品为NZ分形)数据,通过LoadData搬运到L0A Buffer上;
52 52 
53C矩阵为1\* 256的向量,共可以划分为16个1 \* 16的子向量,占用16 \* 1024B = 16384B\(f162f32\),其中有效数据仅仅为16 \* 64B = 1024B;53C矩阵为1\* 256的向量,共可以划分为16个1 \* 16的子向量,占用16 \* 1024B = 16384B\(f162f32\),其中有效数据仅仅为16 \* 64B = 1024B;
54 54 
@@ -68,7 +68,7 @@ AscendC::Mmad(c, a, b, mmadParams);
68```68```
69 69 
70<!-- npu="950" id2 -->70<!-- npu="950" id2 -->
71-针对Ascend 950PR&950DT系列产品产品,可以通过设置MmadParams的disableGemv参数为true,将该功能关闭,示例如下:71+针对Ascend 950PR&950DT系列产品,可以通过设置MmadParams的disableGemv参数为true,将该功能关闭,示例如下:
72 72 
73```cpp73```cpp
74AscendC::MmadParams mmadParams;74AscendC::MmadParams mmadParams;
@@ -19,7 +19,7 @@ HF32的核心功能体现为:用户在输入矩阵A、B矩阵都为fp32数据
19<!-- end id3 -->19<!-- end id3 -->
20 20 
21<!-- npu="950" id2 -->21<!-- npu="950" id2 -->
22-- 针对Ascend 950PR&950DT系列产品产品,开启HF32可使Mmad(f322f32)接口的计算性能提升至原来的八倍。22+- 针对Ascend 950PR&950DT系列产品,开启HF32可使Mmad(f322f32)接口的计算性能提升至原来的八倍。
23<!-- end id2 -->23<!-- end id2 -->
24 24 
25舍入模式说明:fp32至HF32转换过程中的舍入模式由[SetHF32TransMode](../mmad_compute_aux_config/SetHF32TransMode.md)接口配置。当HF32模式开启且设置TransMode为NEAREST_AWAY时,FP32将以向最接近的值舍入,平局时远离零的方式舍入为HF32;若设置TransMode为NEAREST_EVEN时,FP32将以向最接近的值舍入,平局时向偶数舍入的方式舍入为HF32。25舍入模式说明:fp32至HF32转换过程中的舍入模式由[SetHF32TransMode](../mmad_compute_aux_config/SetHF32TransMode.md)接口配置。当HF32模式开启且设置TransMode为NEAREST_AWAY时,FP32将以向最接近的值舍入,平局时远离零的方式舍入为HF32;若设置TransMode为NEAREST_EVEN时,FP32将以向最接近的值舍入,平局时向偶数舍入的方式舍入为HF32。
@@ -30,11 +30,11 @@ HF32的核心功能体现为:用户在输入矩阵A、B矩阵都为fp32数据
30 30 
31<!-- npu="950" id1 -->31<!-- npu="950" id1 -->
32 32 
33-注意,针对Ascend 950PR&950DT系列产品产品,其HF32格式的尾数位为10位,示意图如图2所示:33+注意,针对Ascend 950PR&950DT系列产品,其HF32格式的尾数位为10位,示意图如图2所示:
34 34 
35-**图2** Ascend 950PR&950DT系列产品产品HF32数值精度示意图<a id="zh_cn_topic_mmad_keyfunc_section1_figure2"></a>35+**图2** Ascend 950PR&950DT系列产品HF32数值精度示意图<a id="zh_cn_topic_mmad_keyfunc_section1_figure2"></a>
36 36 
37-![Ascend 950PR&950DT系列产品产品HF32数值精度示意图](../../../../figures/mmad_hf32_950.png "Ascend 950PR&950DT系列产品产品HF32数值精度示意图")37+![Ascend 950PR&950DT系列产品HF32数值精度示意图](../../../../figures/mmad_hf32_950.png "Ascend 950PR&950DT系列产品HF32数值精度示意图")
38 38 
39<!-- end id1 -->39<!-- end id1 -->
40 40 
@@ -5,7 +5,7 @@
5Atlas A2系列产品/Atlas A3系列产品,Mmad接口支持开启此特性。5Atlas A2系列产品/Atlas A3系列产品,Mmad接口支持开启此特性。
6 6 
7<!-- npu="950" id1 -->7<!-- npu="950" id1 -->
8-Ascend 950PR&950DT系列产品产品上L0A Buffer为NZ排布,非ZZ排布,A矩阵转置非对齐float数据类型场景,L0A Buffer在K方向8对齐,无需开启此特性去确保计算正确性。8+Ascend 950PR&950DT系列产品上L0A Buffer为NZ排布,非ZZ排布,A矩阵转置非对齐float数据类型场景,L0A Buffer在K方向8对齐,无需开启此特性去确保计算正确性。
9<!-- end id1 -->9<!-- end id1 -->
10 10 
11K方向对齐的核心功能是通过kDirectionAlign参数控制在使用float数据类型(其他数据类型无需关注此特性)时,L0A Buffer和L0B Buffer矩阵在K方向上的对齐方式。11K方向对齐的核心功能是通过kDirectionAlign参数控制在使用float数据类型(其他数据类型无需关注此特性)时,L0A Buffer和L0B Buffer矩阵在K方向上的对齐方式。
@@ -35,7 +35,7 @@ MxMmad(全称Microscaling Mmad)为带有量化系数的矩阵乘法,即左
35<!-- npu="910b,A3" id2 -->35<!-- npu="910b,A3" id2 -->
36# 4选2稀疏矩阵计算流程<a name="ZH-CN_TOPIC_0000002538231116"></a>36# 4选2稀疏矩阵计算流程<a name="ZH-CN_TOPIC_0000002538231116"></a>
37 37 
38-稀疏矩阵是一种特殊类型的矩阵,即矩阵中包含较多的零元素。4选2结构化稀疏矩阵计算,要求一个连续的4个权重或激活值的组(通常是张量中的一行或一列)中,最多只有2个值为非零,其余2个强制为零。针对Atlas A2训练系列产品/Atlas A2推理系列产品和Atlas A3训练系列产品/Atlas A3推理系列产品,Ascend C针对4选2稀疏矩阵计算编程模型提供了对应sparse类接口,如下图所示:38+稀疏矩阵是一种特殊类型的矩阵,即矩阵中包含较多的零元素。4选2结构化稀疏矩阵计算,要求一个连续的4个权重或激活值的组(通常是张量中的一行或一列)中,最多只有2个值为非零,其余2个强制为零。针对Atlas A2系列产品和Atlas A3系列产品,Ascend C针对4选2稀疏矩阵计算编程模型提供了对应sparse类接口,如下图所示:
39 39 
40**图 3** 4选2稀疏矩阵基础计算流程图<a name="zh-cn_topic_0000002566526987_fig12280145134813"></a> 40**图 3** 4选2稀疏矩阵基础计算流程图<a name="zh-cn_topic_0000002566526987_fig12280145134813"></a>
41![](../../../../figures/sparse_matrix_computation_workflow.png "4选2稀疏矩阵基础计算流程图")41![](../../../../figures/sparse_matrix_computation_workflow.png "4选2稀疏矩阵基础计算流程图")
@@ -64,4 +64,4 @@ Conv2D前向计算的本质是将卷积运算转换为矩阵乘:先通过img2c
64 64 
653. 通过Mmad接口对L0A Buffer、L0B Buffer上的数据进行矩阵计算,并输出结果到L0C Buffer上。详细内容请参考[Mmad计算](../mmad_compute/Mmad.md)。653. 通过Mmad接口对L0A Buffer、L0B Buffer上的数据进行矩阵计算,并输出结果到L0C Buffer上。详细内容请参考[Mmad计算](../mmad_compute/Mmad.md)。
66 66 
67-4. 通过Fixpipe接口将L0C Buffer的数据进行处理并按指定格式搬出到GM,Fixpipe接口可以利用Fixpipe Buffer数据进行如随路量化、Relu等操作。L0C Buffer上存放的卷积结果为NC1HWC0格式,Fixpipe通过[NZ2ND](../cube_store_key_features/NZ2ND.md)能力将其转为NHWC格式输出。<!-- npu="950" id3 -->特别地,针对Ascend 950PR&950DT系列产品产品,Fixpipe还支持通过[NZ2DN](../cube_store_key_features/NZ2DN.md)能力将L0C Buffer上的卷积结果转为NCHW格式输出。<!-- end id3 -->详细内容请参考[卷积格式转换](../cube_store_key_features/convolution_format_conversion.md)。更多搬出相关内容请参考[矩阵计算的搬出](../cube_compute_store/cube_compute_store.md)。67+4. 通过Fixpipe接口将L0C Buffer的数据进行处理并按指定格式搬出到GM,Fixpipe接口可以利用Fixpipe Buffer数据进行如随路量化、Relu等操作。L0C Buffer上存放的卷积结果为NC1HWC0格式,Fixpipe通过[NZ2ND](../cube_store_key_features/NZ2ND.md)能力将其转为NHWC格式输出。<!-- npu="950" id3 -->特别地,针对Ascend 950PR&950DT系列产品,Fixpipe还支持通过[NZ2DN](../cube_store_key_features/NZ2DN.md)能力将L0C Buffer上的卷积结果转为NCHW格式输出。<!-- end id3 -->详细内容请参考[卷积格式转换](../cube_store_key_features/convolution_format_conversion.md)。更多搬出相关内容请参考[矩阵计算的搬出](../cube_compute_store/cube_compute_store.md)。
@@ -84,7 +84,7 @@ CACHE_MODE_NORMAL = 1, // 启用L2 Cache
84CACHE_MODE_PERSISTENT = 4, // 启用L2 Cache驻留模式84CACHE_MODE_PERSISTENT = 4, // 启用L2 Cache驻留模式
85};</pre>85};</pre>
86<p id="p595815581177"><a name="p595815581177"></a><a name="p595815581177"></a>当特定GlobalTensor启用L2 Cache后实测性能反而下降时,可考虑手动禁用该GlobalTensor的L2 Cache功能。例如,若某算子仅对特定GlobalTensor执行单次读取操作,将其数据缓存至L2 Cache不仅无法带来性能收益,反而可能因数据频繁搬运至L2 Cache而引入额外的开销,此时建议关闭该GlobalTensor的L2 Cache。</p>86<p id="p595815581177"><a name="p595815581177"></a><a name="p595815581177"></a>当特定GlobalTensor启用L2 Cache后实测性能反而下降时,可考虑手动禁用该GlobalTensor的L2 Cache功能。例如,若某算子仅对特定GlobalTensor执行单次读取操作,将其数据缓存至L2 Cache不仅无法带来性能收益,反而可能因数据频繁搬运至L2 Cache而引入额外的开销,此时建议关闭该GlobalTensor的L2 Cache。</p>
87-<p id="p595815581177"><a name="p595815581177"></a><a name="p595815581177"></a>通常情况下,L2 Cache可采用CACHE_MODE_NORMAL模式运行。在此模式下,当L2 Cache容量耗尽时会触发数据置换机制,已存入L2 Cache中的数据可能被替换。若需确保特定GlobalTensor的数据始终保留在L2 Cache中,可采用驻留模式。目前该驻留模式功能尚在开发中,暂不支持,计划于Ascend 950PR&950DT系列产品产品上提供支持。</p>87+<p id="p595815581177"><a name="p595815581177"></a><a name="p595815581177"></a>通常情况下,L2 Cache可采用CACHE_MODE_NORMAL模式运行。在此模式下,当L2 Cache容量耗尽时会触发数据置换机制,已存入L2 Cache中的数据可能被替换。若需确保特定GlobalTensor的数据始终保留在L2 Cache中,可采用驻留模式。目前该驻留模式功能尚在开发中,暂不支持,计划于Ascend 950PR&950DT系列产品上提供支持。</p>
88<p id="p165951277168"><a name="p165951277168"></a><a name="p165951277168"></a>如果不调用该接口,默认为CacheMode::CACHE_MODE_NORMAL,即GlobalTensor会启用L2 Cache。</p>88<p id="p165951277168"><a name="p165951277168"></a><a name="p165951277168"></a>如果不调用该接口,默认为CacheMode::CACHE_MODE_NORMAL,即GlobalTensor会启用L2 Cache。</p>
89</td>89</td>
90</tr>90</tr>
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:支持24- Atlas训练系列产品:支持
@@ -175,7 +175,7 @@
175<!-- end id22 -->175<!-- end id22 -->
176 176 
177<!-- npu="310p" id23 -->177<!-- npu="310p" id23 -->
178-- 针对Atlas 推理系列产品 AI Core178+- 针对Atlas推理系列产品AI Core
179 - T支持的数据类型为:half、float。179 - T支持的数据类型为:half、float。
180 - U支持的数据类型为:int8_t、uint8_t。180 - U支持的数据类型为:int8_t、uint8_t。
181<!-- end id23 -->181<!-- end id23 -->
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:支持24- Atlas训练系列产品:支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -104,7 +104,7 @@ Atlas 200I/500 A2推理产品,支持的数据类型为:half、float。
104<!-- end id11 -->104<!-- end id11 -->
105 105 
106<!-- npu="310p" id12 -->106<!-- npu="310p" id12 -->
107-Atlas 推理系列产品 AI Core,支持的数据类型为:int16_t、half、float。107+Atlas推理系列产品AI Core,支持的数据类型为:int16_t、half、float。
108<!-- end id12 -->108<!-- end id12 -->
109 109 
110## 返回值说明<a name="section640mcpsimp"></a>110## 返回值说明<a name="section640mcpsimp"></a>
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:支持24- Atlas训练系列产品:支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -99,7 +99,7 @@ def CreateVecIndex(dst, firstValue, count):
99- 针对Atlas 200I/500 A2推理产品,T支持的数据类型为:int16_t、half、int32_t、float。99- 针对Atlas 200I/500 A2推理产品,T支持的数据类型为:int16_t、half、int32_t、float。
100<!-- end id11 -->100<!-- end id11 -->
101<!-- npu="310p" id12 -->101<!-- npu="310p" id12 -->
102-- 针对Atlas 推理系列产品 AI Core,T支持的数据类型为:int16_t、half、int32_t、float。102+- 针对Atlas推理系列产品AI Core,T支持的数据类型为:int16_t、half、int32_t、float。
103<!-- end id12 -->103<!-- end id12 -->
104 104 
105## 返回值说明<a name="section640mcpsimp"></a>105## 返回值说明<a name="section640mcpsimp"></a>
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:支持24- Atlas训练系列产品:支持
@@ -79,7 +79,7 @@
79<tbody><tr id="zh-cn_topic_0000001429830437_row1835857145817"><td class="cellrowborder" valign="top" width="16.72%" headers="mcps1.2.3.1.1 "><p id="zh-cn_topic_0000001429830437_p5835457165816"><a name="zh-cn_topic_0000001429830437_p5835457165816"></a><a name="zh-cn_topic_0000001429830437_p5835457165816"></a>T</p>79<tbody><tr id="zh-cn_topic_0000001429830437_row1835857145817"><td class="cellrowborder" valign="top" width="16.72%" headers="mcps1.2.3.1.1 "><p id="zh-cn_topic_0000001429830437_p5835457165816"><a name="zh-cn_topic_0000001429830437_p5835457165816"></a><a name="zh-cn_topic_0000001429830437_p5835457165816"></a>T</p>
80</td>80</td>
81<td class="cellrowborder" valign="top" width="83.28%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>81<td class="cellrowborder" valign="top" width="83.28%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>
82-<p id="p199917715712"><a name="p199917715712"></a><a name="p199917715712"></a><span id="ph20991107105718"><a name="ph20991107105718"></a><a name="ph20991107105718"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas 推理系列产品</term>AI Core</span>,支持的数据类型为:int16_t/uint16_t/half/int32_t/uint32_t/float</p>82+<p id="p199917715712"><a name="p199917715712"></a><a name="p199917715712"></a><span id="ph20991107105718"><a name="ph20991107105718"></a><a name="ph20991107105718"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas推理系列产品</term>AI Core</span>,支持的数据类型为:int16_t/uint16_t/half/int32_t/uint32_t/float</p>
83</td>83</td>
84</tr>84</tr>
85<tr id="zh-cn_topic_0000001429830437_row18835145716587"><td class="cellrowborder" valign="top" width="16.72%" headers="mcps1.2.3.1.1 "><p id="zh-cn_topic_0000001429830437_p1383515717581"><a name="zh-cn_topic_0000001429830437_p1383515717581"></a><a name="zh-cn_topic_0000001429830437_p1383515717581"></a>isSetMask</p>85<tr id="zh-cn_topic_0000001429830437_row18835145716587"><td class="cellrowborder" valign="top" width="16.72%" headers="mcps1.2.3.1.1 "><p id="zh-cn_topic_0000001429830437_p1383515717581"><a name="zh-cn_topic_0000001429830437_p1383515717581"></a><a name="zh-cn_topic_0000001429830437_p1383515717581"></a>isSetMask</p>
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:支持15- Atlas 200I/500 A2推理产品:支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:支持18+- Atlas推理系列产品AI Core:支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:支持24- Atlas训练系列产品:支持
@@ -52,7 +52,7 @@ __aicore__ inline void MrgSort4(const LocalTensor<T>& dst, const MrgSortSrcList<
52</td>52</td>
53<td class="cellrowborder" valign="top" width="86.48%" headers="mcps1.2.3.1.2 "><p id="p168351657155818"><a name="p168351657155818"></a><a name="p168351657155818"></a>操作数数据类型。</p>53<td class="cellrowborder" valign="top" width="86.48%" headers="mcps1.2.3.1.2 "><p id="p168351657155818"><a name="p168351657155818"></a><a name="p168351657155818"></a>操作数数据类型。</p>
54<p id="p332994321818"><a name="p332994321818"></a><a name="p332994321818"></a><span id="ph732984311185"><a name="ph732984311185"></a><a name="ph732984311185"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>54<p id="p332994321818"><a name="p332994321818"></a><a name="p332994321818"></a><span id="ph732984311185"><a name="ph732984311185"></a><a name="ph732984311185"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>
55-<p id="p13291943201812"><a name="p13291943201812"></a><a name="p13291943201812"></a><span id="ph4329104311814"><a name="ph4329104311814"></a><a name="ph4329104311814"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas 推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>55+<p id="p13291943201812"><a name="p13291943201812"></a><a name="p13291943201812"></a><span id="ph4329104311814"><a name="ph4329104311814"></a><a name="ph4329104311814"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>
56</td>56</td>
57</tr>57</tr>
58</tbody>58</tbody>
@@ -74,7 +74,7 @@ __aicore__ inline void ProposalConcat(const LocalTensor<T>& dst, const LocalTens
74</td>74</td>
75<td class="cellrowborder" valign="top" width="86.42%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>75<td class="cellrowborder" valign="top" width="86.42%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>
76<p id="p7265124521915"><a name="p7265124521915"></a><a name="p7265124521915"></a><span id="ph194756336178"><a name="ph194756336178"></a><a name="ph194756336178"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>76<p id="p7265124521915"><a name="p7265124521915"></a><a name="p7265124521915"></a><span id="ph194756336178"><a name="ph194756336178"></a><a name="ph194756336178"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>
77-<p id="p12659457192"><a name="p12659457192"></a><a name="p12659457192"></a><span id="ph750620211814"><a name="ph750620211814"></a><a name="ph750620211814"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas 推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>77+<p id="p12659457192"><a name="p12659457192"></a><a name="p12659457192"></a><span id="ph750620211814"><a name="ph750620211814"></a><a name="ph750620211814"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>
78</td>78</td>
79</tr>79</tr>
80</tbody>80</tbody>
@@ -52,7 +52,7 @@ __aicore__ inline void ProposalExtract(const LocalTensor<T>& dst, const LocalTen
52</td>52</td>
53<td class="cellrowborder" valign="top" width="86.42%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>53<td class="cellrowborder" valign="top" width="86.42%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>
54<p id="p489919112302"><a name="p489919112302"></a><a name="p489919112302"></a><span id="ph389915183019"><a name="ph389915183019"></a><a name="ph389915183019"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>54<p id="p489919112302"><a name="p489919112302"></a><a name="p489919112302"></a><span id="ph389915183019"><a name="ph389915183019"></a><a name="ph389915183019"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>
55-<p id="p690016111305"><a name="p690016111305"></a><a name="p690016111305"></a><span id="ph199001173011"><a name="ph199001173011"></a><a name="ph199001173011"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas 推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>55+<p id="p690016111305"><a name="p690016111305"></a><a name="p690016111305"></a><span id="ph199001173011"><a name="ph199001173011"></a><a name="ph199001173011"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>
56</td>56</td>
57</tr>57</tr>
58</tbody>58</tbody>
@@ -52,7 +52,7 @@ __aicore__ inline void RpSort16(const LocalTensor<T>& dst, const LocalTensor<T>&
52</td>52</td>
53<td class="cellrowborder" valign="top" width="86.42%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>53<td class="cellrowborder" valign="top" width="86.42%" headers="mcps1.2.3.1.2 "><p id="zh-cn_topic_0000001429830437_p168351657155818"><a name="zh-cn_topic_0000001429830437_p168351657155818"></a><a name="zh-cn_topic_0000001429830437_p168351657155818"></a>操作数数据类型。</p>
54<p id="p489919112302"><a name="p489919112302"></a><a name="p489919112302"></a><span id="ph389915183019"><a name="ph389915183019"></a><a name="ph389915183019"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>54<p id="p489919112302"><a name="p489919112302"></a><a name="p489919112302"></a><span id="ph389915183019"><a name="ph389915183019"></a><a name="ph389915183019"></a><term id="zh-cn_topic_0000001312391781_term71949488213_1"><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a><a name="zh-cn_topic_0000001312391781_term71949488213_1"></a>Atlas训练系列产品</term></span>,支持的数据类型为:half</p>
55-<p id="p690016111305"><a name="p690016111305"></a><a name="p690016111305"></a><span id="ph199001173011"><a name="ph199001173011"></a><a name="ph199001173011"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas 推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>55+<p id="p690016111305"><a name="p690016111305"></a><a name="p690016111305"></a><span id="ph199001173011"><a name="ph199001173011"></a><a name="ph199001173011"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas推理系列产品</term>AI Core</span>,支持的数据类型为:half/float</p>
56</td>56</td>
57</tr>57</tr>
58</tbody>58</tbody>
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -15,10 +15,10 @@
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
16<!-- end id4 -->16<!-- end id4 -->
17<!-- npu="310p" id5 -->17<!-- npu="310p" id5 -->
18-- Atlas 推理系列产品 AI Core:不支持18+- Atlas推理系列产品AI Core:不支持
19<!-- end id5 -->19<!-- end id5 -->
20<!-- npu="310p" id6 -->20<!-- npu="310p" id6 -->
21-- Atlas 推理系列产品 Vector Core:不支持21+- Atlas推理系列产品Vector Core:不支持
22<!-- end id6 -->22<!-- end id6 -->
23<!-- npu="910" id7 -->23<!-- npu="910" id7 -->
24- Atlas训练系列产品:不支持24- Atlas训练系列产品:不支持
@@ -50,7 +50,7 @@ que.FreeTensor(a2);</pre>
50</td>50</td>
51<td class="cellrowborder" valign="top" width="85.9%" headers="mcps1.2.3.1.2 "><a name="ul4317543497"></a><a name="ul4317543497"></a><ul id="ul4317543497"><li>mask是int类型时,采用比特位表达信息:<a name="ul196262325012"></a><a name="ul196262325012"></a><ul id="ul196262325012"><li>bit 0位为1表示,数据格式从ND转换为NZ,TPosition仅支持A1或B1;</li><li>bit 1位为1表示,数据格式从NZ转换为ND,TPosition仅支持CO2。</li></ul>51<td class="cellrowborder" valign="top" width="85.9%" headers="mcps1.2.3.1.2 "><a name="ul4317543497"></a><a name="ul4317543497"></a><ul id="ul4317543497"><li>mask是int类型时,采用比特位表达信息:<a name="ul196262325012"></a><a name="ul196262325012"></a><ul id="ul196262325012"><li>bit 0位为1表示,数据格式从ND转换为NZ,TPosition仅支持A1或B1;</li><li>bit 1位为1表示,数据格式从NZ转换为ND,TPosition仅支持CO2。</li></ul>
52<p id="p17324473167"><a name="p17324473167"></a><a name="p17324473167"></a>支持的型号如下:</p>52<p id="p17324473167"><a name="p17324473167"></a><a name="p17324473167"></a>支持的型号如下:</p>
53-<p id="p9732447121610"><a name="p9732447121610"></a><a name="p9732447121610"></a><span id="ph1429142166"><a name="ph1429142166"></a><a name="ph1429142166"></a><term id="zh-cn_topic_0000001312391781_term1964153212227"><a name="zh-cn_topic_0000001312391781_term1964153212227"></a><a name="zh-cn_topic_0000001312391781_term1964153212227"></a>Atlas 推理系列产品</term>AI Core</span></p>53+<p id="p9732447121610"><a name="p9732447121610"></a><a name="p9732447121610"></a><span id="ph1429142166"><a name="ph1429142166"></a><a name="ph1429142166"></a><term id="zh-cn_topic_0000001312391781_term1964153212227"><a name="zh-cn_topic_0000001312391781_term1964153212227"></a><a name="zh-cn_topic_0000001312391781_term1964153212227"></a>Atlas推理系列产品</term>AI Core</span></p>
54</li><li>mask是const TQueConfig*类型时,TQueConfig结构定义和参数说明如下,调用示例见<a href="#section45805354920">调用示例</a>:<a name="screen13896155731115"></a><a name="screen13896155731115"></a><pre class="screen" codetype="Cpp" id="screen13896155731115">struct TQueConfig {54</li><li>mask是const TQueConfig*类型时,TQueConfig结构定义和参数说明如下,调用示例见<a href="#section45805354920">调用示例</a>:<a name="screen13896155731115"></a><a name="screen13896155731115"></a><pre class="screen" codetype="Cpp" id="screen13896155731115">struct TQueConfig {
55 bool nd2nz = false; // true代表数据格式从ND转换为NZ,仅支持TPosition为A1或B1,默认为false55 bool nd2nz = false; // true代表数据格式从ND转换为NZ,仅支持TPosition为A1或B1,默认为false
56 bool nz2nd = false; // true代表数据格式从NZ转换为ND,仅支持TPosition为CO2,默认为false56 bool nz2nd = false; // true代表数据格式从NZ转换为ND,仅支持TPosition为CO2,默认为false
@@ -63,7 +63,7 @@ que.FreeTensor(a2);</pre>
63 bool enableLoopQueue = false; // 预留参数63 bool enableLoopQueue = false; // 预留参数
64};</pre>64};</pre>
65<p id="p8601939151319"><a name="p8601939151319"></a><a name="p8601939151319"></a>上述ND、NZ格式转换相关参数支持的型号如下:</p>65<p id="p8601939151319"><a name="p8601939151319"></a><a name="p8601939151319"></a>上述ND、NZ格式转换相关参数支持的型号如下:</p>
66-<p id="p11601163917138"><a name="p11601163917138"></a><a name="p11601163917138"></a><span id="ph760153981316"><a name="ph760153981316"></a><a name="ph760153981316"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas 推理系列产品</term>AI Core</span></p>66+<p id="p11601163917138"><a name="p11601163917138"></a><a name="p11601163917138"></a><span id="ph760153981316"><a name="ph760153981316"></a><a name="ph760153981316"></a><term id="zh-cn_topic_0000001312391781_term1964153212227_1"><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a><a name="zh-cn_topic_0000001312391781_term1964153212227_1"></a>Atlas推理系列产品</term>AI Core</span></p>
67</li></ul>67</li></ul>
68</td>68</td>
69</tr>69</tr>
@@ -6,10 +6,10 @@
6- Ascend 950PR&950DT系列产品:支持6- Ascend 950PR&950DT系列产品:支持
7<!-- end id1 -->7<!-- end id1 -->
8<!-- npu="A3" id2 -->8<!-- npu="A3" id2 -->
9-- Atlas A3训练系列产品/Atlas A3推理系列产品:不支持9+- Atlas A3系列产品:不支持
10<!-- end id2 -->10<!-- end id2 -->
11<!-- npu="910b" id3 -->11<!-- npu="910b" id3 -->
12-- Atlas A2训练系列产品/Atlas A2推理系列产品:不支持12+- Atlas A2系列产品:不支持
13<!-- end id3 -->13<!-- end id3 -->
14<!-- npu="310b" id4 -->14<!-- npu="310b" id4 -->
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
@@ -6,10 +6,10 @@
6- Ascend 950PR&950DT系列产品:支持6- Ascend 950PR&950DT系列产品:支持
7<!-- end id1 -->7<!-- end id1 -->
8<!-- npu="A3" id2 -->8<!-- npu="A3" id2 -->
9-- Atlas A3训练系列产品/Atlas A3推理系列产品:不支持9+- Atlas A3系列产品:不支持
10<!-- end id2 -->10<!-- end id2 -->
11<!-- npu="910b" id3 -->11<!-- npu="910b" id3 -->
12-- Atlas A2训练系列产品/Atlas A2推理系列产品:不支持12+- Atlas A2系列产品:不支持
13<!-- end id3 -->13<!-- end id3 -->
14<!-- npu="310b" id4 -->14<!-- npu="310b" id4 -->
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
@@ -6,10 +6,10 @@
6- Ascend 950PR&950DT系列产品:支持6- Ascend 950PR&950DT系列产品:支持
7<!-- end id1 -->7<!-- end id1 -->
8<!-- npu="A3" id2 -->8<!-- npu="A3" id2 -->
9-- Atlas A3训练系列产品/Atlas A3推理系列产品:不支持9+- Atlas A3系列产品:不支持
10<!-- end id2 -->10<!-- end id2 -->
11<!-- npu="910b" id3 -->11<!-- npu="910b" id3 -->
12-- Atlas A2训练系列产品/Atlas A2推理系列产品:不支持12+- Atlas A2系列产品:不支持
13<!-- end id3 -->13<!-- end id3 -->
14<!-- npu="310b" id4 -->14<!-- npu="310b" id4 -->
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
@@ -6,10 +6,10 @@
6- Ascend 950PR&950DT系列产品:支持6- Ascend 950PR&950DT系列产品:支持
7<!-- end id1 -->7<!-- end id1 -->
8<!-- npu="A3" id2 -->8<!-- npu="A3" id2 -->
9-- Atlas A3训练系列产品/Atlas A3推理系列产品:不支持9+- Atlas A3系列产品:不支持
10<!-- end id2 -->10<!-- end id2 -->
11<!-- npu="910b" id3 -->11<!-- npu="910b" id3 -->
12-- Atlas A2训练系列产品/Atlas A2推理系列产品:不支持12+- Atlas A2系列产品:不支持
13<!-- end id3 -->13<!-- end id3 -->
14<!-- npu="310b" id4 -->14<!-- npu="310b" id4 -->
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
@@ -6,10 +6,10 @@
6- Ascend 950PR&950DT系列产品:支持6- Ascend 950PR&950DT系列产品:支持
7<!-- end id1 -->7<!-- end id1 -->
8<!-- npu="A3" id2 -->8<!-- npu="A3" id2 -->
9-- Atlas A3训练系列产品/Atlas A3推理系列产品:不支持9+- Atlas A3系列产品:不支持
10<!-- end id2 -->10<!-- end id2 -->
11<!-- npu="910b" id3 -->11<!-- npu="910b" id3 -->
12-- Atlas A2训练系列产品/Atlas A2推理系列产品:不支持12+- Atlas A2系列产品:不支持
13<!-- end id3 -->13<!-- end id3 -->
14<!-- npu="310b" id4 -->14<!-- npu="310b" id4 -->
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持
@@ -6,10 +6,10 @@
6- Ascend 950PR&950DT系列产品:支持6- Ascend 950PR&950DT系列产品:支持
7<!-- end id1 -->7<!-- end id1 -->
8<!-- npu="A3" id2 -->8<!-- npu="A3" id2 -->
9-- Atlas A3训练系列产品/Atlas A3推理系列产品:不支持9+- Atlas A3系列产品:不支持
10<!-- end id2 -->10<!-- end id2 -->
11<!-- npu="910b" id3 -->11<!-- npu="910b" id3 -->
12-- Atlas A2训练系列产品/Atlas A2推理系列产品:不支持12+- Atlas A2系列产品:不支持
13<!-- end id3 -->13<!-- end id3 -->
14<!-- npu="310b" id4 -->14<!-- npu="310b" id4 -->
15- Atlas 200I/500 A2推理产品:不支持15- Atlas 200I/500 A2推理产品:不支持