Matmul API样例介绍

概述

本样例集介绍了Matmul API不同特性的典型用法，给出了对应的端到端实现。

样例列表

目录名称	功能描述	支持的产品
batch_matmul	批量处理Matmul计算的样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
batch_matmul_bias_reuse	批量处理Matmul计算时，每个Batch复用同一个Bias矩阵的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
batch_matmul_iterate_n_batch	多次批量处理Matmul计算的样例，包括非异步场景和异步场景的实现	Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul	调用Matmul API实现matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_a2b2_share	开启 A2(L0A Buffer) 和 B2(L0B Buffer) 全局管理的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_async_iterate	异步场景下的Matmul样例，实现方式为调用Iterate和GetTensorC输出到VECIN	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_async_iterate_all	异步场景下的Matmul样例，实现方式为调用IterateAll输出到GM	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_callback	Matmul API模板参数MatmulCallbackFunc的自定义使用方式	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_channelsplit_output	矩阵乘输出Channel拆分功能的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_co1_output	用户自主管理CO1（L0C Buffer）的Matmul样例	Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_constant_tiling	Tiling常量化的Matmul样例，在tiling参数固定的场景下，减少运行时的Scalar开销	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_format_column_major	输入输出矩阵为COLUMN_MAJOR（列优先）格式排布的Matmul样例	Ascend 950PR/Ascend 950DT
matmul_format_gemv	实现矩阵向量乘GEMV（General Matrix-Vector multiplication）的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_format_nd_align	在输入矩阵的N方向非对齐场景下，矩阵乘输出时使能N方向对齐的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_fp8	A、B矩阵为hifloat8、fp8_e4m3fn、fp8_e5m2数据类型输入的Matmul样例	Ascend 950PR/Ascend 950DT
matmul_fused	分核AIC、AIV融合编程实现，主要介绍了Matmul高阶API的MIX模式，Matmul API内部会自动控制AIC、AIV的核间同步	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_fused_mannul	分核AIC、AIV融合编程实现，主要介绍了Matmul高阶API的纯Cube模式，需要调用相关接口实现手动控制AIC、AIV的核间同步	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_ibshareAB	调开启IBShare功能，复用L1 Buffer上相同的A矩阵或者B矩阵数据的样例，本样例为A矩阵和B矩阵同时复用场景	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_ibshareB	调开启IBShare功能，复用L1 Buffer上相同的A矩阵或者B矩阵数据的样例，本样例为仅B矩阵复用场景	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_int4	A、B矩阵为int4b_t数据类型输入的Matmul样例	Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_k_reorder_load	使能K轴错峰加载数据特性的Matmul样例，减少多核对Global Memory地址访问冲突概率	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_l0cache	使能L0缓存特性的Matmul样例，减少MTE1重复搬运	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_l2cache	使能L2 Cache切分特性的Matmul样例，提高L2 Cache的利用率	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_mixdualmaster	使能双主模式（MixDualMaster）的Matmul样例，AIC和AIV独立运行代码，不依赖消息驱动，用于提升性能	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_mn_double_buffer	M/N轴方向的流水并行的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_multi_core_unaligned	多核非对齐切分，即多核切分尾块的实际计算量小于tiling中对应参数的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_mx	在MXFP4/MXFP8数据格式下的带有量化系数的矩阵乘法，即MxMatmul样例	Ascend 950PR/Ascend 950DT
matmul_mx_scale_cache	在MXFP4/MXFP8数据格式下，量化系数矩阵scale在L1 Buffer上开启多倍缓存的MxMatmul样例	Ascend 950PR/Ascend 950DT
matmul_mx_ub_tscm_nz	在MXFP4/MXFP8数据格式下，使用用户自定义TSCM、VECOUT的输入的MxMatmul样例	Ascend 950PR/Ascend 950DT
matmul_nbuffer33	NBuffer33算法的Matmul样例，实现搬入搬出带宽平衡从而提升效率	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_partial_output	Matmul高阶API实现开启Partial Output功能的样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_preload	M/N方向预加载的Matmul样例，可以减少MET2间隙	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_quant	输出随路反量化的Matmul样例，支持同一系数的反量化模式和向量的反量化模式	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_sparse	4:2稀疏矩阵乘（Sparse Matmul）的Matmul样例，可以减少矩阵乘计算时的内存占用和计算量	Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_splitk	多核切K场景下的Matmul样例，将输入矩阵沿K轴切分后分配到多核上并行处理	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_splitm	多核切M场景下的Matmul样例，将输入矩阵沿M轴切分后分配到多核上并行处理	Ascend 950PR/Ascend 950DT
matmul_triangle	TrianUpperMatmulPolicy（上三角模板策略）和TrianLowerMatmulPolicy（下三角模板策略）的Matmul样例	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_tscm	使用数据来源为GM的用户自定义TSCM的输入的Matmul样例，开发者可以自主管理L1 Buffer以高效利用硬件资源	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_tscm_src_vecout	使用数据来源为VECOUT的用户自定义TSCM的输入的Matmul样例，开发者可以自主管理L1 Buffer以高效利用硬件资源	Ascend 950PR/Ascend 950DT
matmul_unitflag	使能UnitFlag功能的Matmul样例，使样例中的CUBE计算流水与FIXPIPE数据搬出流水并行	Ascend 950PR/Ascend 950DT Atlas A3 训练系列产品/Atlas A3 推理系列产品 Atlas A2 训练系列产品/Atlas A2 推理系列产品
matmul_vecout	使用用户自定义VECOUT的输入的Matmul样例，开发者可以自主管理Unified Buffer以高效利用硬件资源	Ascend 950PR/Ascend 950DT