Matmul算子样例

概述

本样例介绍Matmul算子的核函数直调实现，通过最大化利用昇腾AI处理器的并行计算能力，显著提升算子执行效率。该实现方式适用于高性能推理与训练场景。

支持的产品

• Ascend 950PR/Ascend 950DT
• Atlas A3 训练系列产品/Atlas A3 推理系列产品
• Atlas A2 训练系列产品/Atlas A2 推理系列产品

目录结构介绍

└── 02_matmul_kernellaunch          // 使用核函数直调的方式调用Matmul自定义算子。
    └── MatmulInvocationNeo         // Kernel Launch方式调用核函数样例。

算子描述

Matmul高阶API实现了快速的Matmul矩阵乘法的运算操作。

Matmul的计算公式为：

C = A * B

• A、B为源操作数，A为左矩阵，形状为[M, K]；B为右矩阵，形状为[K, N]。
• C为目的操作数，存放矩阵乘结果的矩阵，形状为[M, N]。

算子规格描述

在核函数直调样例中，算子实现支持的shape为：M = 512, N = 1024, K = 512。

算子类型(OpType)	Matmul
算子输入	name	shape	data type	format
	a	M * K	float16	ND
	b	K * N	float16	ND
算子输出	c	M * N	float	ND
核函数名	matmul_custom

编译运行样例算子

详细操作请参考MatmulInvocationNeo样例运行。