已合并
添加mla_preprocess_v2算子kernel说明文档中的示例代码调用描述 #8071
HKFLYE创建于 7月2日
添加mla_preprocess_v2算子kernel说明文档中的示例代码调用描述 #8071
已合并
共 1 个文件变更+25-1
| @@ -377,4 +377,28 @@ | |||
| 377 | - qRopeDim：表示Q矩阵中旋转编码部分的维度，取值固定为：64 | 377 | - qRopeDim：表示Q矩阵中旋转编码部分的维度，取值固定为：64 |
| 378 | - qNoRopeDim：表示Q矩阵中无旋转编码部分的维度，取值范围：16~256，为16的倍数 | 378 | - qNoRopeDim：表示Q矩阵中无旋转编码部分的维度，取值范围：16~256，为16的倍数 |
| 379 | - rope模式约束 | 379 | - rope模式约束 |
| 380 | - - mla_preprocess算子中的Rotary Embedding（RoPE）操作采用half模式，暂不支持interleave模式 | 380 | + - mla_preprocess算子中的Rotary Embedding（RoPE）操作采用half模式，暂不支持interleave模式 |
| 381 | + | ||
| 382 | +## 调用说明 | ||
| 383 | + | ||
| 384 | +<table class="tg"><thead> | ||
| 385 | + <tr> | ||
| 386 | + <th class="tg-0pky">调用方式</th> | ||
| 387 | + <th class="tg-0pky">样例代码</th> | ||
| 388 | + <th class="tg-0pky">说明</th> | ||
| 389 | + </tr></thead> | ||
| 390 | +<tbody> | ||
| 391 | + <tr> | ||
| 392 | + <td class="tg-9wq8">aclnn接口</td> | ||
| 393 | + <td class="tg-0pky"> | ||
| 394 | + <a href="./examples/test_aclnn_mla_preprocess_v2.cpp">test_aclnn_mla_preprocess_v2 | ||
| 395 | + </a> | ||
| 396 | + </td> | ||
| 397 | + <td class="tg-lboi"> | ||
| 398 | + 通过 | ||
| 399 | + <a href="./docs/aclnnMlaPreprocessV2.md">aclnnMlaPreprocessV2 | ||
| 400 | + </a> | ||
| 401 | + 接口方式调用MlaPreprocessV2算子 | ||
| 402 | + </td> | ||
| 403 | + </tr> | ||
| 404 | +</tbody></table> | ||