0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
ascend-robotascend-robot新增_npu_flash_attention_unpad_v2接口，支持310p KERNELTYPE_EXP_M8V2场景
d8dbded2创建于 12 天前历史提交
文件最后提交记录最后更新时间
__init__.py
!2134 Add atb feature Merge pull request !2134 from wgb/atb 1 年前
_atb_api_docs.py
modify npu_multi_head_latent_attention atb op Co-authored-by: weiguihua_gitee<984323595@qq.com> # message auto-generated for no-merge-commit merge: merge pr_3146_1757900574166 into master modify npu_multi_head_latent_attention atb op Created-by: weiguihuagitee Commit-by: weiguihuagitee;weiguihua_gitee Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> add npu_multi_head_latent_attention_with_lse atb op **What type of PR is this?** > Uncomment only one /kind <> line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug > /kind task > /kind feature **What does this PR do / why do we need it**: To support the cp and sp scenario, it is necessary to add the output of lse in MLA. **Special notes for your reviewers**: See merge request: Ascend/op-plugin!31698 个月前
_atb_meta_registrations.py
modify npu_multi_head_latent_attention atb op Co-authored-by: weiguihua_gitee<984323595@qq.com> # message auto-generated for no-merge-commit merge: merge pr_3146_1757900574166 into master modify npu_multi_head_latent_attention atb op Created-by: weiguihuagitee Commit-by: weiguihuagitee;weiguihua_gitee Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> add npu_multi_head_latent_attention_with_lse atb op **What type of PR is this?** > Uncomment only one /kind <> line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug > /kind task > /kind feature **What does this PR do / why do we need it**: To support the cp and sp scenario, it is necessary to add the output of lse in MLA. **Special notes for your reviewers**: See merge request: Ascend/op-plugin!31698 个月前
_atb_ops.py
新增_npu_flash_attention_unpad_v2接口，支持310p KERNELTYPE_EXP_M8V2场景 Co-authored-by: gitcode-bot<noreply@gitcode.com> Co-authored-by: hellokitty911<lizhixi2@huawei.com> # message auto-generated for no-merge-commit merge: !4995 merge sfv2 into master 新增_npu_flash_attention_unpad_v2接口，支持310p KERNELTYPE_EXP_M8V2场景 Created-by: hellokitty911 Commit-by: hellokitty911;gitcode-bot Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 https://gitcode.com/Ascend/op-plugin/issues/93 - [ ] 重构优化 - [ ] 资料更新 1. 背景 1.1 问题描述 底层 atb 库 SelfAttentionParam 的 KernelType 枚举新增了 KERNELTYPE_EXP_M8V2 值： KernelType 枚举值 含义 KERNELTYPE_DEFAULT = 0 i:float16, bmm:float16, o:float16（已有） KERNELTYPE_HIGH_PRECISION = 1 i:float16, bmm:float, o:float16（已有） KERNELTYPE_EXP_M8V2 = 2 i:float16, bmm:float16, exp:m8v2, softmax:default（新增，仅 Atlas 310P） 当前 _npu_flash_attention_unpad 将 kernelType 硬编码为 KERNELTYPE_DEFAULT，用户无法选择其他 kernel 类型。KERNELTYPE_HIGH_PRECISION 在底层 atb 库的 BNSDParamCheck() 中对 PA_ENCODER 场景会报错，因此不纳入支持范围。 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [ ] 代码注释完备，正确记录错误日志 - [ ] 代码实现进行了返回值、空指针等校验 - [ ] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [ ] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/op-plugin!499512 天前