已关闭
[Requirement|需求建议]: mla_preprocess算子新增支持RoPE开关 #4052
HKFLYE创建于  7月31日关闭于  8月11日
HKFLYE
HKFLYE
7月31日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

部分模型MLA前置操作去除了rope部分,需要在原有的MLAPO算子基础上增加rope的开关

Benefit / Necessity (价值/作用)

适配主流模型

Design(设计方案)

增加可选的 RoPE 关闭能力,通过 cos、sin 是否为空控制:
cos != nullptr && sin != nullptr:保持原有计算,兼容现有调用。
cos == nullptr && sin == nullptr:关闭 RoPE,仅跳过 Q/K 旋转数学运算。
仅有一个输入为空:Host Tiling 返回失败并提示 cos、sin 必须同时传入或同时为空。

likedislike
HKFLYE
HKFLYE
7月31日 评论:

/assign

likedislike
CANN-robotCANN-robot成员
7月31日 将 HuangKun8682 设为负责人
CANN-robotCANN-robot成员
8月11日 关闭了 issue
CANN-robotCANN-robot成员
8月11日 添加了label:resolved