Closed
[Requirement|需求建议]: attention_updata支持单tensor输入和localout非连续 #7113
yyt_hwAdd on 11 days agoClosed at 10 days ago
11 days ago Added label: requirement
11 days ago Assign yyt_hw as responsible person
周云飞
11 days ago Comments：
11 days ago Comments：
问题说明
这是输入形式与内存布局的扩展需求。现有接口按 aclTensorList 检查输入，所示内核也使用列表描述符，因此支持首轴拼接的单个 Tensor 不只是修改接口参数。按您描述，尾轴拼接后 localout 非连续，而 locallse 经框架处理后连续，两者需要分别处理。
处理建议
可以考虑增加单 Tensor 输入路径，并保留原有列表接口以兼容已有调用；同步调整形状校验、分块参数和内核寻址，使 localout 按实际步长读取，避免用额外连续化拷贝抵消减少 Slice 的收益。重点验证结果一致性及端到端性能。
请补充一组拼接后 localout、locallse 的形状和步长，用于明确首轴分组方式及需支持的非连续布局。
10 days ago Close issue
10 days ago Added label: resolved
Backgroud（背景信息）
KimiK3推理模型开启DCP提升性能，发现AttentionUpdate算子的tensorList输入导致前插大量slice操作，需要支持单个tensor输入以消除Slice操作。
Benefit / Necessity （价值/作用）
支撑模型达成极致性能目标。
Design（设计方案）
AttentionUpdate算子支持单个tensor输入
原先tensorlist输入，需要变成首轴concat在一起的tensor输入。
输入localout和lse是尾轴拼接在一起的，localout非连续，locallse框架有额外处理，传给算子是连续的