已合并
matmulv3多核切K+vec nz2nd场景内存优化 #5864
matmulv3多核切K+vec nz2nd场景内存优化 #5864
已合并
HKFLYE创建于 6月8日
HKFLYE
HKFLYE成员
6月8日

描述

matmulv3确定性多核切K+vec nz2nd场景内存优化

方案如下:

  1. workspace 按实际中间结果布局申请
  • deterministic splitK 不再按完整 alignedM * alignedN 申请中间 workspace。
  • 基础大小按 singleCoreM * singleCoreN 思路缩减。
  • 对 VEC_NZ2ND_UNALIGNOUT 场景,只补NZ 必需的N 方向 16对齐空间。
  • Host 侧 workspace size 与 Kernel 侧 singlesize 保持一致。
  1. cube 侧按compact/sequential NZ 布局写 workspace

  2. vector reduce 侧按同一布局读取workspace

  • 新增 compact 读取逻辑。
  • AIV reduce 按 actualM/actualN/baseM/baseN 计算 tile offset。
  • 避免尾块非对齐时继续按旧 originM stride 读错数据。

关联的Issue

关联Issue #3285

测试

本地tilingKey 8240/73776场景自验证用例通过

文档更新

类型标签

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 HKFLYE 的贡献)
HKFLYEHKFLYE成员
6月8日 创建了 pull request,commit 66b57d9c
CANN-robotCANN-robot成员
6月8日 添加了label:cann-cla/yes
CANN-robot
CANN-robot成员
6月8日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
matmul 唐超, 林鹏翔 (2/2) 唐超 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

HuangKun8682, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
HKFLYE
HKFLYE成员
6月8日 评论:

compile

likedislike
HKFLYEHKFLYE成员
6月8日 update merge request[project id: 7665709, iid: 5864, commit_id: 7138a8511b3ca20338a4018d06c75b56db316c1f] virtual merging success
此处折叠了88条消息 查看更多
CANN-robotCANN-robot成员
6月11日 添加了label:approved
CANN-robotCANN-robot成员
6月11日 关闭了关联的issue
CANN-robotCANN-robot成员
6月11日 合入了pull request
CANN-robot
CANN-robot成员
6月11日 评论:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike
liyuanqiang成员
6月11日 评论:

/lgtm
/approve

likedislike