已关闭
[Requirement|需求建议]: MLA全量化支持flashdecode #4610
fanzijian创建于 8月26日关闭于 8月26日
8月26日 添加了label:requirement
8月26日 关联了pull request:MLAFullQuant support FlashDecode & 0/1 non-contiguous
weihao18
8月26日 评论:
8月26日 评论:
/assign @fanzijian


8月26日 将 fanzijian 设为负责人
8月26日 关闭了 issue
8月26日 添加了label:resolved
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
MLA FP8全量化decode场景性能不满足整网要求,需开启flashdecode优化性能
Benefit / Necessity (价值/作用)
Design(设计方案)