已合并
【新需求】GLM4.1V适配lcoc, flash comm和权重预取 #251
凡银创建于 1月15日
【新需求】GLM4.1V适配lcoc, flash comm和权重预取 #251
已合并
凡银创建于 1月15日
已删除 :glm4v合入到Ascend/MindIE-LLMdev
凡银
1月15日

合入背景

请描述为什么要做这个PR内的改动。
如涉及,请关联前序PR或同特性/需求下的其他PR。
如果是修复之前PR引入的问题,请关联引入问题的PR。
注意:Fixes #ISSUE ID会自动关闭issue,如问题部分解决请不要使用Fixes,可以用Fix part of #ISSUE ID替代.
GLM4.1V适配lcoc, flash comm和权重预取
Fixes #135

修改内容

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列。
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)。
重构atb_models\atb_framework\models\glm41v\layer\decoder_layer.cpp,删除冗余类,冗余函数调用
atb_models\atb_llm\models\glm41v\modeling_glm41v_text.py适配lcoc, flash comm和权重预取
atb_models\atb_llm\models\glm41v\modeling_glm41v_vit_atb.py优化VIT pos embedding计算性能

资料变更

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”。
不涉及

接口变更

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”。
不涉及

测试结果

请说明测试场景,测试方法以及测试结果。
测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。
场景:TP2,4并发,1080P图片输入,512输出场景,
基础环境变量:
export ATB_LAUNCH_KERNEL_WITH_TILING=1
export ATB_LAYER_INTERNAL_TENSOR_REUSE=1
export PYTORCH_NPU_ALLOC_CONF='max_split_size_mb:2048'
export HCCL_BUFFSIZE=120
export ATB_WORKSPACE_MEM_ALLOC_GLOBAL=1
export ATB_OPERATION_EXECUTE_ASYNC=1
export TASK_QUEUE_ENABLE=1
export MINDIE_ASYNC_SCHEDULING_ENABLE=1
300I DUO(w8a8sc量化):
适配特性前,TTFT=8984.5 ms, 适配特性后,TTFT=8275.8ms,性能提升8.6%
Textvqa精度: 76.48,竞品浮点精度76.46
image.png
image.png
800I A2(w8a8量化):
适配特性前,TTFT=1998.8 ms, 适配特性后TTFT=1756.8ms,性能提升13.8%
(增加环境变量: export ATB_OPERATION_EXECUTE_ASYNC=2,export HCCL_OP_EXPANSION_MODE="AIV")
Textvqa精度:75.97,竞品浮点精度76.46
image.png
image.png

CheckList

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]。

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 凡银 的贡献)
凡银
1月15日 关联了issue:[Performance]: GLM4.1V-Thinking模型性能提升
ascend-robot
ascend-robot成员
1月15日 评论:

Thank your for your pull-request.

The full list of commands accepted by me can be found at here.

You can get sig-info at here

likedislike
ascend-robot
ascend-robot成员
1月15日 评论:

以下是根据您提交的修改文件推荐的Reviewer和Committer序列,需各模块评审通过后方可合入

Module List Reviewers Committers
repo-Ascend/MindIE-LLM zxf_boluochuishui, yjy_ac, earthmanylf, yydyzr, xiao-qing123 coding-lz, you-zhiyuan-0511, niushiya, evakkkkkkk, maoxx241
likedislike
ascend-robotascend-robot成员
1月15日 添加了label:stat/needs-squash
ascend-robotascend-robot成员
1月15日 添加了label:ascend-cla/yes
此处折叠了71条消息 查看更多
CXY-Katrina
CXY-Katrina成员
1月20日 评论:

/merge

likedislike
ascend-robotascend-robot成员
1月20日 添加了label:keeper_approved
ascend-robot
ascend-robot成员
1月20日 评论:

Review Guide

This Pull-Request Passes Review.
Committers who wrote a comment of /approve are: niushiya.
Reviewers who wrote a comment of /lgtm are: niushiya, chenzhinan1212.

likedislike
ascend-robotascend-robot成员
1月20日 关闭了关联的issue
ascend-robotascend-robot成员
1月20日 合入了pull request