已合并
【bugfix】修复目前比对DataFrame赋值导致内存占用过高程序崩溃问题 #260
【bugfix】修复目前比对DataFrame赋值导致内存占用过高程序崩溃问题 #260
已合并
louyujing创建于 1月8日
louyujing成员
1月8日

【bugfix】修复目前比对DataFrame赋值导致内存占用过高程序崩溃问题
【问题根因】
在calculate_excel_result_df中, pandas 给 DataFrame 赋值(result_df[:] = result)时,pandas 内部会调用 numpy 检查数据维度,而超大的result数据转换为 numpy 数组时直接耗尽了内存
【解决方式】

  1. 仅更新result和error msg列而不是更新全部数据
  2. DataFrame分块逐批赋值,降低内存瞬时峰值
    【修复前】
    image.png
    【修复后】
    image.png
likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 louyujing 的贡献)
ascend-robot
ascend-robot成员
1月8日 评论:

Thank your for your pull-request.

The full list of commands accepted by me can be found at here.

You can get sig-info at here

likedislike
ascend-robot
ascend-robot成员
1月8日 评论:

以下是根据您提交的修改文件推荐的Reviewer和Committer序列,需各模块评审通过后方可合入

Module List Reviewers Committers
repo-Ascend/msprobe wowenjie, mnhdxnh, lv-kaimeng, leo920320, chenhao_1209 brightly, chenhao_1209, blian, wowenjie, wqc01202410
likedislike
ascend-robotascend-robot成员
1月8日 添加了label:ascend-cla/yes
louyujing成员
1月8日 评论:

compile

likedislike
ascend-robotascend-robot成员
1月8日 添加了label:ci-pipeline-running
Llouyujing成员
1月8日 修改了pull request 的描述
ascend-robotascend-robot成员
1月8日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
1月8日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
1月8日 评论:
流水线 PR-pipeline_msprobe#867已完成
阶段 任务名 状态 详情
编译构建 Build_MindStudio-Probe ✅ >>>
恶意代码检查 Antipoison_MindStudio-Probe ✅ >>>
编码安全与规范检查 CodeCheck_MindStudio-Probe ✅ >>>
开源片段检查 SCA_MindStudio-Probe ✅ >>>
开发者测试 UT_MindStudio-Probe ✅ >>>
流水线 PR-pipeline_msprobe ✅ >>>
likedislike
Llouyujing成员
1月9日 关联了issue:[Bug]: 比对功能bug
kun_8成员1月9日进行代码检视2
python/msprobe/core/compare/indicator_analysis/calculator.py
已过期
@@ -145,0 +144,4 @@
144+ logger.error(f'The {CompareConst.RESULT} or {CompareConst.ERROR_MESSAGE} does not exist in the header: {e}')
145+ raise e
146+ 
147+ chunk_size = 1000
kun_81月9日评论:

【review】该常量建议放在compareconst中

likedislike
System
系统消息系统
1月12日 评论:

changed this line on 33b76794 view diff detail

Llouyujing成员
1月12日 强制推送  1 个提交:33b76794-【bugfix】修复目前比对DataFrame赋值导致内存占用过高程序崩溃问题
ascend-robot
ascend-robot成员
1月12日 评论:

以下是根据您提交的修改文件推荐的Reviewer和Committer序列,需各模块评审通过后方可合入

Module List Reviewers Committers
repo-Ascend/msprobe lv-kaimeng, Kuwatoro, kali20gakki1, mnhdxnh, li-changwei4 brightly, wowenjie, xhahn77, ly-qianxiao0309, wqc01202410
likedislike
ascend-robotascend-robot成员
1月12日 删除了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
1月12日 评论:

Notification

This pull request source branch has changed, so removes the following label(s): ci-pipeline-passed.

likedislike
ascend-robot
ascend-robot成员
1月12日 评论:

CLA Signature Pass

louyujing, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
louyujing成员
1月12日 评论:

compile

likedislike
ascend-robotascend-robot成员
1月12日 添加了label:ci-pipeline-running
ascend-robotascend-robot成员
1月12日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
1月12日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
1月12日 评论:
流水线 PR-pipeline_msprobe#891已完成
阶段 任务名 状态 详情
编译构建 Build_MindStudio-Probe ✅ >>>
恶意代码检查 Antipoison_MindStudio-Probe ✅ >>>
编码安全与规范检查 CodeCheck_MindStudio-Probe ✅ >>>
开源片段检查 SCA_MindStudio-Probe ✅ >>>
开发者测试 UT_MindStudio-Probe ✅ >>>
流水线 PR-pipeline_msprobe ✅ >>>
likedislike
捡到宝。
捡到宝。成员
1月12日 评论:

/lgtm

likedislike
Llouyujing成员
1月12日 解决了最后一个问题
Menba
Menba成员
1月12日 评论:

/lgtm

likedislike
RanZheng成员
1月12日 评论:

/approve

likedislike
ascend-robotascend-robot成员
1月12日 添加了label:approvedlgtm
ascend-robot
ascend-robot成员
1月12日 评论:

Review Guide

This Pull-Request Passes Review.
Committers who wrote a comment of /approve are: zderry.
Reviewers who wrote a comment of /lgtm are: Jian_Daobao, zderry.

likedislike
ascend-robotascend-robot成员
1月12日 合入了pull request,合并节点 SHA:db740b4ad56eafc1c22b660ecd74fd005d67c0e0