master

ascend-robot支持解析launchKernel接口上报额外的profiling信息

b43b6eca创建于 4 天前历史提交

文件	最后提交记录	最后更新时间
aic	v5解析适配 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !78 merge local into master v5解析适配 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 适配v5数据解析 - **修改内容：** 适配v5数据解析 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!78	3 个月前
ascend_task	v5解析适配 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !78 merge local into master v5解析适配 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 适配v5数据解析 - **修改内容：** 适配v5数据解析 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!78	3 个月前
biu_perf	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
cann	【Feature】增加wait/record事件的HostToDevice连线 Co-authored-by: panzhaohu<panzhaohu1@h-partners.com> # message auto-generated for no-merge-commit merge: !55 merge event_master into master 【Feature】增加wait/record事件的HostToDevice连线 Created-by: panzhaohu Commit-by: panzhaohu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 新增需求：【AR20260116774541】【msprof】支持waitrecord事件的Host与Device侧的数据关联 - **修改内容：** python: 1.建树增加acl层级 2.在HOSTTODEVICE类中添加wait/record event生成连线的判断条件和连线数据 3.在HOSTTODEVICE类中添加memcpyAsync event生成连线的判断条件和连线数据 c++: 1.cann_assembler中新增aclrtStreamWaitEvent生成连线的判断条件 2.ascend_hardware_assembler同理增加aclrtStreamWaitEvent生成连线的判断条件 ---- ## 2. 功能验证 - [x] **功能自验**  解析时间： 修改前：  修改后：  - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） 测试冒烟：  ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!55	3 个月前
cluster	msprof support rename block Dim to block Num Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !47 merge master into master msprof support rename block Dim to block Num Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** blockdim重命名为block num - **修改内容：** 修改项目中blockdim变量名为block ---- ## 2. 功能验证 - [x] **功能自验** - [x] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟）  ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!47	4 个月前
data_analysis	msprof support rename block Dim to block Num Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !47 merge master into master msprof support rename block Dim to block Num Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** blockdim重命名为block num - **修改内容：** 修改项目中blockdim变量名为block ---- ## 2. 功能验证 - [x] **功能自验** - [x] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟）  ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!47	4 个月前
factory	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
flip	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
hccl	msprof支持算法带宽计算和呈现 Co-authored-by: panzhaohu<panzhaohu1@h-partners.com> # message auto-generated for no-merge-commit merge: !243 merge 0519_ranksize into master msprof支持算法带宽计算和呈现 Created-by: panzhaohu Commit-by: panzhaohu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 新特性：支持算法带宽计算和呈现 - **修改内容：** 1.在processArgs接口里增加rankSize字段 2.在hccltask, hccltasksingledevice和hcclopsingledevice三个数据表里添加rankSize字段 3.在统一db里增加rank_size字段 ---- ## 2. 功能验证 - [ ] **功能自验** 统一db：  timeline：  - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!243	17 天前
hwts	Python代码新增多个单元测试，涵盖任务调度模型索引、数据存储和导出功能的集成测试，修复测试用例中的路径问题 Co-authored-by: Mrtutu<zhangwei983@huawei.com> # message auto-generated for no-merge-commit merge: !262 merge add_py_ut into master Python代码新增多个单元测试，涵盖任务调度模型索引、数据存储和导出功能的集成测试，修复测试用例中的路径问题 Created-by: kali20gakki1 Commit-by: Mrtutu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 **改动文件** - 新增 test_msprof_step.py (/home/mrtutu/Project/msprof/test/msprof_python/ut/testcase/common_function/test_msprof_step.py:1) - 新增 test_multi_process_cb.py (/home/mrtutu/Project/msprof/test/msprof_python/ut/testcase/common_function/test_multi_process_cb.py:1) - 新增 test_msprof_iteration_integration.py (/home/mrtutu/Project/msprof/test/msprof_python/ut/testcase/msprof/common/test_msprof_iteration_integration.py:1) - 新增 test_task_dispatch_model_index.py (/home/mrtutu/Project/msprof/test/msprof_python/ut/testcase/mscalculate/hwts/test_task_dispatch_model_index.py:1) - 修复 task_dispatch_model_index.py (/home/mrtutu/Project/msprof/analysis/mscalculate/hwts/task_dispatch_model_index.py:45) **补充的测试场景** - common_func/msprof_step.py - 覆盖 __enter__ 在表不存在/存在时的两条路径。 - 覆盖 __exit__ 释放 model 资源的路径。 - 覆盖 get_step_data() 从 step_trace_data 读取 DTO 数据的路径。 - 覆盖 get_step_iteration_time() 正常返回区间、迭代信息缺失返回空列表的场景。 - 覆盖 get_mix_op_iter_id() 混合图场景下并行迭代范围计算，以及查不到目标 step 时返回空元组的场景。 - 覆盖 get_graph_iter_id()、get_iter_id()、get_model_and_index_id_by_iter_id() 的 graph/mix-op 分支和空结果分支。 - common_func/multi_process_cb.py - 覆盖热点函数解析逻辑，包括长符号压缩、unknown 栈的兜底逻辑。 - 覆盖 process_stack() 正常栈拼接、异常读取返回空列表的场景。 - 覆盖 line_match() 对普通 PMU 行和 raw PMU 行的匹配逻辑。 - 覆盖 insert_data() 在 PMU_MODE_CORE 和 PMU_MODE_NO_CORE 两种模式下的样本拼装逻辑。 - 覆盖 _exec_query_sql() 加锁、逐条执行 SQL、提交事务的路径。 - 覆盖 manipulation_data() 跳过非法控制行、识别匹配行并累计样本的场景。 - 覆盖 _multiprocess_callback_helper() 的分段处理和 multiprocess_callback() 异常清理路径。 - common_func/msprof_iteration.py - 新增基于真实临时项目目录和真实 step_trace.db 的集成测试，避免只靠 mock 补覆盖率。 - step 场景下覆盖： - get_step_syscnt_range_by_iter_range() - get_iter_interval() Build- get_iteration_end_dict()·GPT-5.4xcode - get_step_trace_op() - get_step_end_range_by_iter_range() - get_index_id_list_with_index_and_model() 的非 mix-op 返回路径 - mix graph 场景下覆盖： - get_step_iteration_time() - get_iteration_time() - get_condition_within_iteration() - get_iteration_info_by_index_id() - get_parallel_iter_range() - get_index_id_list_with_index_and_model() 的混合图并行迭代扩展逻辑 - 这些用例通过真实 sqlite 数据构造了 step/export/mix-op 的业务路径，验证了迭代区间推导、时间转换和并行迭代识别的实际行为。 - mscalculate/hwts/task_dispatch_model_index.py - 新增基于真实 step_trace.db 的业务测试，覆盖： - 混合图场景下根据 end_time 将任务派发到正确 (model_id, index_id) 的路径。 - 普通 step 场景下按迭代结束时间顺序回退派发的路径。 - 在补测过程中发现实现问题并修复： - get_index_id_list_with_index_and_model() 返回的是 (index_id, model_id)，原实现按 (model_id, index_id) 解包，导致混合图场景下查询迭代信息时参数顺序错误，可能把任务错误派发回 GE 模型。 - 已在 task_dispatch_model_index.py (/home/mrtutu/Project/msprof/analysis/mscalculate/hwts/task_dispatch_model_index.py:45) 修正为按 (index_id, model_id) 正确解包并查询。 **1. 验证效果** - 定向验证通过： - test_msprof_step.py + test_multi_process_cb.py 共 19 个用例通过 - test_msprof_iteration_integration.py + test_task_dispatch_model_index.py 共 4 个用例通过 - 全量 Python UT 通过： - 执行 bash scripts/execute_py_test_case.sh - 结果：2369 passed, 2 warnings - 覆盖率脚本通过： - 执行 bash scripts/generate_coverage_py.sh - 覆盖率提升情况： - coverage.xml 总体 line-rate：88.42% -> 89.01% - coverage.xml 总体 branch-rate：73.42% -> 74.56% - analysis/common_func/msprof_step.py：提升到 line-rate = 100% - analysis/common_func/multi_process_cb.py：17.65% -> 88.24% - analysis/common_func/msprof_iteration.py：55.87% -> 86.03% - analysis/mscalculate/hwts/task_dispatch_model_index.py：56.25% -> 100% ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!262	6 天前
interface	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
l2_cache	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
memory_copy	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
npu_mem	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
stars	msprof support rename block Dim to block Num Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !47 merge master into master msprof support rename block Dim to block Num Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** blockdim重命名为block num - **修改内容：** 修改项目中blockdim变量名为block ---- ## 2. 功能验证 - [x] **功能自验** - [x] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟）  ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!47	4 个月前
step_trace	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
tiling_block_num	支持解析launchKernel接口上报额外的profiling信息 Co-authored-by: xfeng<zchlcw663@163.com> # message auto-generated for no-merge-commit merge: !252 merge main into master 支持解析launchKernel接口上报额外的profiling信息 Created-by: zyb_230 Commit-by: xfeng Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 数据结构更改，runtime上通过修改数据结构上报额外的profiling信息。 ``` struct MsporfKernelInfo { uint16_t numBlocks; uint16_t argsSize; uint8_t ratio : 3; uint8_t schedMode : 2; uint8_t rsv : 3; uint8_t reserved[11]; }; struct MsprofDim3 { uint16_t x; uint16_t y; uint16_t z; }; struct MsprofSimtKernelInfo { MsprofDim3 gridDim; MsprofDim3 blockDim; uint16_t argsSize; uint8_t schedMode: 2; uint8_t rsv: 6; uint8_t reserved; }; struct MsprofRuntimeTrack { // for MsprofReportCompactInfo buffer data uint16_t deviceId; uint16_t streamId; uint32_t taskId; uint64_t taskType; // task message hash id uint64_t kernelName; // kernelname hash id union { struct MsporfKernelInfo kernelInfo; struct MsprofSimtKernelInfo simtKernelInfo; } extInfo; }; ``` - **修改内容：** - prof_common.h里面增加数据结构定义 - 分析树的时候，HostTask有个op指针，里面包含算子描述信息，带上runtime层的： ``` struct OpDesc { std::shared_ptr<MsprofCompactInfo> nodeDesc = nullptr; std::shared_ptr<MsprofCompactInfo> nodeAttr = nullptr; std::shared_ptr<MsprofCompactInfo> runtimeTrackDesc = nullptr; //新增 std::shared_ptr<ConcatTensorInfo> tensorDesc = nullptr; std::shared_ptr<MsprofAdditionalInfo> ctxId = nullptr; }; ``` - 分析树的时候，除了计算、通信、还有其他，这个其他的有一种白名单可以判断也是计算算子，这里也要带上SIMT类型 - cann落盘db的时候，增加新数据结构的处理： 根据dataLen字段可以保持兼容性；计算block_dim和mix_block_dim；ge_info.db的TaskInfo表新增两列：gridDim和blockDim - json导出的时候根据数据类型是否是SIMT做额外的处理 - db导出COMPUTE_TASK_INFO表新增两列gridDim和blockDim ---- ## 2. 功能验证 - [ ] **功能自验** ascend c simt：   ascend c非simt  kernelLaunch直调：  - [x] **本地自验用例截图** **已经在测试冒烟上进行验证，db校验那里到时候需要改一下校验，新增了两列！** - [x] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!252	4 天前
__init__.py	[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com>	5 个月前
test_calculate_ai_core_data.py	aicpu stream取值及PMU计算修正 Co-authored-by: fanhong<2532845962@qq.com> # message auto-generated for no-merge-commit merge: !91 merge master into master aicpu stream取值及PMU计算修正 Created-by: fanhong Commit-by: fanhong Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** aicpu stream取值及PMU计算修正 - **修改内容：** 1、aicpu中主从流信息匹配aicpu_stream id应该用aicpu_task_id，而非task_id，进行修正 2、pmu指标stu_pmu_wctl_ub_cflt未进行方法映射， 导致没有经过除以task_cycle计算，指标异常偏大 ---- ## 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） 1、AICPU 2、PMU ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [x ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!91	3 个月前