| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
aicpu sqe id适配 Co-authored-by: fanhong<2532845962@qq.com> # message auto-generated for no-merge-commit merge: !73 merge comm into master aicpu sqe id适配 Created-by: fanhong Commit-by: fanhong Merged-by: ascend-robot Description: ## 1. 修改描述 - **修改原因：** AICPU数据结构task id扩容，解析适配更改 - **修改内容：** 1、aicpu node信息改为从runtime获取stream id 2、aicpu csv改为通过唯一id获取node名称 3、task log中ai cpu小算子改为通过kfc info获取stream id ---- ## 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟）  ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [x] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!73 | 5 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
v5解析适配 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !78 merge local into master v5解析适配 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 适配v5数据解析 - **修改内容：** 适配v5数据解析 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!78 | 5 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]clean-code问题修改：copyright整改为统一 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
回退dataSize大于u32max方案，hccl默认值变更为0，而非u32max Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !313 merge local into master 回退dataSize大于u32max方案，hccl默认值变更为0，而非u32max Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** hccl默认值改成0，而不是u32max。原本修改需要回退。 之前修改https://gitcode.com/Ascend/msprof/pull/305 - **修改内容：** 回退对于dataSize大于u32max的额外处理 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!313 | 1 个月前 | |
预埋功能runtimeTrack数据streamId扩容到uint32_t_part2 Co-authored-by: panzhaohu<panzhaohu1@h-partners.com> # message auto-generated for no-merge-commit merge: !373 merge stream_python into master 预埋功能runtimeTrack数据streamId扩容到uint32_t_part2 Created-by: panzhaohu Commit-by: panzhaohu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 预埋功能runtimeTrack数据streamId扩容到uint32_t,taskType是model_execute或者model_notify_wait，profiling工具使用union里的MsprofModelInfo获取对应的moel id,在一年内，对于aclgraph场景需要同时上报新老两套MsprofRuntimeTrack/MsprofRuntimeTrackv2,MsprofCaptureStreamInfo/MsprofCaptureStreamInfov2 - **修改内容：** 新增 V2 数据 Bean 类: 新增 TaskTrackV2Bean、TaskTrackV2Chip6Bean 和 CaptureStreamInfoV2Bean，采用新布局（streamId 为 uint32_t，model_id 为 uint32_t），分别对应 V2 格式的 task_track 和 capture_stream_info 数据解析。 V1/V2 文件选择与解析策略: 在 TaskTrackParser 和 CaptureStreamInfoParser 中引入 V1 优先逻辑——通过文件名是否包含 _v2 区分格式，优先使用 V1 文件解析，V1 不存在时才回退到 V2。 V2 结构体格式定义: 在 StructFmt 中新增 TASK_TRACK_V2_FMT、CAPTURE_STREAM_INFO_V2_FMT 及对应 size 常量，并在 StructDecoder 中注册 TaskTrackV2Bean、TaskTrackV2Chip6Bean、CaptureStreamInfoV2Bean 的格式映射。 Model ID 信息提取与存储: TaskTrackParser 在格式化 task_track 数据时，若 task_type 为 MODEL_EXECUTE 或 MODEL_WAIT_COMPLETE，提取 (device_id, task_id, model_id) 并写入新表 TaskTrackV2；新增 TaskTraceV2ViewModel 和 TaskTrackV2Dto 用于查询该表。 RTAddInfoCenter 集成: 新增 load_model_id_info_data 方法，优先从 TaskTrackV2 表中按 (device_id, task_id) 查找 model_id，查不到时再走原有的 find_matching_model_id 逻辑。 文件匹配模式扩展: 新增 TASK_TRACK_V2_COMPACT_FILE_PATTERN 和 CAPTURE_STREAM_INFO_V2_PATTERN 正则模式，以及对应的 get_task_track_compact_compiles 和 get_capture_stream_info_compiles 返回值扩展，支持识别 V2 文件。 ---- ## 2. 功能验证 - [ ] **功能自验** v1和v2文件同时存在--python解析   stream_info.db  runtime.db  rts_track.db--TaskTrackV2  v2数据存在   stream_info  runtime.db  - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!373 | 12 天前 | |
db导出支持 sio ub dpu aicoreFreq表导出 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !268 merge local into master db导出支持 sio ub dpu aicoreFreq表导出 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 新增芯片支持导出db格式数据，对标timeline数据 - **修改内容：** 1、新增sio ub dpu aicoreFreq数据表导出 2、基于lowPowerData结构，替换原本aicoreFreq数据结构。删除aicoreFreq assembler相关数据处理逻辑 3、将原本sio的assembler部分逻辑抽象回sio processor。避免在db_assembler SaveSIO模块做重复数据处理 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!268 | 1 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
支持解析launchKernel接口上报额外的profiling信息 Co-authored-by: xfeng<zchlcw663@163.com> # message auto-generated for no-merge-commit merge: !252 merge main into master 支持解析launchKernel接口上报额外的profiling信息 Created-by: zyb_230 Commit-by: xfeng Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 数据结构更改，runtime上通过修改数据结构上报额外的profiling信息。 struct MsporfKernelInfo { uint16_t numBlocks; uint16_t argsSize; uint8_t ratio : 3; uint8_t schedMode : 2; uint8_t rsv : 3; uint8_t reserved[11]; }; struct MsprofDim3 { uint16_t x; uint16_t y; uint16_t z; }; struct MsprofSimtKernelInfo { MsprofDim3 gridDim; MsprofDim3 blockDim; uint16_t argsSize; uint8_t schedMode: 2; uint8_t rsv: 6; uint8_t reserved; }; struct MsprofRuntimeTrack { // for MsprofReportCompactInfo buffer data uint16_t deviceId; uint16_t streamId; uint32_t taskId; uint64_t taskType; // task message hash id uint64_t kernelName; // kernelname hash id union { struct MsporfKernelInfo kernelInfo; struct MsprofSimtKernelInfo simtKernelInfo; } extInfo; }; - **修改内容：** - prof_common.h里面增加数据结构定义 - 分析树的时候，HostTask有个op指针，里面包含算子描述信息，带上runtime层的： struct OpDesc { std::shared_ptr<MsprofCompactInfo> nodeDesc = nullptr; std::shared_ptr<MsprofCompactInfo> nodeAttr = nullptr; std::shared_ptr<MsprofCompactInfo> runtimeTrackDesc = nullptr; //新增 std::shared_ptr<ConcatTensorInfo> tensorDesc = nullptr; std::shared_ptr<MsprofAdditionalInfo> ctxId = nullptr; }; - 分析树的时候，除了计算、通信、还有其他，这个其他的有一种白名单可以判断也是计算算子，这里也要带上SIMT类型 - cann落盘db的时候，增加新数据结构的处理： 根据dataLen字段可以保持兼容性；计算block_dim和mix_block_dim；ge_info.db的TaskInfo表新增两列：gridDim和blockDim - json导出的时候根据数据类型是否是SIMT做额外的处理 - db导出COMPUTE_TASK_INFO表新增两列gridDim和blockDim ---- ## 2. 功能验证 - [ ] **功能自验** ascend c simt：   ascend c非simt  kernelLaunch直调：  - [x] **本地自验用例截图** **已经在测试冒烟上进行验证，db校验那里到时候需要改一下校验，新增了两列！** - [x] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!252 | 2 个月前 | |
preprocess of memory data v2 Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !253 merge pr_245 into master preprocess of memory data v2 Created-by: SoraAzzz Commit-by: SoraAzzz;xieanran Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 修改原因：内存数据V2数据适配预埋 内存数据V2数据适配预埋 修改内容： 1、将时间计算逻辑前移，全部移动到存入DB之前，Viewer阶段直接取到单位为ns的绝对时间 2、根据原有计算逻辑，添加公用get_absolute_time_by_sampling_timestamp、format_absolute_ns_to_us方法，用于计算绝对时间，以及格式化为交付件展示格式 3、新增analysis/msparser/versioned_struct_parser.py，用于处理不同的采集版本，通过info.json中version字段，统一处理二进制解析 4、HBM、LLC、MEM类中分别新增STRUCT_SPECS表，用于记录不同的version应该使用哪些FMT、SIZE、decoder，作为参数统一交给versioned_struct_parser处理，保证数据格式兼容性 - **修改内容：** 1、将时间计算逻辑前移，全部移动到存入DB之前，Viewer阶段直接取到单位为ns的绝对时间 2、根据原有计算逻辑，添加公用get_absolute_time_by_sampling_timestamp、format_absolute_ns_to_us方法，用于计算绝对时间，以及格式化为交付件展示格式 3、新增analysis/msparser/versioned_struct_parser.py，用于处理不同的采集版本，通过info.json中version字段，统一处理二进制解析 4、HBM、LLC、MEM类中分别新增STRUCT_SPECS表，用于记录不同的version应该使用哪些FMT、SIZE、decoder，作为参数统一交给versioned_struct_parser处理，保证数据格式兼容性 ---- ## 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [x] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [x] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!253 | 1 个月前 | |
msprof支持算法带宽计算和呈现 Co-authored-by: panzhaohu<panzhaohu1@h-partners.com> # message auto-generated for no-merge-commit merge: !243 merge 0519_ranksize into master msprof支持算法带宽计算和呈现 Created-by: panzhaohu Commit-by: panzhaohu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 新特性：支持算法带宽计算和呈现 - **修改内容：** 1.在processArgs接口里增加rankSize字段 2.在hccltask, hccltasksingledevice和hcclopsingledevice三个数据表里添加rankSize字段 3.在统一db里增加rank_size字段 ---- ## 2. 功能验证 - [ ] **功能自验** 统一db：  timeline：  - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!243 | 2 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]clean-code问题修改：copyright整改为统一 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
fix mstx data analysis err in acl graph scene Co-authored-by: mei-feiyao<meifeiyao@h-partners.com> # message auto-generated for no-merge-commit merge: !261 merge tagid into master fix mstx data analysis err in acl graph scene Created-by: mei-feiyao Commit-by: mei-feiyao Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 1.aclgraph场景，在capture的阶段内调用mstx打点接口进行打点的话，打点的task会被捕捉到图里。当该图多次replay时，会多次执行相同的打点task，最终采集到的device打点数据里index_id字段也会重复； 2.解析device打点数据的逻辑未适配该场景，最终解析时使用相同index_id的最早打点时间作为开始时间，使用最晚打点时间作为结束时间，最终呈现的device打点耗时错误。 - **修改内容：** 1.cann 9.1.0以后，mark打点tag id是11，range打点tag id是12，增加方法判断数据对应的cann版本信息； 2.修改解析逻辑，判断是9.1.0以后的cann，将相同index_id的打点数据按时间排序后，每两个匹配，作为一段打点的开始和结束打点；否则保持之前的逻辑 3.生成tx.csv时，以前只会生成相同mark id里的最后一条数据，现在修复保留并生成所有的打点数据 4.C化部分修改device tx数据的处理逻辑，对于tagid是11的数据直接保存，对于tagid是12的数据先按index id和timestamp排序，再两两配对，拼接成range ---- ## 2. 功能验证 - [ ] **功能自验**    - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!261 | 2 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
Profiling支持在 task_time呈现kernel_name Co-authored-by: WangangYu<2392205247@qq.com> # message auto-generated for no-merge-commit merge: !40 merge yuwangang into master Profiling支持在 task_time呈现kernel_name Created-by: MrYudd Commit-by: WangangYu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** aclGraph场景下，task_time显示的算子名称无法区分动态算子还是静态算子 - **修改内容：** 调整task_time的op_name字段由ge中获取到rts_track中获取 修改后对比  c化和python对比  ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!40 | 5 个月前 | |
Adapt fusion task trace timeline for Chip V6_1_0 Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !273 merge master into master Adapt fusion task trace timeline for Chip V6_1_0 Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** fusion task timeline呈现 - **修改内容：** fusion task viewer ---- ## 2. 功能验证 - [x] **功能自验** - [x] **本地自验用例截图** - [x] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [x] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [x] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [x] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!273 | 1 个月前 | |
hccl Aicpu展开算子在python解析时被归为hccl问题 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !70 merge local into master hccl Aicpu展开算子在python解析时被归为hccl问题 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 在A3 hccl aicpu展开场景中，python解析由于taskType判定异常，导致数据被归为hccl，没有和c化解析结果对齐。 hccl上报aicpu的nodeBasicInfo为HCCL类型， python侧：但是python内部判定是用COMMUNICATION进行taskType判定，导致判定失效。aicpu类型保留了HCCL类型，并导致后续aicpu.csv导出筛选aicpu类型失败。 c侧：通过枚举值进行taskType判定，该枚举值和HCCL的枚举值保持一致，因此c判定正常 - **修改内容：** python侧临时增加对hccl类型的判定，避免判定异常，保持和c化解析结果对齐。 后续统一修正hccl aicpu展开类算子的taskType处理流程 涉及处理点，helper的异常分支处理和aicpu导出taskType筛选 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!70 | 5 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
v5解析适配 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !78 merge local into master v5解析适配 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 适配v5数据解析 - **修改内容：** 适配v5数据解析 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++： - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++： - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!78 | 5 个月前 | |
[msprof-master]clean-code问题修改：copyright整改为统一 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 7 个月前 | ||
| 5 个月前 | ||
| 7 个月前 | ||
| 5 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 1 个月前 | ||
| 12 天前 | ||
| 1 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 2 个月前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 2 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 5 个月前 | ||
| 1 个月前 | ||
| 5 个月前 | ||
| 7 个月前 | ||
| 5 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 |