| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
预埋功能runtimeTrack数据streamId扩容到uint32_t_part2 Co-authored-by: panzhaohu<panzhaohu1@h-partners.com> # message auto-generated for no-merge-commit merge: !373 merge stream_python into master 预埋功能runtimeTrack数据streamId扩容到uint32_t_part2 Created-by: panzhaohu Commit-by: panzhaohu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 预埋功能runtimeTrack数据streamId扩容到uint32_t,taskType是model_execute或者model_notify_wait，profiling工具使用union里的MsprofModelInfo获取对应的moel id,在一年内，对于aclgraph场景需要同时上报新老两套MsprofRuntimeTrack/MsprofRuntimeTrackv2,MsprofCaptureStreamInfo/MsprofCaptureStreamInfov2 - **修改内容：** 新增 V2 数据 Bean 类: 新增 TaskTrackV2Bean、TaskTrackV2Chip6Bean 和 CaptureStreamInfoV2Bean，采用新布局（streamId 为 uint32_t，model_id 为 uint32_t），分别对应 V2 格式的 task_track 和 capture_stream_info 数据解析。 V1/V2 文件选择与解析策略: 在 TaskTrackParser 和 CaptureStreamInfoParser 中引入 V1 优先逻辑——通过文件名是否包含 _v2 区分格式，优先使用 V1 文件解析，V1 不存在时才回退到 V2。 V2 结构体格式定义: 在 StructFmt 中新增 TASK_TRACK_V2_FMT、CAPTURE_STREAM_INFO_V2_FMT 及对应 size 常量，并在 StructDecoder 中注册 TaskTrackV2Bean、TaskTrackV2Chip6Bean、CaptureStreamInfoV2Bean 的格式映射。 Model ID 信息提取与存储: TaskTrackParser 在格式化 task_track 数据时，若 task_type 为 MODEL_EXECUTE 或 MODEL_WAIT_COMPLETE，提取 (device_id, task_id, model_id) 并写入新表 TaskTrackV2；新增 TaskTraceV2ViewModel 和 TaskTrackV2Dto 用于查询该表。 RTAddInfoCenter 集成: 新增 load_model_id_info_data 方法，优先从 TaskTrackV2 表中按 (device_id, task_id) 查找 model_id，查不到时再走原有的 find_matching_model_id 逻辑。 文件匹配模式扩展: 新增 TASK_TRACK_V2_COMPACT_FILE_PATTERN 和 CAPTURE_STREAM_INFO_V2_PATTERN 正则模式，以及对应的 get_task_track_compact_compiles 和 get_capture_stream_info_compiles 返回值扩展，支持识别 V2 文件。 ---- ## 2. 功能验证 - [ ] **功能自验** v1和v2文件同时存在--python解析   stream_info.db  runtime.db  rts_track.db--TaskTrackV2  v2数据存在   stream_info  runtime.db  - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!373 | 20 天前 | |
统一streamId，taskId和batchId的字节大小为uint32_t Co-authored-by: panzhaohu<panzhaohu1@h-partners.com> # message auto-generated for no-merge-commit merge: !388 merge 0728_master into master 统一streamId，taskId和batchId的字节大小为uint32_t Created-by: panzhaohu Commit-by: panzhaohu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** streamId在代码有的地方是uint16_t,有的地方是uint32_t，不方便维护，现在统一大小 - **修改内容：** pre_commit扫描时会将变量名称*Datas改为Data,添加屏蔽规则 log_modeling里将LogModeling::GenMergeTaskKey(const HalLogData& logData)返回值改为结构体struct MergeTaskKeyData { uint32_t contextId; uint32_t taskId; uint32_t streamId; bool operator<(const MergeTaskKeyData& other) const { if (contextId != other.contextId) return contextId < other.contextId; if (taskId != other.taskId) return taskId < other.taskId; return streamId < other.streamId; } }; 因为将streamId和taskId扩容，组成的返回值超过uint64_t 核心数据结构 TaskId::streamId 类型变更: 将 analysis/csrc/domain/valueobject/include/task_id.h 中 TaskId 的 streamId 成员从 uint16_t 改为 uint32_t，构造函数参数和 IDHasher 哈希函数中的 hash<uint16_t> 同步改为 hash<uint32_t>，是本次统一的基础变更。 移除 assembler/processor 中冗余的类型转换: 在 op_summary_assembler.cpp、task_time_assembler.cpp、ascend_hardware_assembler.cpp、block_detail_assembler.cpp、overlap_analysis_processor.cpp、page_fault_processor.cpp 和 load_host_data.cpp 等文件中，移除了构造 TaskId 时对 streamId 的 static_cast<uint16_t>() 转换，因为字段类型现已匹配。 CCU/KFC/DPU 相关实体的 streamId 类型统一: 在 ccu_mission_processor.h、ccu_mission_data.h、dpu_processor.h、dpu_data.h、kfc_task_processor.h 和 kfc_turn_data.h 中，将各结构体（CCUMissionInfo、DPUData、KfcTurnData 等）及 using 类型别名（OriCCUMissionData、TrackFormat、OriKfcCommData 等）中的 streamId 从 uint16_t 改为 uint32_t，初始值也从 UINT16_MAX 改为 UINT32_MAX。 log_modeling.cpp 中分组键位运算调整: 由于 streamId 扩展为 32 位，GenMergeTaskKey 中 CONTEXT_OFFSET 从 32 改为 48、TASK_OFFSET 从 16 改为 32，新增 LOW_32BIT_MASK 常量，低 32 位用于存放完整的 streamId，高 16 位改为存放 deviceId 替代原来的 contextId；GenGroupKey 返回类型保持不变但内部直接使用 32 位 streamId。 持久化层和 HAL 实体中 streamId 相关类型适配: 在 ts_track_persistence.cpp 中将 TaskTypeDataFormat、StepTraceDataFormat 等数据库查询格式中的 stream_id 字段从 uint16_t 改为 uint32_t；在 ascend_obj.h 中将 CaptureStreamInfo::originalStreamId 改为 uint32_t；在 rt_add_info_center.cpp 中同步更新 LoadCaptureInfoDB 的查询 DataFormat；在 pmu_modeling.h 中将 pmu_ 映射的键类型从 uint16_t 改为 uint32_t；step_trace_tasks.h 中 allReduceTable 和 getNextTable 的键类型也同步改为 uint32_t。 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟）  ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!388 | 4 天前 | |
补充aicpu additional parser c化模块 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !387 merge cDev into master 补充aicpu additional parser c化模块 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 适配解析框架整体c化。支持aicpu 数据解析c化能力。 - **修改内容：** 1、适配V6场景 streamInfo获取方式，增加相关数据在数据中心中存储。 2、适配streamInfo数据处理，区分HostStreamInfo和DeviceStreamInfo。 3、适配aicoreFreq数据导出流程对于SteamInfo模块依赖 4、增加aicpu parser及其parserItem类设计，增加二进制文件解析流程 5、增加AicpuPersistence aicpu数据持久类，分类aicpu原始数据并落盘于对应的数据db。 ---- ## 2. 功能验证 - [ ] **功能自验** 单timeline数据导出，整体收益在15%左右。 | aicpu大小 | python解析 | c化解析 | 收益 | |--|--|--|--| | 13MB | 8.676s | 7.515s | 15.4% | | 60MB | 40.494s | 35.240s | 14.9% | 已知问题：kfcInfo数据导出的role字段，目前没有转换为DST/SRC/RESERVED/INVALID_TYPE,由于目前role没有使用，暂时先不处理。后续重构删除role数据落盘 - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!387 | 12 天前 | |
Fixed typo in platform analysis Co-authored-by: kokljuevs<kokljuev.sergey@huawei.com> # message auto-generated for no-merge-commit merge: !207 merge master into master Fix typo and regex Created-by: kokljuevs Commit-by: kokljuevs Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** - **修改内容：** Fixed typo, fixed regexp ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） Checked locally ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!207 | 3 个月前 | |
[Feature]安全策略精简 Co-authored-by: yuliangbin<y1416490440@163.com> # message auto-generated for no-merge-commit merge: !275 merge fix_safe into master [Feature]安全策略精简 Created-by: yu_liangbin Commit-by: yuliangbin Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 易用性安全校验相关整改 - **修改内容：** 1.软链接校验改告警 analysis/common_func/file_manager.py analysis/csrc/infrastructure/utils/file.cpp 2.权限属主异常改告警 analysis/common_func/file_manager.py 3.路径长度放宽4096 analysis/common_func/ms_constant/number_constant.py analysis/interface/get_msprof_info.py analysis/csrc/infrastructure/utils/config.h analysis/csrc/infrastructure/utils/file.cpp 4.文件读取限制放宽 analysis/common_func/constant.py analysis/csrc/infrastructure/utils/file.cpp analysis/csrc/infrastructure/utils/file.h 5.Parser大小限制放宽 analysis/csrc/domain/services/parser/parser.cpp 6.UT适配 ---- ## 2. 功能验证 - [x] **功能自验** - [x] **本地自验用例截图** - [x] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!275 | 2 个月前 | |
调整A5 mix类算子从核的time计算方式，重新采用total_cycle计算 Co-authored-by: Seanesmhxocism<wangzixuan54@huawei.com> # message auto-generated for no-merge-commit merge: !402 merge local into master 调整A5 mix类算子从核的time计算方式，重新采用total_cycle计算 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 在A5 mix算子类型中，aic_time/aiv_time和total_cycle仅存在逻辑上的关系。 预期是total_cycle通过频率和blockNum计算得到对应的时间。但是在A5新数据中，底软明确数据中的start和end时间已校准，可直接计算。导致当前逻辑中，实际是没有通过total_cycle计算的。 由于mix类算子aic和aiv都会使用，并且底软在数据上报时，是两个核都结束调用后，才会返回，导致其中填的start和end和实际的total_cycle含义无法对齐。 即 可能有个核的total_cycle时间很短，但是他在等待另一个核结束，进而拉长了start和end时间。 - **修改内容：** 1、将从核的时间调整回total_cycle计算 2、对于mix_aiv类型的算子，其aic ： aiv 一定是0:1.因此，aic时间一定为0，可跳过计算逻辑。 3、pmu_calculator.py里涉及到 迭代导出模式下 sql语句的参数查询实现存在问题，做格式化修改替换 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!402 | 4 天前 | |
增加aicpu数据落盘前的flip计算逻辑，简化后续数据处理 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !393 merge cDev into master 增加aicpu数据落盘前的flip计算逻辑，简化后续数据处理 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** aicpu相关数据依赖aicpuFlipTask做batchId计算，该逻辑再后续的kfc_calculator相关逻辑中反复遇到。为简化后续处理流程，在落盘前就完成相关id计算。 - **修改内容：** 目前修改后，相关数据仅存于db数据中，暂时未使用相关数据内容。后续流程中会校验相关数据正确性 1、python侧aicpuParser逻辑中，增加batchId计算方式 2、c++侧aicpuPersistence逻辑中，增加batchId计算方式 ---- ## 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [x] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [x] **指针使用前需要判空** - [x] **数值计算校验溢出和反转** - [x] **不可存在内存泄漏（异常场景需要释放内存）** - [x] **类型转换不能出现数据截断** - [x] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [x] **拷贝内存时，目的缓冲区不小于源缓冲区** - [x] **内存释放后指针赋值为 nullptr** ---- 不涉及 ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!393 | 7 天前 | |
Adapt fusion task trace timeline for Chip V6_1_0 Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !273 merge master into master Adapt fusion task trace timeline for Chip V6_1_0 Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** fusion task timeline呈现 - **修改内容：** fusion task viewer ---- ## 2. 功能验证 - [x] **功能自验** - [x] **本地自验用例截图** - [x] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [x] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [x] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [x] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!273 | 2 个月前 | |
bugfix: sql 语句异常 Co-authored-by: Seanesmhxocism<wangzixuan54@huawei.com> # message auto-generated for no-merge-commit merge: !410 merge local into master bugfix: sql 语句异常 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 之前修改代码逻辑，sql语句写的有问题 - **修改内容：** 修复正确的sql语句 ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!410 | 1 天前 | |
增加aicpu数据落盘前的flip计算逻辑，简化后续数据处理 Co-authored-by: Seanesmhxocism<617225691@qq.com> # message auto-generated for no-merge-commit merge: !393 merge cDev into master 增加aicpu数据落盘前的flip计算逻辑，简化后续数据处理 Created-by: Seanesmhxocism Commit-by: Seanesmhxocism Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** aicpu相关数据依赖aicpuFlipTask做batchId计算，该逻辑再后续的kfc_calculator相关逻辑中反复遇到。为简化后续处理流程，在落盘前就完成相关id计算。 - **修改内容：** 目前修改后，相关数据仅存于db数据中，暂时未使用相关数据内容。后续流程中会校验相关数据正确性 1、python侧aicpuParser逻辑中，增加batchId计算方式 2、c++侧aicpuPersistence逻辑中，增加batchId计算方式 ---- ## 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [x] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [x] **指针使用前需要判空** - [x] **数值计算校验溢出和反转** - [x] **不可存在内存泄漏（异常场景需要释放内存）** - [x] **类型转换不能出现数据截断** - [x] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [x] **拷贝内存时，目的缓冲区不小于源缓冲区** - [x] **内存释放后指针赋值为 nullptr** ---- 不涉及 ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!393 | 7 天前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
预埋功能runtimeTrack数据streamId扩容到uint32_t_part2 Co-authored-by: panzhaohu<panzhaohu1@h-partners.com> # message auto-generated for no-merge-commit merge: !373 merge stream_python into master 预埋功能runtimeTrack数据streamId扩容到uint32_t_part2 Created-by: panzhaohu Commit-by: panzhaohu Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** 预埋功能runtimeTrack数据streamId扩容到uint32_t,taskType是model_execute或者model_notify_wait，profiling工具使用union里的MsprofModelInfo获取对应的moel id,在一年内，对于aclgraph场景需要同时上报新老两套MsprofRuntimeTrack/MsprofRuntimeTrackv2,MsprofCaptureStreamInfo/MsprofCaptureStreamInfov2 - **修改内容：** 新增 V2 数据 Bean 类: 新增 TaskTrackV2Bean、TaskTrackV2Chip6Bean 和 CaptureStreamInfoV2Bean，采用新布局（streamId 为 uint32_t，model_id 为 uint32_t），分别对应 V2 格式的 task_track 和 capture_stream_info 数据解析。 V1/V2 文件选择与解析策略: 在 TaskTrackParser 和 CaptureStreamInfoParser 中引入 V1 优先逻辑——通过文件名是否包含 _v2 区分格式，优先使用 V1 文件解析，V1 不存在时才回退到 V2。 V2 结构体格式定义: 在 StructFmt 中新增 TASK_TRACK_V2_FMT、CAPTURE_STREAM_INFO_V2_FMT 及对应 size 常量，并在 StructDecoder 中注册 TaskTrackV2Bean、TaskTrackV2Chip6Bean、CaptureStreamInfoV2Bean 的格式映射。 Model ID 信息提取与存储: TaskTrackParser 在格式化 task_track 数据时，若 task_type 为 MODEL_EXECUTE 或 MODEL_WAIT_COMPLETE，提取 (device_id, task_id, model_id) 并写入新表 TaskTrackV2；新增 TaskTraceV2ViewModel 和 TaskTrackV2Dto 用于查询该表。 RTAddInfoCenter 集成: 新增 load_model_id_info_data 方法，优先从 TaskTrackV2 表中按 (device_id, task_id) 查找 model_id，查不到时再走原有的 find_matching_model_id 逻辑。 文件匹配模式扩展: 新增 TASK_TRACK_V2_COMPACT_FILE_PATTERN 和 CAPTURE_STREAM_INFO_V2_PATTERN 正则模式，以及对应的 get_task_track_compact_compiles 和 get_capture_stream_info_compiles 返回值扩展，支持识别 V2 文件。 ---- ## 2. 功能验证 - [ ] **功能自验** v1和v2文件同时存在--python解析   stream_info.db  runtime.db  rts_track.db--TaskTrackV2  v2数据存在   stream_info  runtime.db  - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [ ] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [ ] **不允许私有的文件操作，需要使用公共模块的安全函数** - [ ] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [ ] **数组访问需要校验越界场景，对除法需要做除零校验** - [ ] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [ ] **需要充分进行接口输入和返回值异常情况的校验** - [ ] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [ ] **指针使用前需要判空** - [ ] **数值计算校验溢出和反转** - [ ] **不可存在内存泄漏（异常场景需要释放内存）** - [ ] **类型转换不能出现数据截断** - [ ] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [ ] **拷贝内存时，目的缓冲区不小于源缓冲区** - [ ] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [ ] **资料修改** - [ ] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!373 | 20 天前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 | |
[performance]enhanced the process of ccu max delay to lowered the time complexity from o(mn) to o(m+n) Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !343 merge master into master [performance]enhanced the process of ccu max delay to lowered the time complexity from o(mn) to o(m+n) Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: # PR 合入模板 **注：经过自检不涉及的可标注“不涉及”或直接打勾，特殊情况请文字备注。不符合规范的 PR 不允许合入，请（后备）commit 注意。** ---- ## 1. 修改描述 - **修改原因：** ccu 寻找max delay慢，需要优化 - **修改内容：** 优化了 CCU 最大延迟通道查找算法，从 O(mn) 降至 O(m+n)，新增一条 channelId=4 的测试数据 后续优化方向：看看能不能压缩channel id，目前看虽然算法是o(m+n)，已降至线性，其次可以看下能否优化匹配算法本身。 ---- ## 2. 功能验证 - [x] **功能自验**  - [ ] **本地自验用例截图** - [ ] **冒烟是否通过** （填入群链接的自验证报告中，如未通过，请说明原因：____________________ ，功能代码请主动申报添加冒烟） ---- ## 3. 分支合并要求 - [ ] **代码合并**（请确保将 master 分支的最新代码同步合并至 poc 分支及 pre-research 分支，同时保证 poc 分支的代码也已正确合并到 pre-research 分支。） ---- ## 3. 代码检视 - **要求：** - 合入代码超过 200 行，需三人以上会议检视。 - 检视密度≥1个/100行。 - 检视缺陷密度未达要求需提供说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备 UT 测试用例看护** （如不符合，请说明原因：____________________） - **检视意见数：____ 条** （请填写本次检视的意见总数，用于commit合入前审视） ---- ## 4. 安全自检 ### Python、C++ - [x] **对外接口新增/删除/变更后，资料要同步新增/删除/变更，新增接口入参校验参考外部输入表格** - [x] **不允许私有的文件操作，需要使用公共模块的安全函数** - [x] **任务结束后需要删除临时文件，同时需要考虑任务失败后，临时文件没有残留** - [x] **数组访问需要校验越界场景，对除法需要做除零校验** - [x] **需要对递归方法做递归深度校验，正则表达式必须做 ReDoS 校验** - [x] **需要充分进行接口输入和返回值异常情况的校验** - [x] **日志打印不要出现拼写或语法错误，不要暴露代码细节和敏感信息** ### C++ - [x] **指针使用前需要判空** - [x] **数值计算校验溢出和反转** - [x] **不可存在内存泄漏（异常场景需要释放内存）** - [x] **类型转换不能出现数据截断** - [x] **拷贝字符串时，目的缓冲区至少比源缓冲区大 1** - [x] **拷贝内存时，目的缓冲区不小于源缓冲区** - [x] **内存释放后指针赋值为 nullptr** ---- ## 5. 变更知会 - [x] **资料修改** - [x] **变更通知（消息知会 + 邮件知会）** ---- See merge request: Ascend/msprof!343 | 1 个月前 | |
[msprof-master]out分支同步到master分支 Co-authored-by: yu-liang-bin<y1416490440@163.com> | 7 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 7 个月前 | ||
| 20 天前 | ||
| 4 天前 | ||
| 12 天前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 4 天前 | ||
| 7 天前 | ||
| 2 个月前 | ||
| 1 天前 | ||
| 7 天前 | ||
| 7 个月前 | ||
| 20 天前 | ||
| 7 个月前 | ||
| 1 个月前 | ||
| 7 个月前 |