msserviceprofiler/ms_service_profiler/processor · yu_liangbin/MindStudio-Service-Profiler

ascend-robot【msserviceprofiler_master】当profiling数据为空时，优化日志打印

文件	最后提交记录	最后更新时间
__init__.py	init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13	9 个月前
mindie_split_processor.py	【重构】重构ms_service_profiler_ext模块 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !234 merge 0321 into master 【重构】重构ms_service_profiler_ext模块 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: --- ## 修改描述 - 修改原因： - 简化模块结构，消除 `ms_service_profiler_ext` 嵌套层级 - 将 `ms_service_profiler_ext` 模块内容提升至 `ms_service_profiler` 根目录，减少导入路径长度 - 统一公共工具模块位置，将 `common/` 迁移至 `utils/` - 修改内容： 1. 模块迁移（14个文件重命名+迁移）： - `ms_service_profiler_ext/analyze.py` → `ms_service_profiler/analyze.py` - `ms_service_profiler_ext/compare.py` → `ms_service_profiler/compare.py` - `ms_service_profiler_ext/split.py` → `ms_service_profiler/split.py` - `ms_service_profiler_ext/exporters/` → `ms_service_profiler/exporters/` - `exporter_decode.py`, `exporter_prefill.py`, `exporter_summary.py` - `ms_service_profiler_ext/split_processor/` → `ms_service_profiler/processor/` - `mindie_processor.py` → `mindie_split_processor.py` - `base_processor.py` → `split_base_processor.py` - `vllm_processor.py` → `vllm_split_processor.py` - `ms_service_profiler_ext/common/` → `ms_service_profiler/utils/` - `csv_fields.py`, `sec.py` → `ext_sec.py`, `utils.py` → `ext_utils.py`, `split_utils.py` 2. 常量合并： - 将 `ms_service_profiler_ext/common/constants.py` 中的 `MAX_BATCH_NUMBER`, `US_PER_MS` 迁移至 `ms_service_profiler/utils/constants.py` - 删除冗余的 `constants.py` 文件 3. 导入路径更新（34个文件）： - 更新所有 `from ms_service_profiler.ms_service_profiler_ext.xxx` 为 `from ms_service_profiler.xxx` - 更新所有内部引用路径 4. 文档更新： - `docs/zh/dir_structure.md` - 更新目录结构说明 - `docs/zh/developer_guide/development_guide.md` - 更新入口点示例 - `pyproject.toml` - 更新 entry-points 配置 5. 测试更新（15个测试文件）： - 更新所有测试文件的导入路径 - 更新 mock 路径 - [ ] 涉及代码双合(贴上另一个PR链接)：无 ---- ### 2. 功能验证 - [x] 功能自验 - [ ] 本地自验用例截图（请确保不体现个人信息） - [x] 冒烟是否通过 ---- ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] 是否经过代码检视 - [x] 是否具备UT测试用例看护 ✓ 已更新15个测试文件的导入路径 ---- ### 4. 安全自检典型安全编码问题 - [ ] 若涉及对外接口，是否已校验外部数据 - [x] MR 标题和描述是否按格式填写 - [ ] 是否进行空指针校验 - [ ] 是否进行返回值校验 - [ ] 是否正确考虑文件权限配置 - [ ] 是否充分考虑接口的异常场景 - [ ] 是否正确记录错误日志 - [ ] 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - [ ] 若涉及运算，是否存在整数溢出、除零等风险 ✓ 本次为纯重构，未引入新逻辑 ---- ### 5. 变更知会 - 资料修改： - `docs/zh/dir_structure.md` - 目录结构调整 - `docs/zh/developer_guide/development_guide.md` - 开发指南中的示例更新 - 变更通知（消息知会 + 邮件知会）： ---- ### 6. 冒烟修改 - PR 来源： - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [x] 其他（代码结构优化/重构） - [ ] 是否存在冒烟可以拦截却未拦截的情况 - [ ] 是否需要添加冒烟： ---- See merge request: Ascend/msserviceprofiler!234	6 个月前
processor_base.py	init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13	9 个月前
processor_eplb_observe.py	【msserviceprofiler_master】当profiling数据为空时，优化日志打印 Co-authored-by: hewenbo<hewenbo16@h-partners.com> # message auto-generated for no-merge-commit merge: !352 merge master into master 【msserviceprofiler_master】当profiling数据为空时，优化日志打印 Created-by: hewenbo Commit-by: hewenbo Merged-by: ascend-robot Description: # PR 合入模板 ## 1. 修改描述 - 修改原因： - 修改内容： - [ ] 涉及代码双合(贴上另一个PR链接)： ---- ## 2. 功能验证 - [ ] 功能自验 - [ ] 本地自验用例截图（请确保不体现个人信息） - [ ] 冒烟是否通过 ---- ## 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] 是否经过代码检视 - [ ] 是否具备UT测试用例看护 ---- ## 4. 安全自检典型安全编码问题 - [ ] 若涉及对外接口，是否已校验外部数据 - [ ] MR 标题和描述是否按格式填写 - [ ] 是否进行空指针校验 - [ ] 是否进行返回值校验 - [ ] 是否正确考虑文件权限配置 - [ ] 是否充分考虑接口的异常场景 - [ ] 是否正确记录错误日志 - [ ] 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - [ ] 若涉及运算，是否存在整数溢出、除零等风险 ---- ## 5. 变更知会 - 资料修改： - 变更通知（消息知会 + 邮件知会）： ---- ## 6. 冒烟修改 - PR 来源： - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] 是否存在冒烟可以拦截却未拦截的情况 - [ ] 是否需要添加冒烟： ---- See merge request: Ascend/msserviceprofiler!352	4 个月前
processor_meta.py	init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13	9 个月前
processor_req.py	【issue】【bugfix】修复vllm场景下部分view生成异常的问题 Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !88 merge bugfix_vllm_view into master 【issue】【bugfix】修复vllm场景下部分view生成异常的问题 Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ### 1. 修改描述 - 修改原因： vllm部分采集字段存在差异，需要保证兼容性 - 修改内容： - [N] 涉及代码双合(贴上另一个PR链接)： ---- ### 2. 功能验证 - [Y] 功能自验 - [ ] 本地自验用例截图（请确保不体现个人信息） - [ ] 冒烟是否通过 ---- ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [Y] 是否经过代码检视 - [Y] 是否具备UT测试用例看护 ---- ### 4. 安全自检典型安全编码问题 - [NA] 若涉及对外接口，是否已校验外部数据 - [NA] MR 标题和描述是否按格式填写 - [NA] 是否进行空指针校验 - [NA] 是否进行返回值校验 - [NA] 是否正确考虑文件权限配置 - [NA] 是否充分考虑接口的异常场景 - [NA] 是否正确记录错误日志 - [NA] 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - [NA] 若涉及运算，是否存在整数溢出、除零等风险 ---- ### 5. 变更知会 - 资料修改： NA - 变更通知（消息知会 + 邮件知会）： NA ---- ### 6. 冒烟修改 - PR 来源： - [Y] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] 是否存在冒烟可以拦截却未拦截的情况 - [ ] 是否需要添加冒烟： ---- See merge request: Ascend/msserviceprofiler!88	8 个月前
processor_res.py	【feature】【vllm】适配vllm 0.14.0后，请求进入队列后新增hash后缀问题 Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !233 merge bugfix into master 【feature】【vllm】适配vllm 0.14.0后，请求进入队列后新增hash后缀问题 Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ## PR 描述 ### 1. 修改描述 - 修改原因：在 vllm v1 版本中，早期事件（如 httpReq/tokenize）使用原始 rid，而后续事件（queued/execution）可能携带 -xxxxxxxx 格式的 hash 后缀。这导致同一请求的不同阶段事件无法正确关联，影响数据解析和统计的准确性。 - 修改内容： 1. 新增 rid hash 映射机制：在 PluginConcat.parse() 中新增 _build_rid_hash_mapping() 方法，自动识别并构建 hashed rid → original rid 的映射关系 2. 支持多 rid 场景：兼容一个原始 rid 分出多个带 hash 后缀 rid 的场景，支持 rid 、 rid_list 、 res_list 列的映射 3. 性能优化：引入字符串缓存机制 _apply_rid_mapping() ，避免重复映射相同字符串 4. UT 补充：新增多个测试用例覆盖 hash rid 映射场景，包括性能基准测试 - 涉及代码双合：无 ### 2. 功能验证 - 功能自验 Y - 本地自验用例截图（请确保不体现个人信息） - 冒烟是否通过 ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - 是否经过代码检视 - 是否具备UT测试用例看护修改文件统计：文件修改行数 ms_service_profiler/plugins/plugin_concat.py +150/-30 test_plugin_concat.py +200/-0 ### 4. 安全自检典型安全编码问题 - 若涉及对外接口，是否已校验外部数据 - MR 标题和描述是否按格式填写 - 是否进行空指针校验 - 已在 _build_rid_hash_mapping 中处理 None/empty 场景 - 是否进行返回值校验 - 是否正确考虑文件权限配置 - 是否充分考虑接口的异常场景 - 是否正确记录错误日志 - 使用 logger.warning 记录映射信息 - 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - 使用简单正则 -[a-f0-9]{8}$ ，无风险 - 若涉及运算，是否存在整数溢出、除零等风险 ### 5. 变更知会 - 资料修改：无 - 变更通知（消息知会 + 邮件知会）：无 ### 6. 冒烟修改 - PR 来源： - 问题单 - 需求特性 - 安全排查 - 其他 - 是否存在冒烟可以拦截却未拦截的情况：无 - 是否需要添加冒烟：否 See merge request: Ascend/msserviceprofiler!233	6 个月前
split_base_processor.py	【重构】重构ms_service_profiler_ext模块 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !234 merge 0321 into master 【重构】重构ms_service_profiler_ext模块 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: --- ## 修改描述 - 修改原因： - 简化模块结构，消除 `ms_service_profiler_ext` 嵌套层级 - 将 `ms_service_profiler_ext` 模块内容提升至 `ms_service_profiler` 根目录，减少导入路径长度 - 统一公共工具模块位置，将 `common/` 迁移至 `utils/` - 修改内容： 1. 模块迁移（14个文件重命名+迁移）： - `ms_service_profiler_ext/analyze.py` → `ms_service_profiler/analyze.py` - `ms_service_profiler_ext/compare.py` → `ms_service_profiler/compare.py` - `ms_service_profiler_ext/split.py` → `ms_service_profiler/split.py` - `ms_service_profiler_ext/exporters/` → `ms_service_profiler/exporters/` - `exporter_decode.py`, `exporter_prefill.py`, `exporter_summary.py` - `ms_service_profiler_ext/split_processor/` → `ms_service_profiler/processor/` - `mindie_processor.py` → `mindie_split_processor.py` - `base_processor.py` → `split_base_processor.py` - `vllm_processor.py` → `vllm_split_processor.py` - `ms_service_profiler_ext/common/` → `ms_service_profiler/utils/` - `csv_fields.py`, `sec.py` → `ext_sec.py`, `utils.py` → `ext_utils.py`, `split_utils.py` 2. 常量合并： - 将 `ms_service_profiler_ext/common/constants.py` 中的 `MAX_BATCH_NUMBER`, `US_PER_MS` 迁移至 `ms_service_profiler/utils/constants.py` - 删除冗余的 `constants.py` 文件 3. 导入路径更新（34个文件）： - 更新所有 `from ms_service_profiler.ms_service_profiler_ext.xxx` 为 `from ms_service_profiler.xxx` - 更新所有内部引用路径 4. 文档更新： - `docs/zh/dir_structure.md` - 更新目录结构说明 - `docs/zh/developer_guide/development_guide.md` - 更新入口点示例 - `pyproject.toml` - 更新 entry-points 配置 5. 测试更新（15个测试文件）： - 更新所有测试文件的导入路径 - 更新 mock 路径 - [ ] 涉及代码双合(贴上另一个PR链接)：无 ---- ### 2. 功能验证 - [x] 功能自验 - [ ] 本地自验用例截图（请确保不体现个人信息） - [x] 冒烟是否通过 ---- ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] 是否经过代码检视 - [x] 是否具备UT测试用例看护 ✓ 已更新15个测试文件的导入路径 ---- ### 4. 安全自检典型安全编码问题 - [ ] 若涉及对外接口，是否已校验外部数据 - [x] MR 标题和描述是否按格式填写 - [ ] 是否进行空指针校验 - [ ] 是否进行返回值校验 - [ ] 是否正确考虑文件权限配置 - [ ] 是否充分考虑接口的异常场景 - [ ] 是否正确记录错误日志 - [ ] 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - [ ] 若涉及运算，是否存在整数溢出、除零等风险 ✓ 本次为纯重构，未引入新逻辑 ---- ### 5. 变更知会 - 资料修改： - `docs/zh/dir_structure.md` - 目录结构调整 - `docs/zh/developer_guide/development_guide.md` - 开发指南中的示例更新 - 变更通知（消息知会 + 邮件知会）： ---- ### 6. 冒烟修改 - PR 来源： - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [x] 其他（代码结构优化/重构） - [ ] 是否存在冒烟可以拦截却未拦截的情况 - [ ] 是否需要添加冒烟： ---- See merge request: Ascend/msserviceprofiler!234	6 个月前
vllm_split_processor.py	【重构】重构ms_service_profiler_ext模块 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !234 merge 0321 into master 【重构】重构ms_service_profiler_ext模块 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: --- ## 修改描述 - 修改原因： - 简化模块结构，消除 `ms_service_profiler_ext` 嵌套层级 - 将 `ms_service_profiler_ext` 模块内容提升至 `ms_service_profiler` 根目录，减少导入路径长度 - 统一公共工具模块位置，将 `common/` 迁移至 `utils/` - 修改内容： 1. 模块迁移（14个文件重命名+迁移）： - `ms_service_profiler_ext/analyze.py` → `ms_service_profiler/analyze.py` - `ms_service_profiler_ext/compare.py` → `ms_service_profiler/compare.py` - `ms_service_profiler_ext/split.py` → `ms_service_profiler/split.py` - `ms_service_profiler_ext/exporters/` → `ms_service_profiler/exporters/` - `exporter_decode.py`, `exporter_prefill.py`, `exporter_summary.py` - `ms_service_profiler_ext/split_processor/` → `ms_service_profiler/processor/` - `mindie_processor.py` → `mindie_split_processor.py` - `base_processor.py` → `split_base_processor.py` - `vllm_processor.py` → `vllm_split_processor.py` - `ms_service_profiler_ext/common/` → `ms_service_profiler/utils/` - `csv_fields.py`, `sec.py` → `ext_sec.py`, `utils.py` → `ext_utils.py`, `split_utils.py` 2. 常量合并： - 将 `ms_service_profiler_ext/common/constants.py` 中的 `MAX_BATCH_NUMBER`, `US_PER_MS` 迁移至 `ms_service_profiler/utils/constants.py` - 删除冗余的 `constants.py` 文件 3. 导入路径更新（34个文件）： - 更新所有 `from ms_service_profiler.ms_service_profiler_ext.xxx` 为 `from ms_service_profiler.xxx` - 更新所有内部引用路径 4. 文档更新： - `docs/zh/dir_structure.md` - 更新目录结构说明 - `docs/zh/developer_guide/development_guide.md` - 更新入口点示例 - `pyproject.toml` - 更新 entry-points 配置 5. 测试更新（15个测试文件）： - 更新所有测试文件的导入路径 - 更新 mock 路径 - [ ] 涉及代码双合(贴上另一个PR链接)：无 ---- ### 2. 功能验证 - [x] 功能自验 - [ ] 本地自验用例截图（请确保不体现个人信息） - [x] 冒烟是否通过 ---- ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] 是否经过代码检视 - [x] 是否具备UT测试用例看护 ✓ 已更新15个测试文件的导入路径 ---- ### 4. 安全自检典型安全编码问题 - [ ] 若涉及对外接口，是否已校验外部数据 - [x] MR 标题和描述是否按格式填写 - [ ] 是否进行空指针校验 - [ ] 是否进行返回值校验 - [ ] 是否正确考虑文件权限配置 - [ ] 是否充分考虑接口的异常场景 - [ ] 是否正确记录错误日志 - [ ] 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - [ ] 若涉及运算，是否存在整数溢出、除零等风险 ✓ 本次为纯重构，未引入新逻辑 ---- ### 5. 变更知会 - 资料修改： - `docs/zh/dir_structure.md` - 目录结构调整 - `docs/zh/developer_guide/development_guide.md` - 开发指南中的示例更新 - 变更通知（消息知会 + 邮件知会）： ---- ### 6. 冒烟修改 - PR 来源： - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [x] 其他（代码结构优化/重构） - [ ] 是否存在冒烟可以拦截却未拦截的情况 - [ ] 是否需要添加冒烟： ---- See merge request: Ascend/msserviceprofiler!234	6 个月前