| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13 | 5 个月前 | |
【msServiceProfiler】恢复batch.csv中start_time/end_time的字段并对齐MTP场景下accepted_ratio*的字段名称 Co-authored-by: minghang_c<chiminghang@h-partners.com> # message auto-generated for no-merge-commit merge: !210 merge bug-fix/batch-csv-fields into master 【msServiceProfiler】恢复batch.csv中start_time/end_time的字段并对齐MTP场景下accepted_ratio*的字段名称 Created-by: minghang_c Commit-by: minghang_c Merged-by: ascend-robot Description: ### 1. 修改描述 - **修改原因：** - **修改内容：** - [ ] **涉及代码双合**(贴上另一个PR链接)： ---- ### 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [ ] **冒烟是否通过** ---- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备UT测试用例看护** ---- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [ ] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [ ] **是否进行返回值校验** - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** ---- ### 5. 变更知会 - **资料修改：** - **变更通知（消息知会 + 邮件知会）：** ---- ### 6. 冒烟修改 - **PR 来源：** - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!210 | 3 个月前 | |
init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13 | 5 个月前 | |
【重构】重构ms_service_profiler_ext模块 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !234 merge 0321 into master 【重构】重构ms_service_profiler_ext模块 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: --- ## 修改描述 - **修改原因：** - 简化模块结构，消除 ms_service_profiler_ext 嵌套层级 - 将 ms_service_profiler_ext 模块内容提升至 ms_service_profiler 根目录，减少导入路径长度 - 统一公共工具模块位置，将 common/ 迁移至 utils/ - **修改内容：** 1. **模块迁移（14个文件重命名+迁移）：** - ms_service_profiler_ext/analyze.py → ms_service_profiler/analyze.py - ms_service_profiler_ext/compare.py → ms_service_profiler/compare.py - ms_service_profiler_ext/split.py → ms_service_profiler/split.py - ms_service_profiler_ext/exporters/ → ms_service_profiler/exporters/ - exporter_decode.py, exporter_prefill.py, exporter_summary.py - ms_service_profiler_ext/split_processor/ → ms_service_profiler/processor/ - mindie_processor.py → mindie_split_processor.py - base_processor.py → split_base_processor.py - vllm_processor.py → vllm_split_processor.py - ms_service_profiler_ext/common/ → ms_service_profiler/utils/ - csv_fields.py, sec.py → ext_sec.py, utils.py → ext_utils.py, split_utils.py 2. **常量合并：** - 将 ms_service_profiler_ext/common/constants.py 中的 MAX_BATCH_NUMBER, US_PER_MS 迁移至 ms_service_profiler/utils/constants.py - 删除冗余的 constants.py 文件 3. **导入路径更新（34个文件）：** - 更新所有 from ms_service_profiler.ms_service_profiler_ext.xxx 为 from ms_service_profiler.xxx - 更新所有内部引用路径 4. **文档更新：** - docs/zh/dir_structure.md - 更新目录结构说明 - docs/zh/developer_guide/development_guide.md - 更新入口点示例 - pyproject.toml - 更新 entry-points 配置 5. **测试更新（15个测试文件）：** - 更新所有测试文件的导入路径 - 更新 mock 路径 - [ ] **涉及代码双合**(贴上另一个PR链接)：无 ---- ### 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [x] **冒烟是否通过** ---- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [x] **是否具备UT测试用例看护** ✓ 已更新15个测试文件的导入路径 ---- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [x] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [ ] **是否进行返回值校验** - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** ✓ 本次为纯重构，未引入新逻辑 ---- ### 5. 变更知会 - **资料修改：** - docs/zh/dir_structure.md - 目录结构调整 - docs/zh/developer_guide/development_guide.md - 开发指南中的示例更新 - **变更通知（消息知会 + 邮件知会）：** ---- ### 6. 冒烟修改 - **PR 来源：** - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [x] 其他（代码结构优化/重构） - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!234 | 3 个月前 | |
init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13 | 5 个月前 | |
【msserviceprofiler_master】当profiling数据为空时，优化日志打印 Co-authored-by: hewenbo<hewenbo16@h-partners.com> # message auto-generated for no-merge-commit merge: !352 merge master into master 【msserviceprofiler_master】当profiling数据为空时，优化日志打印 Created-by: hewenbo Commit-by: hewenbo Merged-by: ascend-robot Description: # PR 合入模板 ## 1. 修改描述 - **修改原因：** - **修改内容：** - [ ] **涉及代码双合**(贴上另一个PR链接)： ---- ## 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [ ] **冒烟是否通过** ---- ## 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备UT测试用例看护** ---- ## 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [ ] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [ ] **是否进行返回值校验** - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** ---- ## 5. 变更知会 - **资料修改：** - **变更通知（消息知会 + 邮件知会）：** ---- ## 6. 冒烟修改 - **PR 来源：** - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!352 | 1 个月前 | |
【msServiceprofiler】【解析】易用性提升，去除误导性日志 Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !267 merge 0325_fix into master 【msServiceprofiler】【解析】易用性提升，去除误导性日志 Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ### 1. 修改描述 - 修改原因： - 当使用vllm数据时，状态列为Scope#name，和mindie框架有区别，原有逻辑会导致数据处理异常 - 部分场景下 domain 验证范围不够全面，导致有效数据被错误过滤 - pandas groupby 在处理分类数据时存在 FutureWarning，需要显式指定 observed 参数 - 修改内容： 1. exporter_latency.py ： - 为 groupby 添加 observed=False 参数，避免 pandas FutureWarning - 扩展 check_domain_valid 的 domain 列表，新增 Schedule 、 Execute 、 Engine 域 2. exporter_req_status.py ： - 优化状态列映射逻辑，支持 status 列和 scope#QueueName 列两种模式 4. 其他文件 ： - plugin_kvcache.py、plugin_process_name.py、processor_eplb_observe.py：小范围格式调整 - 涉及代码双合 ：无 ### 2. 功能验证 - 功能自验 - 本地自验用例截图 - 冒烟是否通过 ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - 是否经过代码检视 - 是否具备UT测试用例看护 ### 4. 安全自检 典型安全编码问题 - 若涉及对外接口，是否已校验外部数据 - MR 标题和描述是否按格式填写 - 是否进行空指针校验 （已添加 DataFrame empty 检查） - 是否进行返回值校验 （已添加列有效性检查） - 是否正确考虑文件权限配置 - 是否充分考虑接口的异常场景 （已添加警告日志和跳过逻辑） - 是否正确记录错误日志 （已添加 logger.warning/info 日志） - 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - 若涉及运算，是否存在整数溢出、除零等风险 ### 5. 变更知会 - 资料修改： 无 - 变更通知（消息知会 + 邮件知会）： 无 ### 6. 冒烟修改 - PR 来源： - 问题单 - 需求特性 - 安全排查 - 其他 - 是否存在冒烟可以拦截却未拦截的情况 - 是否需要添加冒烟： See merge request: Ascend/msserviceprofiler!267 | 2 个月前 | |
fix issue Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !112 merge issue_fix into master fix issue Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ### 1. 修改描述 - **修改原因：** 修改资料，删除kvcache中的domain字段 - **修改内容：** - [ ] **涉及代码双合**(贴上另一个PR链接)： ---- ### 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [ ] **冒烟是否通过** ---- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备UT测试用例看护** ---- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [ ] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [ ] **是否进行返回值校验** - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** ---- ### 5. 变更知会 - **资料修改：** - **变更通知（消息知会 + 邮件知会）：** ---- ### 6. 冒烟修改 - **PR 来源：** - [Y] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!112 | 4 个月前 | |
【msServiceprofiler】【解析】易用性提升，去除误导性日志 Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !267 merge 0325_fix into master 【msServiceprofiler】【解析】易用性提升，去除误导性日志 Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ### 1. 修改描述 - 修改原因： - 当使用vllm数据时，状态列为Scope#name，和mindie框架有区别，原有逻辑会导致数据处理异常 - 部分场景下 domain 验证范围不够全面，导致有效数据被错误过滤 - pandas groupby 在处理分类数据时存在 FutureWarning，需要显式指定 observed 参数 - 修改内容： 1. exporter_latency.py ： - 为 groupby 添加 observed=False 参数，避免 pandas FutureWarning - 扩展 check_domain_valid 的 domain 列表，新增 Schedule 、 Execute 、 Engine 域 2. exporter_req_status.py ： - 优化状态列映射逻辑，支持 status 列和 scope#QueueName 列两种模式 4. 其他文件 ： - plugin_kvcache.py、plugin_process_name.py、processor_eplb_observe.py：小范围格式调整 - 涉及代码双合 ：无 ### 2. 功能验证 - 功能自验 - 本地自验用例截图 - 冒烟是否通过 ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - 是否经过代码检视 - 是否具备UT测试用例看护 ### 4. 安全自检 典型安全编码问题 - 若涉及对外接口，是否已校验外部数据 - MR 标题和描述是否按格式填写 - 是否进行空指针校验 （已添加 DataFrame empty 检查） - 是否进行返回值校验 （已添加列有效性检查） - 是否正确考虑文件权限配置 - 是否充分考虑接口的异常场景 （已添加警告日志和跳过逻辑） - 是否正确记录错误日志 （已添加 logger.warning/info 日志） - 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - 若涉及运算，是否存在整数溢出、除零等风险 ### 5. 变更知会 - 资料修改： 无 - 变更通知（消息知会 + 邮件知会）： 无 ### 6. 冒烟修改 - PR 来源： - 问题单 - 需求特性 - 安全排查 - 其他 - 是否存在冒烟可以拦截却未拦截的情况 - 是否需要添加冒烟： See merge request: Ascend/msserviceprofiler!267 | 2 个月前 | |
init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13 | 5 个月前 | |
init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13 | 5 个月前 | |
init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13 | 5 个月前 | |
init master Co-authored-by: msserviceprofilerDeveloper<msserviceprofilerDeveloper> # message auto-generated for no-merge-commit merge: !13 merge out into master init master Created-by: jiangruitao Commit-by: jiangruitao;eveyin1;tt0cool;ascend-robot;xzm123;AvadaKedavrua;minghang_c;ChenHuiwen;jiangruitao 00800418;msserviceprofilerDeveloper Merged-by: ascend-robot Description: init master See merge request: Ascend/msserviceprofiler!13 | 5 个月前 | |
【重构】重构ms_service_profiler_ext模块 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !234 merge 0321 into master 【重构】重构ms_service_profiler_ext模块 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: --- ## 修改描述 - **修改原因：** - 简化模块结构，消除 ms_service_profiler_ext 嵌套层级 - 将 ms_service_profiler_ext 模块内容提升至 ms_service_profiler 根目录，减少导入路径长度 - 统一公共工具模块位置，将 common/ 迁移至 utils/ - **修改内容：** 1. **模块迁移（14个文件重命名+迁移）：** - ms_service_profiler_ext/analyze.py → ms_service_profiler/analyze.py - ms_service_profiler_ext/compare.py → ms_service_profiler/compare.py - ms_service_profiler_ext/split.py → ms_service_profiler/split.py - ms_service_profiler_ext/exporters/ → ms_service_profiler/exporters/ - exporter_decode.py, exporter_prefill.py, exporter_summary.py - ms_service_profiler_ext/split_processor/ → ms_service_profiler/processor/ - mindie_processor.py → mindie_split_processor.py - base_processor.py → split_base_processor.py - vllm_processor.py → vllm_split_processor.py - ms_service_profiler_ext/common/ → ms_service_profiler/utils/ - csv_fields.py, sec.py → ext_sec.py, utils.py → ext_utils.py, split_utils.py 2. **常量合并：** - 将 ms_service_profiler_ext/common/constants.py 中的 MAX_BATCH_NUMBER, US_PER_MS 迁移至 ms_service_profiler/utils/constants.py - 删除冗余的 constants.py 文件 3. **导入路径更新（34个文件）：** - 更新所有 from ms_service_profiler.ms_service_profiler_ext.xxx 为 from ms_service_profiler.xxx - 更新所有内部引用路径 4. **文档更新：** - docs/zh/dir_structure.md - 更新目录结构说明 - docs/zh/developer_guide/development_guide.md - 更新入口点示例 - pyproject.toml - 更新 entry-points 配置 5. **测试更新（15个测试文件）：** - 更新所有测试文件的导入路径 - 更新 mock 路径 - [ ] **涉及代码双合**(贴上另一个PR链接)：无 ---- ### 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [x] **冒烟是否通过** ---- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [x] **是否具备UT测试用例看护** ✓ 已更新15个测试文件的导入路径 ---- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [x] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [ ] **是否进行返回值校验** - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** ✓ 本次为纯重构，未引入新逻辑 ---- ### 5. 变更知会 - **资料修改：** - docs/zh/dir_structure.md - 目录结构调整 - docs/zh/developer_guide/development_guide.md - 开发指南中的示例更新 - **变更通知（消息知会 + 邮件知会）：** ---- ### 6. 冒烟修改 - **PR 来源：** - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [x] 其他（代码结构优化/重构） - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!234 | 3 个月前 | |
【msServiceprofiler】【解析】易用性提升，去除误导性日志 Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !267 merge 0325_fix into master 【msServiceprofiler】【解析】易用性提升，去除误导性日志 Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ### 1. 修改描述 - 修改原因： - 当使用vllm数据时，状态列为Scope#name，和mindie框架有区别，原有逻辑会导致数据处理异常 - 部分场景下 domain 验证范围不够全面，导致有效数据被错误过滤 - pandas groupby 在处理分类数据时存在 FutureWarning，需要显式指定 observed 参数 - 修改内容： 1. exporter_latency.py ： - 为 groupby 添加 observed=False 参数，避免 pandas FutureWarning - 扩展 check_domain_valid 的 domain 列表，新增 Schedule 、 Execute 、 Engine 域 2. exporter_req_status.py ： - 优化状态列映射逻辑，支持 status 列和 scope#QueueName 列两种模式 4. 其他文件 ： - plugin_kvcache.py、plugin_process_name.py、processor_eplb_observe.py：小范围格式调整 - 涉及代码双合 ：无 ### 2. 功能验证 - 功能自验 - 本地自验用例截图 - 冒烟是否通过 ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - 是否经过代码检视 - 是否具备UT测试用例看护 ### 4. 安全自检 典型安全编码问题 - 若涉及对外接口，是否已校验外部数据 - MR 标题和描述是否按格式填写 - 是否进行空指针校验 （已添加 DataFrame empty 检查） - 是否进行返回值校验 （已添加列有效性检查） - 是否正确考虑文件权限配置 - 是否充分考虑接口的异常场景 （已添加警告日志和跳过逻辑） - 是否正确记录错误日志 （已添加 logger.warning/info 日志） - 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - 若涉及运算，是否存在整数溢出、除零等风险 ### 5. 变更知会 - 资料修改： 无 - 变更通知（消息知会 + 邮件知会）： 无 ### 6. 冒烟修改 - PR 来源： - 问题单 - 需求特性 - 安全排查 - 其他 - 是否存在冒烟可以拦截却未拦截的情况 - 是否需要添加冒烟： See merge request: Ascend/msserviceprofiler!267 | 2 个月前 | |
【msServiceprofiler】【解析】易用性提升，去除误导性日志 Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !267 merge 0325_fix into master 【msServiceprofiler】【解析】易用性提升，去除误导性日志 Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ### 1. 修改描述 - 修改原因： - 当使用vllm数据时，状态列为Scope#name，和mindie框架有区别，原有逻辑会导致数据处理异常 - 部分场景下 domain 验证范围不够全面，导致有效数据被错误过滤 - pandas groupby 在处理分类数据时存在 FutureWarning，需要显式指定 observed 参数 - 修改内容： 1. exporter_latency.py ： - 为 groupby 添加 observed=False 参数，避免 pandas FutureWarning - 扩展 check_domain_valid 的 domain 列表，新增 Schedule 、 Execute 、 Engine 域 2. exporter_req_status.py ： - 优化状态列映射逻辑，支持 status 列和 scope#QueueName 列两种模式 4. 其他文件 ： - plugin_kvcache.py、plugin_process_name.py、processor_eplb_observe.py：小范围格式调整 - 涉及代码双合 ：无 ### 2. 功能验证 - 功能自验 - 本地自验用例截图 - 冒烟是否通过 ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - 是否经过代码检视 - 是否具备UT测试用例看护 ### 4. 安全自检 典型安全编码问题 - 若涉及对外接口，是否已校验外部数据 - MR 标题和描述是否按格式填写 - 是否进行空指针校验 （已添加 DataFrame empty 检查） - 是否进行返回值校验 （已添加列有效性检查） - 是否正确考虑文件权限配置 - 是否充分考虑接口的异常场景 （已添加警告日志和跳过逻辑） - 是否正确记录错误日志 （已添加 logger.warning/info 日志） - 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - 若涉及运算，是否存在整数溢出、除零等风险 ### 5. 变更知会 - 资料修改： 无 - 变更通知（消息知会 + 邮件知会）： 无 ### 6. 冒烟修改 - PR 来源： - 问题单 - 需求特性 - 安全排查 - 其他 - 是否存在冒烟可以拦截却未拦截的情况 - 是否需要添加冒烟： See merge request: Ascend/msserviceprofiler!267 | 2 个月前 | |
【bugfix】调整span导出单位为毫秒 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !128 merge 0224 into master 【bugfix】调整span导出单位为毫秒 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: ### 1. 修改描述 - **修改原因：** 1. 修正时间单位展示与数值转换不匹配问题，将during_time字段单位从μs改回ms，确保单位标识与实际数值换算逻辑一致； 2. 优化during_time字段数值格式化逻辑，将保留2位小数调整为保留3位小数，提升时间精度展示； 3. 统一时间单位换算标准，引入US_PER_MS常量进行微秒到毫秒的换算，保证数值转换的准确性和代码可维护性。 - **修改内容：** 1. 文件ms_service_profiler/exporters/exporter_span.py： - 新增导入ms_service_profiler.constant.US_PER_MS常量； - 修改RENAME_COLUMNS字典中during_time的单位标识，从μs改回ms； - 调整during_time字段数值处理逻辑，先通过div(US_PER_MS)将微秒转换为毫秒，再格式化保留3位小数（原逻辑为直接格式化保留2位小数）。 - [ ] **涉及代码双合**(贴上另一个PR链接)： --- ### 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [ ] **冒烟是否通过** --- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备UT测试用例看护** --- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [ ] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [x] **是否进行返回值校验** （依赖get_filter_span_df等函数的返回值过滤逻辑，确保数据有效性） - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [x] **若涉及运算，是否存在整数溢出、除零等风险** （使用常量US_PER_MS进行除法运算，该常量为固定非零值，无除零风险） --- ### 5. 变更知会 - **资料修改：** 无 - **变更通知（消息知会 + 邮件知会）：** 无 --- ### 6. 冒烟修改 - **PR 来源：** - [x] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** --- See merge request: Ascend/msserviceprofiler!128 | 3 个月前 | |
【bugfix】同rid多pid场景统计问题修复 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !124 merge 0212 into master 【bugfix】同rid多pid场景统计问题修复 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: ### 1. 修改描述 - **修改原因：** 1. 修复时间单位标识错误问题，将during_time字段单位从ms修正为μs，确保单位展示与实际数据一致； 2. 优化span数据处理逻辑，增加对用户指定span名称的校验，当指定的span不存在时输出友好的警告日志； 3. 修复统计计算逻辑bug，修正top_forward_bubble_stats为空时导致的打印统计信息异常问题； 4. 优化bubble时间计算逻辑，按(pid, rid)维度分组计算，避免跨请求统计错误； 5. 重构print_statistics函数，将其改为ExporterStatistic类的方法，支持根据--span参数动态切换时间单位（ms/μs），提升代码内聚性； 6. 同步更新UT测试用例，适配代码逻辑变更，确保测试覆盖率和准确性。 - **修改内容：** 1. 文件ms_service_profiler/exporters/exporter_span.py： - 修改RENAME_COLUMNS字典中during_time的单位标识为μs； - 在_exporter_span方法中增加span名称校验逻辑，对不存在的span输出警告日志。 2. 文件ms_service_profiler/exporters/exporter_statistic.py： - 调整_calculate_top_forward_bubble_stats调用位置，增加非空判断后再执行打印逻辑； - 重构_calculate_top_forward_bubble_stats方法，优化统计逻辑，按rid合并多pid的统计数据； - 修改_calculate_bubble_times方法的分组维度为(pid, rid)，修正跨请求统计问题； - 将全局print_statistics函数改为ExporterStatistic类的print_statistics方法，支持动态切换时间单位； - 删除原全局print_statistics函数，统一使用类方法； - 调整所有打印统计信息的调用处，改为调用类方法。 3. 文件test/ut/python/test_ms_service_profiler/test_exporter_statistic.py： - 更新测试用例，适配print_statistics方法的调用方式变更； - 修正_test_calculate_bubble_times相关测试用例的预期结果，匹配新的分组计算逻辑。 - [ ] **涉及代码双合**(贴上另一个PR链接)： --- ### 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [ ] **冒烟是否通过** --- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备UT测试用例看护** --- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [x] **MR 标题和描述是否按格式填写** - [x] **是否进行空指针校验** （对top_forward_bubble_stats进行非空判断） - [x] **是否进行返回值校验** （对span_df.empty等场景进行校验） - [ ] **是否正确考虑文件权限配置** - [x] **是否充分考虑接口的异常场景** （增加try-except捕获导出统计信息异常，输出警告日志） - [x] **是否正确记录错误日志** （span不存在、统计导出失败等场景均输出warning日志） - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** （除法运算前对total_count进行>0判断，避免除零） --- ### 5. 变更知会 - **资料修改：** 无 - **变更通知（消息知会 + 邮件知会）：** 无 --- ### 6. 冒烟修改 - **PR 来源：** - [x] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** --- See merge request: Ascend/msserviceprofiler!124 | 3 个月前 | |
【重构】重构ms_service_profiler_ext模块 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !234 merge 0321 into master 【重构】重构ms_service_profiler_ext模块 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: --- ## 修改描述 - **修改原因：** - 简化模块结构，消除 ms_service_profiler_ext 嵌套层级 - 将 ms_service_profiler_ext 模块内容提升至 ms_service_profiler 根目录，减少导入路径长度 - 统一公共工具模块位置，将 common/ 迁移至 utils/ - **修改内容：** 1. **模块迁移（14个文件重命名+迁移）：** - ms_service_profiler_ext/analyze.py → ms_service_profiler/analyze.py - ms_service_profiler_ext/compare.py → ms_service_profiler/compare.py - ms_service_profiler_ext/split.py → ms_service_profiler/split.py - ms_service_profiler_ext/exporters/ → ms_service_profiler/exporters/ - exporter_decode.py, exporter_prefill.py, exporter_summary.py - ms_service_profiler_ext/split_processor/ → ms_service_profiler/processor/ - mindie_processor.py → mindie_split_processor.py - base_processor.py → split_base_processor.py - vllm_processor.py → vllm_split_processor.py - ms_service_profiler_ext/common/ → ms_service_profiler/utils/ - csv_fields.py, sec.py → ext_sec.py, utils.py → ext_utils.py, split_utils.py 2. **常量合并：** - 将 ms_service_profiler_ext/common/constants.py 中的 MAX_BATCH_NUMBER, US_PER_MS 迁移至 ms_service_profiler/utils/constants.py - 删除冗余的 constants.py 文件 3. **导入路径更新（34个文件）：** - 更新所有 from ms_service_profiler.ms_service_profiler_ext.xxx 为 from ms_service_profiler.xxx - 更新所有内部引用路径 4. **文档更新：** - docs/zh/dir_structure.md - 更新目录结构说明 - docs/zh/developer_guide/development_guide.md - 更新入口点示例 - pyproject.toml - 更新 entry-points 配置 5. **测试更新（15个测试文件）：** - 更新所有测试文件的导入路径 - 更新 mock 路径 - [ ] **涉及代码双合**(贴上另一个PR链接)：无 ---- ### 2. 功能验证 - [x] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [x] **冒烟是否通过** ---- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [x] **是否具备UT测试用例看护** ✓ 已更新15个测试文件的导入路径 ---- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [x] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [ ] **是否进行返回值校验** - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** ✓ 本次为纯重构，未引入新逻辑 ---- ### 5. 变更知会 - **资料修改：** - docs/zh/dir_structure.md - 目录结构调整 - docs/zh/developer_guide/development_guide.md - 开发指南中的示例更新 - **变更通知（消息知会 + 邮件知会）：** ---- ### 6. 冒烟修改 - **PR 来源：** - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [x] 其他（代码结构优化/重构） - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!234 | 3 个月前 | |
【msServiceprofiler】【解析】易用性提升，去除误导性日志 Co-authored-by: Mad97_<chepishuai1@h-partners.com> # message auto-generated for no-merge-commit merge: !267 merge 0325_fix into master 【msServiceprofiler】【解析】易用性提升，去除误导性日志 Created-by: Mad97_ Commit-by: Mad97_ Merged-by: ascend-robot Description: ### 1. 修改描述 - 修改原因： - 当使用vllm数据时，状态列为Scope#name，和mindie框架有区别，原有逻辑会导致数据处理异常 - 部分场景下 domain 验证范围不够全面，导致有效数据被错误过滤 - pandas groupby 在处理分类数据时存在 FutureWarning，需要显式指定 observed 参数 - 修改内容： 1. exporter_latency.py ： - 为 groupby 添加 observed=False 参数，避免 pandas FutureWarning - 扩展 check_domain_valid 的 domain 列表，新增 Schedule 、 Execute 、 Engine 域 2. exporter_req_status.py ： - 优化状态列映射逻辑，支持 status 列和 scope#QueueName 列两种模式 4. 其他文件 ： - plugin_kvcache.py、plugin_process_name.py、processor_eplb_observe.py：小范围格式调整 - 涉及代码双合 ：无 ### 2. 功能验证 - 功能自验 - 本地自验用例截图 - 冒烟是否通过 ### 3. 代码检视 - 要求： - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - 是否经过代码检视 - 是否具备UT测试用例看护 ### 4. 安全自检 典型安全编码问题 - 若涉及对外接口，是否已校验外部数据 - MR 标题和描述是否按格式填写 - 是否进行空指针校验 （已添加 DataFrame empty 检查） - 是否进行返回值校验 （已添加列有效性检查） - 是否正确考虑文件权限配置 - 是否充分考虑接口的异常场景 （已添加警告日志和跳过逻辑） - 是否正确记录错误日志 （已添加 logger.warning/info 日志） - 若涉及正则表达式，是否对正则表达式做 ReDos 校验 - 若涉及运算，是否存在整数溢出、除零等风险 ### 5. 变更知会 - 资料修改： 无 - 变更通知（消息知会 + 邮件知会）： 无 ### 6. 冒烟修改 - PR 来源： - 问题单 - 需求特性 - 安全排查 - 其他 - 是否存在冒烟可以拦截却未拦截的情况 - 是否需要添加冒烟： See merge request: Ascend/msserviceprofiler!267 | 2 个月前 | |
【feature】解析后关键信息汇总 Co-authored-by: jiangruitao<jiangruitao@huawei.com> # message auto-generated for no-merge-commit merge: !92 merge 0202 into master 【feature】解析后关键信息汇总 Created-by: jiangruitao Commit-by: jiangruitao Merged-by: ascend-robot Description: ### 1. 修改描述 **修改原因：** 解析后的关键信息需要汇总统计 - **修改内容：** 1. **新增ExporterSpan和ExporterStatistic**： - ExporterSpan：导出span级别的CSV文件，支持forward、BatchSchedule、batchFrameworkProcessing等span - ExporterStatistic：打印span级别、请求级别和空泡时间的统计信息 2. **修改ms_service_profiler/exporters/factory.py**： - 注册ExporterSpan和ExporterStatistic到工厂类 3. **修改ms_service_profiler/exporters/utils.py**： - 新增get_filter_span_df方法，用于过滤和转换span数据 4. **修改ms_service_profiler/parse.py和task_manager.py**： - 增加进度统计 5. **新增UT用例**： - test_exporter_span.py - test_exporter_statistic.py - [ ] **涉及代码双合**(贴上另一个PR链接)： ---- ### 2. 功能验证 - [x] **功能自验** - [x] **本地自验用例截图**（请确保不体现个人信息）   - [x] **冒烟是否通过** ---- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [x] **是否经过代码检视** - [x] **是否具备UT测试用例看护** ---- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [x] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [x] **是否进行返回值校验** - [x] **是否正确考虑文件权限配置** - [x] **是否充分考虑接口的异常场景** - [x] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [x] **若涉及运算，是否存在整数溢出、除零等风险** ---- ### 5. 变更知会 - **资料修改：** - **变更通知（消息知会 + 邮件知会）：** ---- ### 6. 冒烟修改 - **PR 来源：** - [ ] 问题单 - [x] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!92 | 4 个月前 | |
【msserviceprofiler】vllm采集解析前冒烟开发 Co-authored-by: hewenbo<hewenbo16@h-partners.com> # message auto-generated for no-merge-commit merge: !214 merge master into master 【msserviceprofiler】vllm采集解析前冒烟开发 Created-by: hewenbo Commit-by: hewenbo Merged-by: ascend-robot Description: ### 1. 修改描述 - **修改原因：【msserviceprofiler】vllm采集解析前冒烟开发 - **修改内容：【msserviceprofiler】vllm采集解析前冒烟开发 - [ ] **涉及代码双合**(贴上另一个PR链接)： ---- ### 2. 功能验证 - [ ] **功能自验** - [ ] **本地自验用例截图**（请确保不体现个人信息） - [ ] **冒烟是否通过** ---- ### 3. 代码检视 - **要求：** - 合入代码大于 200 行，需三人以上会议检视。 - 检视密度≥2个/100行。 - 检视缺陷密度达不到要求的需给出说明。 - 大于 1000 行代码原则上不允许合入，需进行备案。 - [ ] **是否经过代码检视** - [ ] **是否具备UT测试用例看护** ---- ### 4. 安全自检 **典型安全编码问题** - [ ] **若涉及对外接口，是否已校验外部数据** - [ ] **MR 标题和描述是否按格式填写** - [ ] **是否进行空指针校验** - [ ] **是否进行返回值校验** - [ ] **是否正确考虑文件权限配置** - [ ] **是否充分考虑接口的异常场景** - [ ] **是否正确记录错误日志** - [ ] **若涉及正则表达式，是否对正则表达式做 ReDos 校验** - [ ] **若涉及运算，是否存在整数溢出、除零等风险** ---- ### 5. 变更知会 - **资料修改：** - **变更通知（消息知会 + 邮件知会）：** ---- ### 6. 冒烟修改 - **PR 来源：** - [ ] 问题单 - [ ] 需求特性 - [ ] 安全排查 - [ ] 其他 - [ ] **是否存在冒烟可以拦截却未拦截的情况** - [ ] **是否需要添加冒烟：** ---- See merge request: Ascend/msserviceprofiler!214 | 2 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 5 个月前 | ||
| 3 个月前 | ||
| 5 个月前 | ||
| 3 个月前 | ||
| 5 个月前 | ||
| 1 个月前 | ||
| 2 个月前 | ||
| 4 个月前 | ||
| 2 个月前 | ||
| 5 个月前 | ||
| 5 个月前 | ||
| 5 个月前 | ||
| 5 个月前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 4 个月前 | ||
| 2 个月前 |