master

ascend-robot[fix]profiler remove FILE_AUTHORITY

a3e56803创建于 8 天前历史提交

文件	最后提交记录	最后更新时间
__init__.py	!6972 Add __all__ for torch_npu Merge pull request !6972 from shaoyf/sc/master_init	2 年前
_binary_decoder.py	!13081 [PROF] Add gc detect to profiler Merge pull request !13081 from wangjie/gc_detect_master	1 年前
_cann_package_manager.py	[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !35981 merge master_lintrunner into master [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!35981	1 个月前
_constant.py	[fix]profiler remove FILE_AUTHORITY Co-authored-by: hehongzhe<935062458@qq.com> # message auto-generated for no-merge-commit merge: !39884 merge chmm into master [fix]profiler remove FILE_AUTHORITY Created-by: hhz0 Commit-by: hehongzhe Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 https://gitcode.com/Ascend/pytorch/issues/2486 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 文件权限设置 0o640 可能影响协作场景， FILE_AUTHORITY = 0o640（仅所有者可读写，组可读），多用户协作时，同组用户无法写入数据库文件，共享工作目录场景受限 修改方案：放宽，随OS系统要求 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 修改后原功能正常  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!39884	8 天前
_csv_headers.py	[Profiler]rename block dim to block num Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !30418 merge master into master [Profiler]rename block dim to block num Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> **What type of PR is this?** > Uncomment only one /kind <> line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug > /kind task /kind feature **What does this PR do / why do we need it**: rename blockdim to blocknum to adapte msprof revise **Which issue(s) this PR fixes**: <!-- *Automatically closes linked issue when PR is merged. Usage: Fixes #<issue number>, or Fixes (paste link of issue). --> Fixes # **Special notes for your reviewers**: See merge request: Ascend/pytorch!30418	5 个月前
_db_manager.py	[fix]profiler remove FILE_AUTHORITY Co-authored-by: hehongzhe<935062458@qq.com> # message auto-generated for no-merge-commit merge: !39884 merge chmm into master [fix]profiler remove FILE_AUTHORITY Created-by: hhz0 Commit-by: hehongzhe Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 https://gitcode.com/Ascend/pytorch/issues/2486 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 文件权限设置 0o640 可能影响协作场景， FILE_AUTHORITY = 0o640（仅所有者可读写，组可读），多用户协作时，同组用户无法写入数据库文件，共享工作目录场景受限 修改方案：放宽，随OS系统要求 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 修改后原功能正常  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!39884	8 天前
_feature_manager.py	!13129 profiler non-public api modify Merge pull request !13129 from chenzhinan/master-local	1 年前
_file_manager.py	[profiler-master]profiler添加解析完成标志文件&level1场景支持aicore_none开关 Co-authored-by: yu-liang-bin<y1416490440@163.com> # message auto-generated for no-merge-commit merge: !29800 merge feature-profiler into master [profiler-master]profiler添加解析完成标志文件&level1场景支持aicore_none开关 Created-by: yu_liangbin Commit-by: yu-liang-bin Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> **What type of PR is this?** > Uncomment only one /kind <> line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug > /kind task > /kind feature **What does this PR do / why do we need it**: 1. profiler解析完成后只有日志打屏，华为云用户需要一个解析完成的文件来确定是否解析完成； 2. profiler level1/level2场景下aicore_metrics默认值为pipeutilization， level1/level2场景下也应该支持不采集aicore_metrics数据； **Which issue(s) this PR fixes**: 1. 添加profiler解析完成标志文件； 2. profiler level1/level2场景下aicore_metrics能支持不采集aicore_metrics数据； 3. 补充生成解析完成标志文件的UT 验证结果: 测试用例全部通过：  <!-- *Automatically closes linked issue when PR is merged. Usage: Fixes #<issue number>, or Fixes (paste link of issue). --> Fixes # **Special notes for your reviewers**: See merge request: Ascend/pytorch!29800	5 个月前
_file_tag.py	!14338 [PROF]Add: get module and optimizer parameters and add corresponding parser Merge pull request !14338 from chenjunjie/prof_master	1 年前
_host_info.py	!15118 [PROF] Proflier fix HOST_INFO and META_DATA table Merge pull request !15118 from wangjie/profiler_hostuid_fix_master	1 年前
_id_manager.py	[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !35981 merge master_lintrunner into master [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!35981	1 个月前
_log.py	profiler use local time, not utc Co-authored-by: hehongzhe<935062458@qq.com> # message auto-generated for no-merge-commit merge: merge master into master profiler use local time, not utc Created-by: hhz0 Commit-by: hehongzhe Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> **What type of PR is this?** > Uncomment only one /kind <> line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug > /kind task > /kind feature **What does this PR do / why do we need it**: pytorch profiler采集解析所用到的时间使用本地时间，不转化为utc时间，与msprof保持一致 **Which issue(s) this PR fixes**: <!-- *Automatically closes linked issue when PR is merged. Usage: Fixes #<issue number>, or Fixes (paste link of issue). --> Fixes # **Special notes for your reviewers**: See merge request: Ascend/pytorch!24864	9 个月前
_multi_process_pool.py	!16075 analysis asynchronously Merge pull request !16075 from wangqihui01/master	1 年前
_path_manager.py	[feat]profiler remove safe interrupt Co-authored-by: hehongzhe<935062458@qq.com> # message auto-generated for no-merge-commit merge: !38141 merge safem into master [feat]profiler remove safe interrupt Created-by: hhz0 Commit-by: hehongzhe Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [x] 需求 - [ ] 问题单 - [x] issue/工单 https://gitcode.com/Ascend/pytorch/issues/2295 https://gitcode.com/Ascend/pytorch/issues/2347 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 安全易用性提升，逐步清理可清理的一些安全校验 1、去除权限、属主校验的打断 2、去除软链接校验的打断 3、去除文件路径长度校验的打断 4、去除export_chrome_trace对.json结尾的校验 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及，原有的安全声明里面没有提到这些相关的内容 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及，都是内部校验接口 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!38141	30 天前
_singleton.py	[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !35981 merge master_lintrunner into master [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!35981	1 个月前
_task_manager.py	!24016 [feature-master] profiler analyse optim Merge pull request !24016 from tangmengcheng/profiler_analysis_optimaze_master_0812	10 个月前
_time_range_calculator.py	[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !35981 merge master_lintrunner into master [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!35981	1 个月前
_tlv_decoder.py	[cleanCode]avoid profiler tlv_decoder print tons of warn msg Co-authored-by: xieanran<694099604@qq.com> # message auto-generated for no-merge-commit merge: !27599 merge master into master [cleanCode]avoid profiler tlv_decoder print tons of warn msg Created-by: SoraAzzz Commit-by: xieanran Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> **What type of PR is this?** > Uncomment only one /kind <> line, hit enter to put that in a new line, and remove leading whitespaces from that line: > > /kind bug > /kind task > /kind feature **What does this PR do / why do we need it**: 修改tlvdecoder日志防止循环打屏 修改后截图：  **Which issue(s) this PR fixes**: <!-- *Automatically closes linked issue when PR is merged. Usage: Fixes #<issue number>, or Fixes (paste link of issue). --> Fixes # **Special notes for your reviewers**: See merge request: Ascend/pytorch!27599	6 个月前
_trace_event_manager.py	!16963 【BUG】【PROF】Master：filter fwdbwd flow Merge pull request !16963 from fanglanyue/bugfix_fwd_master	1 年前
_tree_builder.py	[torch_master]修复text类型torch_op到node_launch未按tid区分问题 Co-authored-by: yuliangbin<y1416490440@163.com> # message auto-generated for no-merge-commit merge: !35257 merge fix_zj into master [torch_master]修复text类型torch_op到node_launch未按tid区分问题 Created-by: yu_liangbin Commit-by: yuliangbin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> profiler在单进程多device场景下，text/db类型交付件中会因为torch_op到device算子连线未按照tid区分导致连线错误，需要按照tid区分，再连线 # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 https://gitcode.com/Ascend/pytorch/issues/1893 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 1.text类型： torch_op到enqueue的匹配关系是在建树逻辑中，在建立torch_op到enqueue关联关系时按照tid进行了一层过滤，防止不同tid的torch_op、enqueue关联成功，导致误连线；  2.db类型： dequeue到node_launch按照tid过滤  torch_op到enqueue按照tid过滤  3.cleancode问题修改 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 修改前： 存在device算子连到其他线程torch_op问题，连线错误；  修改后： 由于当前数据中enqueue上面没有torch_op，因此无torch_op到device算子连线  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!35257	1 个月前
_utils.py	[Feature][master分支]profiler新增静态/动态msprof环境变量检测功能 Co-authored-by: yuliangbin<y1416490440@163.com> # message auto-generated for no-merge-commit merge: !34205 merge feature_env into master [Feature][master分支]profiler新增静态/动态msprof环境变量检测功能 Created-by: yu_liangbin Commit-by: yuliangbin Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 1. 添加check_msprof_env方法用于检测msprof静态/动态使能的两个环境变量； 2. 在_ProfilerInterface中初始化变量用于接收msprof环境检测是否符合要求； 3. 在start、stop、finalize等接口中先判断环境是否符合要求，符合要求继续往下调用，不符合就直接退出 4. 补充对应方法的UT # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 场景一： msprof采集torch_npu.profiler的start+stop方式 业务代码中使能prof.start()+prof.stop()，打屏warning告警，torch_npu.profiler接口使能不生效，数据没有采集落盘，且无打断业务报错；  msprof工具采集生效，数据正常生成；  场景二： msprof采集torch_npu.profiler的step方式 业务代码中使能prof.step()，打屏warning告警，torch_npu.profiler接口使能不生效，数据没有采集落盘，且无打断业务报错；  msprof工具采集生效，数据正常生成；  场景三： torch_npu.profiler+msprof动态采集 打屏warning告警，torch_npu.profiler接口使能不生效，数据没有采集落盘，且无打断业务报错;  场景四： 设置msprof动态采集环境变量+离线解析 正常解析，不报错  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!34205	2 个月前