已关闭
[Performance]: 大卡任务分析--内存及性能优化 #63
gcw_LFjXwDS0创建于 8月3日关闭于 5 天前
Mrtutu
8月3日 评论：
8月3日 评论：
👋 您好,欢迎向 MindStudio-Profiler-Analyze 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅处理时效： 维护团队将在24小时内 查看并回复您的问题（工作日）。
🔍自助查询： 在等待期间，建议您先查阅以下资料，可能已有解决方案：
📖 MindStudio MindStudio-Profiler-Analyze官方文档
📝 贡献者指南
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
8月3日 添加了label：triaged
8月3日 添加了label：performance
fanglanyue
8月4日 评论：
8月4日 评论：
请确认下当前msprof-analyze版本（pip show msprof-analyze），以及profiling数据类型（db or text），及ASCEND_PROFILER_OUTPUT文件夹中是否包含analysis.db和ascend_pytorch_profiler_{rank_id}.db；我们在26.1.0版本中做了针对DB数据的集群分析性能优化，大集群下强烈推荐使用DB类型数据格式，加快处理速率并减少内存占用，也就是在profiling采集时export_type设置为db。
另外，请注意，profiling不建议长时间采集，因为NPU上算子耗时一般在us级，采集时间过长（您提到的若干小时）会导致采集到的数据条目爆炸，大大加大分析难度，我们一般推荐采集时间控制在5mins以内
8月12日 添加了label：pending
5 天前 添加了label：resolved
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
性能优化具体描述
使用工具进行千卡任务分析 工具的性能不及预期
千卡任务的profiling数据 在TB级别， 使用目前没有跑成功过；
有个64卡的，采集profiling数据 数据若干小时的， 数据量接近了1.2T ;
分析时间也很长
分析过程中 内存占用量极高 1200g以上 ；
这种情况可以优化 内存使用 及性能么 ？
或者对于大卡的分析，或者大数据量的分析 有使用建议吗？
性能劣化说明
其他相关讨论
环境信息
欢迎加入社区，感谢您对社区的贡献 🎉!