拉起vllm服务前,需要设置环境变量:
#自定义文件夹 path_to_store_profiling_files
cd ${path_to_store_profiling_files}
#Set environment variable
export SERVICE_PROF_CONFIG_PATH=ms_service_profiler_config.json
export PROFILING_SYMBOLS_PATH=service_profiling_symbols.yaml
如果还是解决不了,可以给我你的联系方式


拉起vllm服务前,需要设置环境变量:
#自定义文件夹 path_to_store_profiling_files
cd ${path_to_store_profiling_files}
#Set environment variable
export SERVICE_PROF_CONFIG_PATH=ms_service_profiler_config.json
export PROFILING_SYMBOLS_PATH=service_profiling_symbols.yaml如果还是解决不了,可以给我你的联系方式
测试时就是按照文档做了环境变量的配置的


疑似工具代码不是最新代码导致的,进入容器后,请在一个自定义文件夹内:
git clone https://gitcode.com/Ascend/msserviceprofiler.git
cd msserviceprofiler/
pip install .
pip config --user set global.index-url https://mirrors.huaweicloud.com/repository/pypi/simple
pip config --user set global.trusted-host mirrors.huaweicloud.com
pip install .
bash scripts/build_and_upgrade.sh --quiet
然后再进行采集解析


在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。
环境信息
5.10.0-60.18.0.50.oe2203.aarch64
A300I A2单卡
quay-hub.dahuatech.com/ascend/vllm-ascend:v0.18.0-openeuler
cann:8.5.1
msserviceprofiler=1.2.2
使用场景及问题
1.按照vllm-ascend官网的服务性能剖析指南,正常拉起服务后,使用msserviceprofiler解析所生成的两个db文件,输出的output目录下无chrome_tracing.json文件,与文档所输出内容不匹配。
2.未在文档中解释profiling后/root/.ms_server_profiler/0716-0646/对应的文件夹结构,当期在profiling后在对应文件下会有2个db文件,用户无法清晰了解是否输出了正确的文件。
3.解析后的output文件夹下除chrome_tracing.json其他的文件是否使用MindStudio Insight工具解析。
4.如果使用压测工具,是否也是同样的形式进行profiling后会生成对应的文件,并使用msserviceprofiler进行解析后会生成相同的目录结构。
5.当前issue无法进行图片上传,无法贴出一些关键结果图,以前在gitee提issue可以进行图片上传。
欢迎加入社区,感谢您对社区的贡献 🎉!