已关闭
在mooncake store中开启buffer pool时传输报错 #8
hjchen2创建于  2025年10月23日关闭于  2025年10月24日
hjchen2
2025年10月23日 创建

plog报错信息如下:

截屏2025-10-23 18.53.41截屏2025-10-23 18.53.41.png

目前ASCEND_BUFFER_POOL=4:8,请问是否需要增加buffer个数,或者是否有其他更好的解决方案

likedislike
Hhjchen2
2025年10月23日 修改了issue 的描述
Hhjchen2
2025年10月23日 修改了issue 的描述
Zzhujingjing成员
2025年10月23日 将 youyx 设为负责人
youxiao成员
2025年10月23日 评论:

这是完整的报错吗,是必现的还是偶现的

likedislike
hjchen2
2025年10月23日 评论:

这是完整的报错吗,是必现的还是偶现的

是最开始的报错,在负载比较大的时候几乎是必现的

likedislike
youxiao成员
2025年10月23日 评论:

你的cann版本是什么时候的,10-10号的社区版应该还有bug,长稳会有问题

likedislike
hjchen2
2025年10月23日 评论:

你的cann版本是什么时候的,10-10号的社区版应该还有bug,长稳会有问题

是10-9号官网发布的社区版,8.3.RC1.alpha003

likedislike
hjchen2
2025年10月23日 评论:

请问我基于8.3.RC1.alpha003版本的cann,手动编译安装最新的hixl可以么

likedislike
youxiao成员
2025年10月23日 评论:

麻烦提供一下完整的plog日志,可以放在附件

likedislike
youxiao成员
2025年10月23日 评论:

另外,可以使用本仓库编译最新的run包替换跑长稳

likedislike
hjchen2
2025年10月23日 评论:
youxiao成员
2025年10月23日 评论:

另外,可以使用本仓库编译最新的run包替换跑长稳

这个是个单独的小的run包

likedislike
hjchen2
2025年10月23日 评论:

c814b2dde6c342159e5a6ab5156f2491.log

@youyx 附件是完整的plog日志,报错之后触发了te和store的重新初始化

likedislike
youxiao成员
2025年10月23日 评论:

请问你调用了store.register_buffer将所有的KV注册进来了吗

likedislike
hjchen2
2025年10月23日 评论:

[ERROR] GE(737,python):2025-10-23-10:41:18.237.540 [channel_msg_handler.cc:179]14428 RegisterMem: ErrorNo: 103900() [GE][MODULE]Call hccl api failed, ret: 0x1
[ERROR] GE(737,python):2025-10-23-10:41:18.237.545 [adxl_inner_engine.cc:111]14428 RegisterMem: ErrorNo: 103900() [GE][MODULE]Failed to register mem
[ERROR] GE(737,python):2025-10-23-10:41:18.237.548 [adxl_engine_impl.cc:72]14428 RegisterMem: ErrorNo: 103900() [GE][MODULE]Failed to register mem
[ERROR] GE(737,python):2025-10-23-10:41:18.237.560 [adxl_engine_impl.cc:138]14428 RegisterMem: ErrorNo: 103900() [GE][MODULE]Failed to register mem, type:0, addr:0x12cb84e00000, size:80805888
[ERROR] HCCL(737,python):2025-10-23-10:41:18.237.600 [global_mem_manager.cc:55] [14428][GlobalMemRegMgr][CheckOverlapAndInsert] The memory[type:DEVICE, addr:0x12cd80000000, size:646447104] has been registered already.

这个报错是前面的报错之后,触发了mooncake te的重新初始化,重新初始化的te在注册kv buffer的时候又发现重复注册了kv buffer,但根本的问题还是前面tranfer sync失败了

likedislike
hjchen2
2025年10月23日 评论:

请问你调用了store.register_buffer将所有的KV注册进来了吗

因为store复用了transfer engine,kv buffer是在transfer engine里注册的,store没有注册,否则会报重复注册的错误

likedislike
youxiao成员
2025年10月23日 评论:

可以基于本仓库最新代码编译run包替换运行一下,如果出问题可以将整个/root/ascend/log打包提供一下

likedislike
youxiao成员
2025年10月23日 评论:

./cann-hixl_8.5.0.alpha001_linux-aarch64.run --full --quiet --pylocal --install-path=/usr/local/Ascend/ascend-toolkit/
需要指定install-path到真实运行的CANN包路径,默认可能安装到了/usr/local/Ascend
@hjchen2

likedislike
hjchen2
2025年10月23日 评论:

78b1720b8b0c48db82c75e2120d907c2.log

手动编译安装hixl之后,出现了别的报错,详见附件的plog。

[ERROR] GE(3585,python):2025-10-23-13:56:23.158.608 [/workspace/hixl/src/llm_datadist/common/msg_handler_plugin.cc:53]9603 Connect: ErrorNo: 503900() [GE][MODULE]Failed to connect peer 192.168.0.183:24836, error msg:Connection timed out, errno:110

对端192.168.0.183没有生成plog。

likedislike
youxiao成员
2025年10月23日 评论:

建链失败估计是对端没有启动好,需要INFO日志来确认,还有前面有alloc failed这个符合预期吗

likedislike
hjchen2
2025年10月24日 评论:

修复了一个框架的bug之后,使用手动编译安装的hixl,目前测试没问题了。谢谢~~~ @youyx

likedislike
Zzhujingjing成员
2025年10月24日 issue状态由 待办的 改变为 已完成
Zzhujingjing成员
2025年10月24日 关闭了 issue