已关闭
A3测试mooncake store发现Prefill节点间cache跨机传输越来越慢 #570
hjchen2创建于 8月13日关闭于 8月14日
youxiao
8月13日 评论：
8月13日 评论：
你好，中转传输我们已经不推荐了，后面要日落了，特别是在A3上，表现在D2H/H2D的copy与模型并发的时候冲突比较严重，建议使用RoCE或者FabricMem模式
你好，中转传输我们已经不推荐了，后面要日落了，特别是在A3上，表现在D2H/H2D的copy与模型并发的时候冲突比较严重，建议使用RoCE或者FabricMem模式
测试中一组Prefill是910C单机8卡，总共2组Prefill，没有开fabric mem但开启了mem pool中转传输，可以看到开始两台P机器之间传输速度很快，后来越来越慢，直到传输超时。