已合并
在P节点tokenizer后,校验请求长度+最大输出长度 > 模型上下文长度, 避免P产生KV cache残留问题 #513
tobking创建于 21 天前
在P节点tokenizer后,校验请求长度+最大输出长度 > 模型上下文长度, 避免P产生KV cache残留问题 #513
已合并
Pull Request已成功合入, 合并人@wangyang
(感谢 tobking 的贡献)atomgit-bot
21 天前 评论:
21 天前 评论:


不准确?
此处折叠了93条消息 查看更多
21 天前 删除了label:ci-pipeline-running
21 天前 添加了label:ci-pipeline-passed
ascend-robot
21 天前 评论:
21 天前 评论:


21 天前 关闭了关联的issue
21 天前 合入了pull request
1. 合入背景
2. 修改内容
3. 资料变更
4. 接口变更
5. 测试结果
6. CheckList
[ ] 代码注释完备
[ ] 正确记录维测日志
[ ] 是否有UT用例
[ ] 若涉及多线程场景,考虑了并发场景,不存在死锁问题