已合并
修复动态chunksize导致的bfcl精度问题 #908
lijiaqi139创建于 4月16日
修复动态chunksize导致的bfcl精度问题 #908
已合并
共 1 个文件变更+2-0
| @@ -52,6 +52,8 @@ size_t SchedulingBudget::GetPrefillSlots() { | |||
| 52 | // 固定切分长度 | 52 | // 固定切分长度 |
| 53 | if (schedulerConfig_->prefillChunkSize != 0) { | 53 | if (schedulerConfig_->prefillChunkSize != 0) { |
| 54 | return schedulerConfig_->prefillChunkSize; | 54 | return schedulerConfig_->prefillChunkSize; |
| 55 | + } else { | ||
| 56 | + return schedulerConfig_->maxPrefillTokens; | ||
| 55 | } | 57 | } |
| 56 | 58 | ||
| 57 | // 动态切分长度 | 59 | // 动态切分长度 |