提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。

💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

需求背景：
25年Q4版本已支持配置使能LayerwiseDisaggregated特性，通过模型切分+边云分布式部署形态，实现企业数据不出园的高安全分布式协同推理。当前版本支持拉远500km、10G带宽下，较集中式部署，吞吐劣化<5%；当前存在客户需求支持1000km拉远，当前方案在更远拉远距离下暂无法支持达成吞吐劣化<5%目标，因此需要新的性能优化方案。
当前现状：
LayerwiseDisaggregated特性下，模型首尾层部署在边侧，中间层部署在云侧，配合P/D混布推理模式运行。为减少跨广域边云拉远引入的通信时延，对推理服务吞吐造成影响，计算任务的编排当前采用了1P1D穿插计算调度模式：云侧模型计算图横切为N段，每段M层，每执行Prefill的1段（M层）后，插入Decode的所有中间层（NxM层），如此交替执行。则边侧Decode首层向云侧Decode中间层的hidden传输，以及云侧Decode中间层向边侧Decode尾层的hidden传输，均可被插入的Prefill段计算掩盖。
但是当前方案下，仍限制下发Prefill batch数量最多为1，这导致在Prefill衔接处，存在以下调度过程：（1）云侧向边侧进行Prefill Hidden传输，（2）执行Prefill尾层计算并返回调度器，（3）获取到下一个Prefill batch，（4）调度下一个Prefill首层计算，（5）边侧向云侧进行Prefill Hidden传输。在该过程中，云侧在发送Prefill Hidden，和再接受到边侧发回的Prefill Hidden中间，无法执行任何Prefill任务，只能执行Decode任务，而在边云协同模式下，连续Decode任务的hidden传输时延无法被掩盖，导致空泡，影响系统吞吐，且拉远距离越大，空泡占比越高， 难以支持拉远1000km下性能达标。
期望实现的功能内容：
Scheduler放开Prefill batch下发数量限制为2， TG侧相应适配支持2P1D穿插调度。通过将P2首层计算调度到P1尾层计算之前，使得云侧提前获取P2的中间层计算任务，使用P中间层分段计算，填充2P衔接中间位置的气泡，避免仅连续执行Decode造成云侧计算空泡，浪费算力，支持拉远1000km部署，10G带宽下， 吞吐较集中式劣化<5%。

具体的设计方案&测试方案：
当前SR/AR分解见下表，设计&测试方案详情待上会评审展开
重点一：添加新的外部配置项，动态控制2P调度是否开启
在config.json内的ScheduleConfig域内增加layerwiseDisaggregated边云特性子域，并在子域内增加使能2P1D调度行为的控制开关
"ScheduleConfig" :
{
"layerwiseDisaggregated":
{
"nextPHeadPrior" : True, # nextPHeadPrior表示优先调度下一个P的P首在当前P的P尾之前执行，配置True即表示2p1d调度，配置False表示1p1d调度
}
}

重点二：连续下发2个Prefill batch与资源管理关系
与资源管理相关配置项：maxPrefillBatchSize、maxPrefillTokens、maxSeqLen
maxPrefillBatchSize、maxPrefillTokens、maxSeqLen共同决定当对prefill请求执行batching操作时，允许下发的一个Prefill batch上限，即累加Prefill prompt length < max(maxPrefillTokens, maxSeqLen), 并且Prefill batchsize < maxPrefillBatchSize。系统基于这三个参数进行提前资源预留，然后执行batching操作。
本FR修改的为外部engine调度循环计数，与内部scheduler batching loop的资源预留无关。即修改的为SchedulerThreadEntry入口函数内，控制调度轮次的asyncScheduleRound值：
当使能layerwiseDisaggregated边云特性，但不使能2P1D调度时，asyncScheduleRound=2用于无阻塞的连续执行1P、1D两个batching过程并下发；当进一步使能2P1D调度时，asyncScheduleRound=3，用于无阻塞的连续执行2P、1D三个batching过程并下发。每个Prefill batching过程中仍遵循maxPrefillBatchSize、maxPrefillTokens参数设置的资源约束，控制每个batch的数据范围。若在batching过程中出现资源不足，无法生成相应batch，则不会下发。

替代方案

补充说明

欢迎加入社区，感谢您对社区的贡献 🎉!