需求描述/ Description

KServe LLMInferenceService 会把预设 kserve-config-llm-scheduler（llm-d scheduler）与用户 spec.router.scheduler 做 strategic merge；用户 overlay 只能改/加字段，不能删除预设中的 command、探针、卷挂载等。当前 InferNex-Bridge Webhook 因此必须先剥掉 llm-d 专用项，再由 LLMISVC 侧写完整 Hermes template，否则 Hermes 配置无法干净覆盖。

期望 Hermes Router（含 EPP main 与 tokenizer sidecar，以及相关 Chart / 插件默认值）整体对齐 llm-d 预设契约，使在 KServe 路径上可以 直接用 Hermes 的 template / scheduler.config（含 EPP plugin 等）覆盖或追加配置，而不再依赖 Webhook 先改掉预设。用户仍可按需换镜像、改资源、追加插件与路由策略；目标是这些配置与预设兼容、互不影响，而不是「只能换镜像、不能写配置」。实现上可分步推进（例如先 tokenizer、再 EPP），但需求目标是完整适配。

当前 Webhook 对 scheduler Config 删除项主要包括：main.command、main/tokenizer 的 tokenizer-uds 挂载、tokenizer 的 ports/probes/workingDir/env、tokenizer-cache/tokenizer-uds 卷等。对齐完成后，这些字段应能按上游预设保留，并由 Hermes 镜像与配置正确消费。

需求价值：关键竞争力/ Value: Key Competitive Advantage

• 去掉对 Bridge Webhook 改 KServe 预设的依赖，降低运维与升级风险
• 与上游 KServe/llm-d scheduler 契约一致，用户可通过覆盖/追加配置接入 Hermes，无需先剥预设
• 为 Hermes 原生适配 KServe、社区合入铺路

需求类型：新增/增强/继承 /Requirement Type: New/Enhancement/Inheritance

增强（对现有 EPP / tokenizer sidecar / Chart / 插件默认契约做兼容对齐）

特性约束：兼容性要求或其他限制性约束或NA/ Property Constraints: Compatibility requirements or other restrictive constraints or NA

• 对齐对象：kserve/config/llmisvcconfig/config-llm-scheduler.yaml 全量 scheduler template 契约
• tokenizer 约定：
  • UDS：/tmp/tokenizer/tokenizer-uds.socket，卷名 tokenizer-uds，挂载 /tmp/tokenizer
  • 健康检查：HTTP GET /healthz 端口 8082（进程起来即可，不依赖模型加载）
  • workingDir: /mnt/models，TOKENIZERS_DIR=/mnt/models
  • 可写卷：tokenizer-tmp→/tmp，tokenizer-cache→/.cache；readOnlyRootFilesystem: true
• EPP（main）约定：
  • 容器名必须为 main（KServe 只给该容器注入 --config-text）
  • 能消费预设 command（/app/epp --pool-name ...）或与之等价地通过镜像 ENTRYPOINT + 预设 args 正常启动
  • 兼容预设探针（gRPC 9003 / liveness、readiness）、TLS 挂载 /var/run/kserve/tls、以及 tokenizer-uds→/tmp/tokenizer
  • Hermes 路由能力通过 scheduler.config / --config-text 覆盖或追加插件（如 kv-cache-aware、tokenizer、prediction 等），不另起一套需靠 Webhook 删除的 command/卷约定
• Chart 独立部署路径可通过 values 覆盖，但 KServe 路径默认值 应与上述契约一致，避免再引入 tokenizer-socket-volume、/var/run/tokenizer、容器名 epp 等第二套约定
• 落地允许分步（如先 tokenizer、再 EPP、最后去掉 Bridge scheduler Webhook）；任一步未完成前，可继续依赖 Webhook 过渡，但须在 PR/进度中标明差距

交付个人或团队：如团队、SIG等/ Delivery organization: such as teams, SIGs, etc.

SIG AI Inference / Hermes Router

建议改动范围与分步（供实现参考）

1. Tokenizer：默认 socket、:8082/healthz、认 TOKENIZERS_DIR、缓存写到 /.cache；Chart/examples 卷名路径对齐 tokenizer-uds
2. EPP / 插件：默认连 /tmp/tokenizer/tokenizer-uds.socket；KServe 路径下用 scheduler.config 覆盖/追加 Hermes 插件，不依赖 Webhook 删除预设 command 与 UDS 约定
3. 验收：未打 Bridge scheduler Webhook 时，保留 llm-d 预设字段，用户通过换镜像 + 覆盖/追加 Hermes 配置（含 EPP plugin）可使 Pod Ready 且路由可用
4. 收尾：确认可去掉 InferNex-Bridge 对 kserve-config-llm-scheduler 的修改