sync_kv_timeout
产品支持情况
产品
|
是否支持
|
|---|
Atlas A3 训练系列产品/Atlas A3 推理系列产品
|
√
|
Atlas A2 推理系列产品
|
√
|
Atlas A2 训练系列产品
|
x
|
函数功能
配置一系列接口的超时时间对应底层llm.SyncKvCacheWaitTime配置项。
函数原型
sync_kv_timeout(sync_kv_timeout)
参数说明
参数名称
|
数据类型
|
取值说明
|
|---|
sync_kv_timeout
|
int或str
|
同步kv超时时间，单位：ms。不配置默认为1000ms。
|
调用示例
from llm_datadist import LLMConfig
llm_config = LLMConfig()
llm_config.sync_kv_timeout = 1000
返回值
正常情况下无返回值。
参数错误可能抛出TypeError或ValueError。
约束说明
无