BlocksCacheKey

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 推理系列产品	√
Atlas A2 训练系列产品	x

函数功能

构造BlocksCacheKey，通常在KvCacheManager的allocate_blocks_cache、pull_blocks接口中作为参数类型使用。

函数原型

__init__(*args, **kwargs)

参数说明

参数名称	数据类型	取值说明
prompt_cluster_id	int	cache所在远端集群id，必填。
model_id	int	cache关联的model_id，默认为0。

调用示例

from llm_datadist import BlocksCacheKey
blocks_cache_key = BlocksCacheKey(0, 0)

返回值

正常情况下返回BlocksCacheKey的实例。

传入数据类型错误情况下会抛出TypeError或ValueError异常。

约束说明

无