BlocksCacheKey
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 推理系列产品 | √ |
| Atlas A2 训练系列产品 | x |
函数功能
构造BlocksCacheKey，通常在KvCacheManager的allocate_blocks_cache、pull_blocks接口中作为参数类型使用。
函数原型
__init__(*args, **kwargs)
参数说明
| 参数名称 | 数据类型 | 取值说明 |
|---|---|---|
| prompt_cluster_id | int | cache所在远端集群id，必填。 |
| model_id | int | cache关联的model_id，默认为0。 |
调用示例
from llm_datadist import BlocksCacheKey
blocks_cache_key = BlocksCacheKey(0, 0)
返回值
正常情况下返回BlocksCacheKey的实例。
传入数据类型错误情况下会抛出TypeError或ValueError异常。
约束说明
无