cache_desc

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 推理系列产品	√
Atlas A2 训练系列产品	x

函数功能

获取KvCache描述。

函数原型

@property
cache_desc() -> CacheDesc

参数说明

无

调用示例

...
kv_cache = kv_cache_manager.allocate_cache(cache_desc, cache_keys)
print(kv_cache.cache_desc.num_tensors)

返回值

正常情况返回类型为KvCache的cache描述。

约束说明

无