KvCacheManager

• KvCacheManager构造函数

• is_initialized

• allocate_cache

• deallocate_cache

• remove_cache_key

• pull_cache

• copy_cache

• get_cache_tensors

• allocate_blocks_cache

• pull_blocks

• copy_blocks

• swap_blocks

• transfer_cache_async