LLM-DataDist接口参考（Python）

• LLM-DataDist接口列表

• LLMDataDist

  • LLMDataDist构造函数
  • init
  • finalize
  • link_clusters
  • unlink_clusters
  • check_link_status
  • kv_cache_manager
  • switch_role

• LLMConfig

  • LLMConfig构造函数
  • generate_options
  • device_id
  • sync_kv_timeout
  • enable_switch_role
  • ge_options
  • listen_ip_info
  • mem_utilization
  • buf_pool_cfg

• KvCacheManager

  • KvCacheManager构造函数
  • is_initialized
  • allocate_cache
  • deallocate_cache
  • remove_cache_key
  • pull_cache
  • copy_cache
  • get_cache_tensors
  • allocate_blocks_cache
  • pull_blocks
  • copy_blocks
  • swap_blocks
  • transfer_cache_async

• KvCache

  • KvCache构造函数
  • cache_id
  • cache_desc
  • per_device_tensor_addrs
  • create_cpu_cache

• LLMRole

• LLMClusterInfo

  • LLMClusterInfo构造函数
  • remote_cluster_id
  • append_local_ip_info
  • append_remote_ip_info

• Placement

• CacheDesc

• CacheKey

• CacheKeyByIdAndIndex

• BlocksCacheKey

• LayerSynchronizer

• TransferConfig

• TransferWithCacheKeyConfig

• CacheTask

  • CacheTask构造函数
  • synchronize
  • get_results

• LLMException

• LLMStatusCode

• DataType

• 待废弃

  • TensorDesc

    • TensorDesc构造函数
    • dtype
    • shape

  • Tensor

    • Tensor构造函数
    • numpy