Kimi-K2.5 使用指南

目录

• 版本说明
  • 参考实现
  • 变更记录
• 环境安装
  • 环境准备
  • 环境搭建
• 数据集准备及处理
  • 数据集下载
  • 数据混合数据集处理
• 训练
  • 准备工作
  • 启动训练
• 环境变量声明
• 注意事项

版本说明

参考实现

url=https://huggingface.co/moonshotai/Kimi-K2.5/tree/main
commit_id=3367c8d

变更记录

2026.02.13: 首次支持Kimi-K2.5模型

---

环境安装

1. 环境准备

【模型开发时推荐使用配套的环境版本】

请参考安装指南，完成昇腾软件安装。

‼️ 部分特性依赖较新版本的CANN，请使用 8.5.0 以上版本:

• CANN

2. 环境搭建

git clone https://gitcode.com/Ascend/MindSpeed-MM.git

# 安装mindspeed及依赖
git clone https://gitcode.com/Ascend/MindSpeed.git
cd MindSpeed
cp -r mindspeed ../MindSpeed-MM/

# 安装mindspeed mm及依赖
cd ../MindSpeed-MM
pip install -e .

# 安装三方库依赖
pip install tiktoken==0.12.0

---

数据集准备及处理

1. 数据集下载（以COCO2017数据集为例）

(1) 用户需要自行下载COCO2017数据集COCO2017，并解压到项目目录下的./data/COCO2017文件夹中。

(2) 获取图片数据集的描述文件（LLaVA-Instruct-150K），下载至./data/路径下。

(3) 运行数据转换脚本python examples/qwen2vl/llava_instruct_2_mllm_demo_format.py，转换后参考数据目录结构如下：

$playground
├── data
    ├── COCO2017
        ├── train2017

    ├── llava_instruct_150k.json
    ├── mllm_format_llava_instruct_data.json
    ...

---

当前支持读取多个以,（注意不要加空格）分隔的数据集，配置方式为将kimik2_5_config.yaml中的DATASET_PATH参数从/data/mllm_format_llava_instruct_data.json修改为/data/mllm_format_llava_instruct_data.json,/data/mllm_format_llava_instruct_data2.json

同时注意kimik2_5_config.yaml中data->dataset_param->basic_parameters->max_samples的配置，会限制数据只读取max_samples条，这样可以快速验证功能。正式训练时，可以把该参数去掉以读取全部的数据。

2.纯文本或有图无图混合训练数据 (以LLaVA-Instruct-150K为例)

现在本框架已经支持纯文本/混合数据（有图像和无图像数据混合训练）。

在数据构造时，对于包含图片的数据，需要保留image这个键值。

{
  "id": your_id,
  "image": your_image_path,
  "conversations": [
      {"from": "human", "value": your_query},
      {"from": "gpt", "value": your_response},
  ],
}

在数据构造时，对于纯文本数据，可以去除image这个键值。

{
  "id": your_id,
  "conversations": [
      {"from": "human", "value": your_query},
      {"from": "gpt", "value": your_response},
  ],
}

---

训练

1. 准备工作

从Huggingface库 （Kimi-K2.5） 下载下列文件并放置于本地mindspeed_mm/fsdp/models/kimik2_5路径下；

# HF_PATH配置为HuggingFace库下载文件的存放路径
HF_PATH="/download/Kimi-K2.5"
# MM_PATH配置为MindSpeed-MM根目录路径
MM_PATH="/home/workspace/MindSpeed-MM"

cd ${HF_PATH}
cp -f \
  chat_template.jinja \
  config.json \
  configuration_deepseek.py \
  configuration_kimi_k25.py \
  generation_config.json \
  kimi_k25_processor.py \
  kimi_k25_vision_processing.py \
  preprocessor_config.json \
  tiktoken.model \
  tokenizer_config.json \
  tool_declaration_ts.py \
  ${MM_PATH}/mindspeed_mm/fsdp/models/kimik2_5/
cd ${MM_PATH}

Kimi-K2.5模型需要配置多机训练，如需拉起多机训练，请修改启动脚本下的 MASTER_ADDR、NNODES 以及 NODE_RANK 变量：

MASTER_ADDR: 主节点IP地址
NNODES: 总节点数量
NODE_RANK: 当前节点序号

配置脚本前需要完成前置准备工作，包括：环境安装、数据集准备及处理，详情可查看对应章节。

2. 启动训练

在 kimik2_5_config.yaml 文件中配置好数据集路径后，使用如下命令，即可实现Kimi-K2.5的训练：

bash examples/kimik2_5/finetune_kimik2_5.sh

环境变量声明

环境变量	描述	取值说明
TASK_QUEUE_ENABLE	用于控制开启task_queue算子下发队列优化的等级	0: 关闭 1: 开启Level 1优化 2: 开启Level 2优化
CPU_AFFINITY_CONF	控制CPU端算子任务的处理器亲和性，即设定任务绑核	设置0或未设置: 表示不启用绑核功能 1: 表示开启粗粒度绑核 2: 表示开启细粒度绑核
HCCL_CONNECT_TIMEOUT	用于限制不同设备之间socket建链过程的超时等待时间	需要配置为整数，取值范围[120,7200]，默认值为120，单位s
PYTORCH_NPU_ALLOC_CONF	控制缓存分配器行为	expandable_segments:<value>: 使能内存池扩展段功能，即虚拟内存特征
MULTI_STREAM_MEMORY_REUSE	配置多流内存复用是否开启	0: 关闭多流内存复用 1: 开启多流内存复用

---

注意事项