Kimi-K2.5 使用指南
目录
版本说明
参考实现
url=https://huggingface.co/moonshotai/Kimi-K2.5/tree/main
commit_id=3367c8d
变更记录
2026.02.13: 首次支持Kimi-K2.5模型
环境安装
1. 环境准备
【模型开发时推荐使用配套的环境版本】
请参考安装指南，完成昇腾软件安装。
‼️ 部分特性依赖较新版本的CANN，请使用 8.5.0 以上版本:
2. 环境搭建
git clone https://gitcode.com/Ascend/MindSpeed-MM.git
# 安装mindspeed及依赖
git clone https://gitcode.com/Ascend/MindSpeed.git
cd MindSpeed
cp -r mindspeed ../MindSpeed-MM/
# 安装mindspeed mm及依赖
cd ../MindSpeed-MM
pip install -e .
# 安装三方库依赖
pip install tiktoken==0.12.0
数据集准备及处理
1. 数据集下载（以COCO2017数据集为例）
(1) 用户需要自行下载COCO2017数据集COCO2017，并解压到项目目录下的./data/COCO2017文件夹中。
(2) 获取图片数据集的描述文件（LLaVA-Instruct-150K），下载至./data/路径下。
(3) 运行数据转换脚本python examples/qwen2vl/llava_instruct_2_mllm_demo_format.py，转换后参考数据目录结构如下：
$playground
├── data
├── COCO2017
├── train2017
├── llava_instruct_150k.json
├── mllm_format_llava_instruct_data.json
...
当前支持读取多个以,（注意不要加空格）分隔的数据集，配置方式为将kimik2_5_config.yaml中的DATASET_PATH参数从/data/mllm_format_llava_instruct_data.json修改为/data/mllm_format_llava_instruct_data.json,/data/mllm_format_llava_instruct_data2.json
同时注意kimik2_5_config.yaml中data->dataset_param->basic_parameters->max_samples的配置，会限制数据只读取max_samples条，这样可以快速验证功能。正式训练时，可以把该参数去掉以读取全部的数据。
2.纯文本或有图无图混合训练数据 (以LLaVA-Instruct-150K为例)
现在本框架已经支持纯文本/混合数据（有图像和无图像数据混合训练）。
在数据构造时，对于包含图片的数据，需要保留image这个键值。
{
"id": your_id,
"image": your_image_path,
"conversations": [
{"from": "human", "value": your_query},
{"from": "gpt", "value": your_response},
],
}
在数据构造时，对于纯文本数据，可以去除image这个键值。
{
"id": your_id,
"conversations": [
{"from": "human", "value": your_query},
{"from": "gpt", "value": your_response},
],
}
训练
1. 准备工作
从Huggingface库 （Kimi-K2.5） 下载下列文件并放置于本地mindspeed_mm/fsdp/models/kimik2_5路径下；
# HF_PATH配置为HuggingFace库下载文件的存放路径
HF_PATH="/download/Kimi-K2.5"
# MM_PATH配置为MindSpeed-MM根目录路径
MM_PATH="/home/workspace/MindSpeed-MM"
cd ${HF_PATH}
cp -f \
chat_template.jinja \
config.json \
configuration_deepseek.py \
configuration_kimi_k25.py \
generation_config.json \
kimi_k25_processor.py \
kimi_k25_vision_processing.py \
preprocessor_config.json \
tiktoken.model \
tokenizer_config.json \
tool_declaration_ts.py \
${MM_PATH}/mindspeed_mm/fsdp/models/kimik2_5/
cd ${MM_PATH}
Kimi-K2.5模型需要配置多机训练，如需拉起多机训练，请修改启动脚本下的 MASTER_ADDR、NNODES 以及 NODE_RANK 变量：
MASTER_ADDR: 主节点IP地址
NNODES: 总节点数量
NODE_RANK: 当前节点序号
配置脚本前需要完成前置准备工作，包括：环境安装、数据集准备及处理，详情可查看对应章节。
2. 启动训练
在 kimik2_5_config.yaml 文件中配置好数据集路径后，使用如下命令，即可实现Kimi-K2.5的训练：
bash examples/kimik2_5/finetune_kimik2_5.sh
环境变量声明
| 环境变量 | 描述 | 取值说明 |
|---|---|---|
TASK_QUEUE_ENABLE |
用于控制开启task_queue算子下发队列优化的等级 | 0: 关闭1: 开启Level 1优化2: 开启Level 2优化 |
CPU_AFFINITY_CONF |
控制CPU端算子任务的处理器亲和性，即设定任务绑核 | 设置0或未设置: 表示不启用绑核功能1: 表示开启粗粒度绑核2: 表示开启细粒度绑核 |
HCCL_CONNECT_TIMEOUT |
用于限制不同设备之间socket建链过程的超时等待时间 | 需要配置为整数，取值范围[120,7200]，默认值为120，单位s |
PYTORCH_NPU_ALLOC_CONF |
控制缓存分配器行为 | expandable_segments:<value>: 使能内存池扩展段功能，即虚拟内存特征 |
MULTI_STREAM_MEMORY_REUSE |
配置多流内存复用是否开启 | 0: 关闭多流内存复用1: 开启多流内存复用 |