已合并
【HunyuanLargeMoE】part of data-preprocess #2248
zhoubeirong创建于 2025年2月19日
【HunyuanLargeMoE】part of data-preprocess #2248
已合并
从refs/pull/2248/head合入到master
Pull Request已成功合入, 合并人@
（感谢 zhoubeirong 的贡献）2025年3月1日 推送了代码
2025年3月1日 移除了
ci-pipeline-failed
标签
2025年3月1日 添加了
ci-pipeline-running
标签
2025年3月1日 移除了
ci-pipeline-running
标签
2025年3月1日 添加了
ci-pipeline-running
标签
此处折叠了72条消息 查看更多
2025年3月1日 添加了
ci-pipeline-failed
标签
2025年3月1日 添加了
ci-pipeline-running
标签
2025年3月1日 添加了
ci-pipeline-running
标签
2025年3月1日 添加了
ci-pipeline-running
标签
2025年3月3日 添加了
approved
标签
【HunyuanLargeMoE】part of data-preprocess
数据预处理：
（1）拼接时有一些特殊的字符，新建了一个convert_hunyuan_to_intermediate，将原始数据去掉key-value的格式，将对话处理成一个完整的句子
（2）新加HunyuanInstructionHandler，实现encode的功能
（3）preprocess/decoder_packed_mtf_dataset.py新增参数cut_max_seqlen，进行最大长度截断