master

Wwangjiangben!5001 【自研】【PyTorch】修复GLM-10B多机训练时数据读取失败

9a9a6f32创建于 2023年6月24日历史提交

文件	最后提交记录	最后更新时间
__init__.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
corpora.py	!5001 【自研】【PyTorch】修复GLM-10B多机训练时数据读取失败 * fix glm-10b readme	2 年前
datasets.py	!4828 [自研][PyTorch]GLM-10B supports NPU * glm-10b supports NPU	2 年前
extraction.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
file_utils.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
lazy_loader.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
samplers.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
sp_tokenizer.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
tokenization.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
tokenization_gpt2.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前
wordpiece.py	!4740 【自研】【PyTorch】GLM-10B源码上传 * GLM-10B source code	2 年前