GLM/data_utils · glm2/GLM

1f14ae24创建于 2023年1月17日历史提交

文件	最后提交记录	最后更新时间
__init__.py	Fix blocklm tokens for Chinese Fix paths for Chinese datasets	5 年前
corpora.py	Fix blocklm tokens for Chinese Fix paths for Chinese datasets	5 年前
datasets.py	Respect sentence end in block data	5 年前
extraction.py	Add extracting leading sentences in wikipedia	5 年前
file_utils.py	Fix some warnings	5 年前
lazy_loader.py	Implement multi-task pre-training	5 年前
samplers.py	Fix some warnings	5 年前
sp_tokenizer.py	Support multiprocessing tokenization Add Chinese tokenizer Add summary dir Use Torch DDP	5 年前
tokenization.py	Update model log	3 年前
tokenization_gpt2.py	Add roberta tokenizer	5 年前
wordpiece.py	Fix bert-large-cased tokenizer	5 年前