模型支持列表

NLP

masked_language_modeling

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
bert	bert_base_uncased	wiki	-	-	configs

text_classification

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
txtcls_bert	txtcls_bert_base_uncased txtcls_bert_base_uncased_mnli	Mnli Mnli	Entity F1 Entity F1	- 84.80%	configs

token_classification

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
tokcls_bert	tokcls_bert_base_chinese tokcls_bert_base_chinese_cluener	CLUENER CLUENER	Entity F1 Entity F1	- 0.7905	configs

question_answering

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
qa_bert	qa_bert_base_uncased qa_bert_base_chinese_uncased	SQuAD v1.1 SQuAD v1.1	EM / F1 EM / F1	80.74 / 88.33 -	configs

translation

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
t5	t5_small	WMT16	-	-	configs

text_generation

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
llama2	llama2_7b llama2_13b llama2_7b_lora llama2_13b_lora llama2_70b	alpaca	PPL / EM / F1	6.58 / 39.6 / 60.5 6.14 / 27.91 / 44.23 - - -	configs
llama3	llama3_8b llama3_70b	alpaca	-	-	configs
glm2	glm2_6b glm2_6b_lora	ADGEN	BLEU-4 / Rouge-1 / Rouge-2 / Rouge-l -	7.47 / 30.78 / 7.07 / 24.77 7.23 / 31.06 / 7.18 / 24.23	configs
glm3	glm3_6b	ADGEN	-	-	configs
gpt2	gpt2_small gpt2_13b	wikitext-2	-	-	configs
codellama	codellama_34b	CodeAlpaca	-	-	configs
baichuan2	baichuan2_7b baichuan2_13b baichuan2_7b_lora baichuan2_13b_lora	belle	-	-	configs
deepseek coder	deepseek_33b	CodeAlpaca	-	-	configs
glm32k	glm3_6b_32k	LongBench	-	-	configs
Qwen	qwen_7b qwen_14b	alpaca	C-Eval	63.3 72.13	configs
Qwen1.5	qwen1_5_7b qwen1_5_14b qwen1_5_72b	alpaca	-	-	configs
internlm	internlm_7b internlm_20b	alpaca	-	-	configs
internlm2	internlm2_7b internlm2_20b	alpaca	-	-	configs
mixtral	mixtral_8x7b	wikitext-2	-	-	configs
yi	yi_6b yi_34b	alpaca	-	-	configs

CV

masked_image_modeling

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
mae	mae_vit_base_p16	ImageNet-1k	-	-	configs

image_classification

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
vit	vit_base_p16	ImageNet-1k	Accuracy	83.71%	configs
swin	swin_base_p4w7	ImageNet-1k	Accuracy	83.44%	configs

Multi-Modal

zero_shot_image_classification (by contrastive_language_image_pretrain)

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
clip	clip_vit_b_32 clip_vit_b_16 clip_vit_l_14 clip_vit_l_14@336	Cifar100 Cifar100 Cifar100 Cifar100	Accuracy Accuracy Accuracy Accuracy	57.24% 61.41% 69.67% 68.19%	configs
visualglm	visualglm	fewshot-data	-	-	configs

image_to_text_generation

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
QwenVL	qwenvl_9.6b_bf16	LLaVa-150k detail_23k	-	-	configs

LLM大模型能力支持一览

模型 \ 特性	低参微调	边训边评	Flash Attention	并行推理	流式推理	Chat	多轮对话
Llama2-7B/13B/70B	Lora	PPL	✓	dp/mp	✓	✓	✓
Llama3-8B/70B	-	-	✓	dp/mp	✓	✓	✓
CodeLlama-34B	Lora	HumanEval	✓	dp/mp	✓	-	-
GLM2-6B	Lora	PPL/Bleu/Rouge	✓	dp/mp	✓	✓	✓
GLM3-6B	-	-	✓	dp/mp	✓	✓	✓
GLM3-6B-32k	-	-	✓	dp/mp	✓	✓	✓
GPT2-128m/13B	Lora	PPL	✓	dp/mp	✓	-	-
BaiChuan2-7B/13B	Lora	PPL	✓	dp/mp	✓	✓	✓
Qwen-7B/14B	Lora	-	✓	dp/mp	✓	✓	✓
QwenVL-9.6B	-	-	✓	dp/mp	✓	-	-
Qwen-7B/14B/72B	-	-	✓	dp/mp	✓	✓	✓
InternLM-7B/20B	Lora	PPL	✓	dp/mp	✓	✓	✓
InternLM2-7B/20B	-	-	✓	dp/mp	✓	✓	✓
Yi-6B/34B	Lora	-	✓	dp/mp	✓	✓	✓
Mixtral-8x7B	Lora	-	✓	dp/mp	✓	-	-
DeepSeek-33B	Lora	-	✓	dp/mp	✓	-	-