模型支持列表

NLP

masked_language_modeling

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
bert	bert_base_uncased	wiki	-	-	configs

text_classification

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
txtcls_bert	txtcls_bert_base_uncased txtcls_bert_base_uncased_mnli	Mnli Mnli	Entity F1 Entity F1	- 84.80%	configs

token_classification

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
tokcls_bert	tokcls_bert_base_chinese tokcls_bert_base_chinese_cluener	CLUENER CLUENER	Entity F1 Entity F1	- 0.7905	configs

question_answering

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
qa_bert	qa_bert_base_uncased qa_bert_base_chinese_uncased	SQuAD v1.1 SQuAD v1.1	EM / F1 EM / F1	80.74 / 88.33 -	configs

translation

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
t5	t5_small	WMT16	-	-	configs

text_generation

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
llama	llama_7b llama_13b llama_7b_lora	alpaca	-	-	configs
llama2	llama2_7b llama2_13b llama2_7b_lora llama2_13b_lora llama2_70b	alpaca	PPL / EM / F1	6.58 / 39.6 / 60.5 6.14 / 27.91 / 44.23 - - -	configs
glm	glm_6b glm_6b_lora	ADGEN	BLEU-4 / Rouge-1 / Rouge-2 / Rouge-l -	8.42 / 31.75 / 7.98 / 25.28 -	configs
glm2	glm2_6b glm2_6b_lora	ADGEN	BLEU-4 / Rouge-1 / Rouge-2 / Rouge-l -	7.47 / 30.78 / 7.07 / 24.77 7.23 / 31.06 / 7.18 / 24.23	configs
glm3	glm3_6b	ADGEN	-	-	configs
CodeGeex2	codegeex2_6b	CodeAlpaca	-	-	configs
bloom	bloom_560m bloom_7.1b	alpaca	-	-	configs
gpt2	gpt2_small gpt2_13b	wikitext-2	-	-	configs
pangualpha	pangualpha_2_6_b pangualpha_13b	悟道数据集	TNEWS / Em / F1 -	0.646 / 2.10 / 21.12 -	configs
baichuan	baichuan_7b baichuan_13b	alpaca	-	-	configs
baichuan2	baichuan2_7b baichuan2_13b baichuan2_7b_lora baichuan2_13b_lora	belle	-	-	configs
skywork	skywork_13b	ADGEN	C-Eval / MMLU / CMMLU	60.63 / 62.14 / 61.83	configs
Wizardcoder	wizardcoder_15b	CodeAlpaca	MBPP Pass@1	50.8	configs
Qwen	qwen_7b qwen_14b	alpaca	C-Eval	63.3 72.13	configs
internlm	internlm_7b internlm_20b	alpaca	-	-	configs
ziya	ziya_13b	alpaca	-	-	configs

CV

masked_image_modeling

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
mae	mae_vit_base_p16	ImageNet-1k	-	-	configs

image_classification

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
vit	vit_base_p16	ImageNet-1k	Accuracy	83.71%	configs
swin	swin_base_p4w7	ImageNet-1k	Accuracy	83.44%	configs

Multi-Modal

zero_shot_image_classification (by contrastive_language_image_pretrain)

模型 model	模型规格 type	数据集 dataset	评估指标 metric	评估得分 score	配置 config
clip	clip_vit_b_32 clip_vit_b_16 clip_vit_l_14 clip_vit_l_14@336	Cifar100 Cifar100 Cifar100 Cifar100	Accuracy Accuracy Accuracy Accuracy	57.24% 61.41% 69.67% 68.19%	configs
blip2	blip2_vit_g	- flickr30k -	- ITM -	- - -	configs
visualglm	visualglm	fewshot-data	-	-	configs

LLM大模型能力支持一览

模型 \ 特性	低参微调	边训边评	Flash Attention	并行推理	流式推理	Chat	多轮对话	Lite推理
Llama-7B/13B	Lora	PPL	√	dp/mp	√	×	×	√
Llama2-7B/13B/70B	Lora	PPL	√	dp/mp	√	√	√	√
GLM-6B	Lora	Bleu/Rouge	√	dp/mp	√	√	√	√
GLM2-6B	Lora/P-TuningV2	PPL/Bleu/Rouge	√	dp/mp	√	√	√	√
GLM3-6B	×	×	√	dp/mp	√	√	√	√
CodeGeex2-6B	×	PPL/Bleu/Rouge	√	dp/mp	√	√	√	√
Bloom-560m/7.1B	×	PPL	√	dp/mp	√	√	√	√
GPT2-128m/13B	Lora	PPL	√	dp/mp	√	×	×	√
PanGuAlpha-2.6B/13B	×	PPL	×	dp/mp	√	×	×	×
BILP2	×	×	×	dp	√	×	×	×
BaiChuan-7B/13B	×	PPL	×	dp/mp	√	√	√	√
BaiChuan2-7B/13B	Lora	PPL	√	dp/mp	√	√	√	√
Qwen-7B/14B	√	×	√	dp/mp	√	√	√	√
InternLM-7B/20B	Lora	PPL	√	dp/mp	√	√	√	√
Skywork-13B	×	×	×	dp/mp	√	×	×	√
ZiYa-13B	×	PPL	√	dp/mp	√	×	×	×
Wizardcoder-15B	×	PPL	×	dp/mp	√	√	√	√
VisualGLM	Lora	×	×	dp	√	×	×	√