Qwen 发布 Qwen2-1.5B-Instruct 指令微调模型
Qwen/Qwen2-1.5B-Instruct
Qwen 发布 Qwen2 系列中的指令微调模型 Qwen2-1.5B-Instruct,该系列覆盖 0.5B 至 72B 参数并包含一个 MoE 模型。
原文给出 Qwen2-1.5B-Instruct 与上一代同尺寸模型在 MMLU、GSM8K 等基准上的逐项对比,便于判断小尺寸模型的升级幅度。
简介
Qwen2 是 Qwen 大语言模型的新系列。对于 Qwen2,我们发布了一系列参数量从 0.5B 到 72B 的基础语言模型和指令微调语言模型,其中包括一个混合专家(Mixture-of-Experts)模型。本仓库包含指令微调后的 1.5B Qwen2 模型。
与包括此前发布的 Qwen1.5 在内的最先进开源语言模型相比,Qwen2 在针对语言理解、语言生成、多语言能力、代码、数学、推理等一系列基准测试中,普遍超越了大多数开源模型,并展现出与专有模型相竞争的实力。
模型详情
Qwen2 是一个语言模型系列,包含不同规模的解码器语言模型。对于每种规模,我们都发布了基础语言模型和对齐后的聊天模型。它基于 Transformer 架构,采用 SwiGLU 激活函数、注意力 QKV 偏置、分组查询注意力等技术。此外,我们还拥有改进后的分词器,能够适应多种自然语言和代码。
训练详情
我们使用大量数据对模型进行了预训练,并通过监督微调和直接偏好优化对模型进行了后训练。
环境要求
Qwen2 的代码已更新至最新的 Hugging Face transformers 库中,建议您安装 transformers>=4.37.0,否则可能会遇到以下错误:
KeyError: 'qwen2'
快速开始
这里提供了一个使用 apply_chat_template 的代码片段,展示如何加载分词器和模型以及如何生成内容。
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2-1.5B-Instruct",
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-1.5B-Instruct")
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
评估结果
我们将 Qwen2-1.5B-Instruct 与 Qwen1.5-1.8B-Chat 进行了简要对比。结果如下:
| 数据集 | Qwen1.5-0.5B-Chat | Qwen2-0.5B-Instruct | Qwen1.5-1.8B-Chat | Qwen2-1.5B-Instruct |
|---|---|---|---|---|
| MMLU | 35.0 | 37.9 | 43.7 | 52.4 |
| HumanEval | 9.1 | 17.1 | 25.0 | 37.8 |
| GSM8K | 11.3 | 40.1 | 35.3 | 61.6 |
| C-Eval | 37.2 | 45.2 | 55.3 | 63.8 |
| IFEval (Prompt Strict-Acc.) | 14.6 | 20.0 | 16.8 | 29.0 |
引用
如果您觉得我们的工作有帮助,欢迎引用我们的成果。
@article{qwen2,
title={Qwen2 Technical Report},
year={2024}
}
来源:Qwen 模型发布 · hf-mirror.com