跳到正文
Qwen 模型发布·· 2 天前精选AI 评分60

Qwen 发布 Qwen2-1.5B-Instruct 指令微调模型

Qwen/Qwen2-1.5B-Instruct

AI 导读

Qwen 发布 Qwen2 系列中的指令微调模型 Qwen2-1.5B-Instruct,该系列覆盖 0.5B 至 72B 参数并包含一个 MoE 模型。

推荐理由

原文给出 Qwen2-1.5B-Instruct 与上一代同尺寸模型在 MMLU、GSM8K 等基准上的逐项对比,便于判断小尺寸模型的升级幅度。

正文 · AI 翻译

简介

Qwen2 是 Qwen 大语言模型的新系列。对于 Qwen2,我们发布了一系列参数量从 0.5B 到 72B 的基础语言模型和指令微调语言模型,其中包括一个混合专家(Mixture-of-Experts)模型。本仓库包含指令微调后的 1.5B Qwen2 模型。

与包括此前发布的 Qwen1.5 在内的最先进开源语言模型相比,Qwen2 在针对语言理解、语言生成、多语言能力、代码、数学、推理等一系列基准测试中,普遍超越了大多数开源模型,并展现出与专有模型相竞争的实力。

更多详情,请参阅我们的 博客、GitHub 以及 文档。

模型详情

Qwen2 是一个语言模型系列,包含不同规模的解码器语言模型。对于每种规模,我们都发布了基础语言模型和对齐后的聊天模型。它基于 Transformer 架构,采用 SwiGLU 激活函数、注意力 QKV 偏置、分组查询注意力等技术。此外,我们还拥有改进后的分词器,能够适应多种自然语言和代码。

训练详情

我们使用大量数据对模型进行了预训练,并通过监督微调和直接偏好优化对模型进行了后训练。

环境要求

Qwen2 的代码已更新至最新的 Hugging Face transformers 库中,建议您安装 transformers>=4.37.0,否则可能会遇到以下错误:

KeyError: 'qwen2'

快速开始

这里提供了一个使用 apply_chat_template 的代码片段,展示如何加载分词器和模型以及如何生成内容。

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2-1.5B-Instruct",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-1.5B-Instruct")

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

评估结果

我们将 Qwen2-1.5B-Instruct 与 Qwen1.5-1.8B-Chat 进行了简要对比。结果如下:

数据集 Qwen1.5-0.5B-Chat Qwen2-0.5B-Instruct Qwen1.5-1.8B-Chat Qwen2-1.5B-Instruct
MMLU 35.0 37.9 43.7 52.4
HumanEval 9.1 17.1 25.0 37.8
GSM8K 11.3 40.1 35.3 61.6
C-Eval 37.2 45.2 55.3 63.8
IFEval (Prompt Strict-Acc.) 14.6 20.0 16.8 29.0

引用

如果您觉得我们的工作有帮助,欢迎引用我们的成果。

@article{qwen2,
  title={Qwen2 Technical Report},
  year={2024}
}

来源:Qwen 模型发布 · hf-mirror.com