InternLM Xtuner Qlora 微调

news/2024/7/8 2:58:52

Xtuner 简介

在这里插入图片描述

XTuner 是由上海人工智能实验室开发的一款低成本大模型训练工具箱。它以高效、灵活和全能的特性，成为轻量化大模型微调的理想选择。借助 XTuner，用户仅需 8GB 显存即可对 InternLM2-7B 模型进行微调，从而定制出独一无二的 AI 助手。这一创新工具极大地降低了微调大型模型的门槛，使得更多研究者和开发者能够轻松地进行个性化 AI 应用的开发。

仓库地址：https://github.com/InternLM/xtuner

Xtuner 特点概览

高效性能

  • 大模型支持：Xtuner 能够在仅 8GB 显存的环境下微调 7B 模型，同时支持跨多节点的更大规模模型（70B+）微调。
  • 算子加速：自动集成高性能算子，如 FlashAttention 和 Triton kernels，显著提升训练效率。
  • 深度优化：与 DeepSpeed 兼容，利用 ZeRO 优化策略，进一步提高训练性能。

灵活适应

  • 模型多样性：支持多种大语言模型，包括 InternLM、Mixtral-8x7B、Llama2、ChatGLM、Qwen 和 Baichuan 等。
  • 多模态能力：支持 LLaVA 等多模态图文模型的预训练与微调，如表现出色的 LLaVA-InternLM2-20B 模型。
  • 数据管道：设计灵活的数据管道，兼容各种数据格式，无论是开源数据还是自定义数据，都能快速适应。
  • 微调算法：提供 QLoRA、LoRA 及全量参数微调等多种微调算法，满足不同需求。

全能应用

  • 训练模式：支持增量预训练、指令微调及 Agent 微调，适应多种训练场景。
  • 对话模板：预设丰富的开源对话模板，便于与各类模型进行交互。
  • 无缝集成：训练后的模型可直接部署于 LMDeploy，或通过 OpenCompass 和 VLMEvalKit 进行大规模评测。

环境准备

创建工作目录

创建本次微调实践的工作目录 /root/autodl-tmp/ft-learn

# 创建微调工作目录
mkdir -p /root/autodl-tmp/ft-learn

# 创建微调数据集存放目录
mkdir -p /root/autodl-tmp/ft-learn/dataset

# 创建微调配置文件存放目录
mkdir -p /root/autodl-tmp/ft-learn/config

安装

  • 推荐使用 conda 先构建一个 Python-3.10 的虚拟环境

    conda create --name xtuner-env python=3.10 -y
conda activate xtuner-env

  • 通过 pip 安装 XTuner：

    pip install -U xtuner

    亦可集成 DeepSpeed 安装：

    pip install -U 'xtuner[deepspeed]'

  • 从源码安装 XTuner：

    git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[all]'

安装依赖

# 升级pip
python -m pip install --upgrade pip
# 安装python依赖
pip install modelscope==1.9.5
pip install transformers==4.36.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
pip install transformers_stream_generator==0.0.4
pip install einops ujson
pip install protobuf

使用 modelscope 下载模型

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。

在 Internlm2-7b-chat-web.ipynb 文件中新建一个代码块，运行下载 internlm2-chat-7b 模型。模型下载需要时间，我们直接往下看

from modelscope import snapshot_download

model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm2-chat-7b', cache_dir='/root/autodl-tmp', revision='master')

数据集处理

我自己整理的 心理大模型-职场焦虑语料.xlsx, 通过 gen_qa_json.py 文件生成一个 career_coach.jsonl 文件

运行 python /root/autodl-tmp/ft-learn/dataset/gen_qa_json.py 生成文件，你们也可以按照我的数据语料格式，自定义你们自己的数据集。gen_qa_json.py 文件代码如下：

import pandas as pd
import json

# 读取Excel文件
excel_file = './Healthcare.xlsx'  # 替换成实际的Excel文件路径
df = pd.read_excel(excel_file)

# 设置system的值
system_value = "你是一个专业的，经验丰富的有健康检测的助手。你总是根据有健康焦虑的病人的问题提供准确、全面和详细的答案。"

# 将数据整理成jsonL格式
json_data = []
for index, row in df.iterrows():
    conversation = [
        {
            "system": system_value,
            "input": str(row['q']),
            "output": str(row['a'])
        }
    ]
    json_data.append({"conversation": conversation})

# 将json数据写入文件
output_json_file = 'career_coach.jsonl'  # 替换成实际的输出文件路径
with open(output_json_file, 'w', encoding='utf-8') as f:
    json.dump(json_data, f, ensure_ascii=False)

print("JSONL文件生成成功！")

配置文件准备

Xtuner 已经内置了许多的配置文件。可以通过 Xtuner 查看可配置文件

xtuner list-cfg

由于我们本次的基座微调模型为 internLM2-chat-7b，所以我们可以查看 Xtuner 现在在 InternLM2 下已经支持了哪些配置文件

xtuner list-cfg |grep internlm2

# 复制配置文件
xtuner copy-cfg internlm2_chat_7b_qlora_oasst1_e3 /root/autodl-tmp/ft-learn/config
# 修改配置文件名
mv /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_copy.py  /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_career_coach.py

复制完成之后要修改配置文件的几处参数

# PART 1 中
# 预训练模型存放的位置
pretrained_model_name_or_path = '/root/autodl-tmp/Shanghai_AI_Laboratory/internlm2-chat-7b'

# 微调数据存放的位置
data_path = '/root/autodl-tmp/ft-learn/dataset/career_coach.jsonl'

# 训练中最大的文本长度
max_length = 512

# 每一批训练样本的大小
batch_size = 2

# 最大训练轮数
max_epochs = 3

# 验证的频率
evaluation_freq = 500

# 用于评估输出内容的问题（用于评估的问题尽量与数据集的question保持一致）
evaluation_inputs = [
'我感到在职场中压力很大，总是全身无力、掉头发，我该怎么办？',
'我在生活中总是失眠、头痛，怎样治疗？',
]


# PART 3 中
# 如果这里的
无法直接读取json文件
dataset=dict(type=load_dataset, path='json', data_files=dict(train=data_path))
# 这里也得改成None，否则会报错KeyError
dataset_map_fn=None

模型微调

微调启动

xtuner train /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_career_coach.py  --deepspeed deepspeed_zero2

训练完成之后，参数模型存放在 /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/ 目录下

模型转换成HF

# 新建模型存放的文件夹
mkdir -p /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/hf
# 添加环境变量
export MKL_SERVICE_FORCE_INTEL=1
# 模型转换
xtuner convert pth_to_hf /root/autodl-tmp/ft-learn/config/internlm2_chat_7b_qlora_oasst1_e3_career_coach.py /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/iter_51.pth/ /root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/hf

合并HF adapter 到LLM

mkdir -p /root/autodl-tmp/ft-learn/merged

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER='GNU'

# 原始模型参数存放的位置
export NAME_OR_PATH_TO_LLM=/root/autodl-tmp/Shanghai_AI_Laboratory/internlm2-chat-7b

# Hugging Face格式参数存放的位置
export NAME_OR_PATH_TO_ADAPTER=/root/work_dirs/internlm2_chat_7b_qlora_oasst1_e3_career_coach/hf

# 最终Merge后的参数存放的位置
mkdir -p /root/autodl-tmp/ft-learn/merged/internlm2_cc_hf_merge
export SAVE_PATH=/root/autodl-tmp/ft-learn/merged/internlm2_cc_hf_merge


# 执行参数Merge
xtuner convert merge \
    $NAME_OR_PATH_TO_LLM \
    $NAME_OR_PATH_TO_ADAPTER \
    $SAVE_PATH \
    --max-shard-size 2GB

Xtuner多轮对话介绍

XTuner 训练多轮对话模型时，采取了一种更加充分高效的方法。将多轮对话进行拼接，之后输入模型，并行计算每个位置的 loss，而只有 Output 部分的 loss 参与回传。

XTuner 中多轮对话数据集格式如下所示：

[{
    "conversation":[
        {
            "system": "You are an AI assistant."
            "input": "Hello?",
            "output": "Hello! How can I help you?"
        },
        {
            "input": "What's the date today?",
            "output": "Today is Monday, August 14, 2023."
        },
        {
            "input": "Thank you!",
            "output": "You are welcome."
        }
    ]
},
{
    "conversation":[
        {
            "system": "You are an AI assistant."
            "input": "Hello?",
            "output": "Hello! How can I help you?"
        },
        {
            "input": "How's the weather today in Rosso?",
            "output": "The weather in Rosso on Wednesday, August 16th, is going to be cloudy for most of the day, together with moderate rain around noon."
        },
        {
            "input": "Thank you!",
            "output": "You are welcome."
        }
    ]
}]

数据集中的 “conversation” 键对应的值是一个列表，用于保存每一轮对话的指令和实际回答（GroundTruth）。为了保持格式统一，增量预训练数据集和单轮对话数据集中的 “conversation” 键也对应一个列表，只不过该列表的长度为 1。而在多轮对话数据集中，“conversation” 列表的长度为 n，以容纳 n 轮的对话内容。


http://lihuaxi.xjx100.cn/news/2203362.html

相关文章

类和对象（上续）

类和对象（上续）

前言：本文介绍类和对象中的一些比较重要的知识点，为以后的继续学习打好基础。 目录 拷贝构造 拷贝构造的特征： 自定义类型的传值传参 自定义类型在函数中的传值返回 如果返回值时自定义的引用呢？ 在什么情况下使用呢&#…
阅读更多...
LLVM 后端执行流程

LLVM 后端执行流程

异构计算程序工作流程 图4-1中的LLVM后端的主要功能是代码生成，其中包括若干指令生成分析转换pass，将LLVM IR 转换为特定目标架构的机器代码 LLVM 流水线结构 输入指令经过图4-2中的各个阶段，从最初的LLVM IR，逐步演化为Selectio…
阅读更多...
使用Kotlin编写一个Http服务器

使用Kotlin编写一个Http服务器

首发于Enaium的个人博客 引言 在本文中，我们将使用 Kotlin 编写一个简单的 HTTP 服务器。我们将使用 Java 的 ServerSocket 类来实现这个服务器。我们将创建一个简单的服务器，它将监听端口 8000，并在接收到请求时返回一个简单的响应。 Http…
阅读更多...
mysql json_quote和json_unquote的用法

mysql json_quote和json_unquote的用法

在 MySQL 中，JSON_QUOTE() 和 JSON_UNQUOTE() 函数与 JSON 数据类型的处理有关。这两个函数在处理 JSON 字符串时特别有用。 JSON_QUOTE() JSON_QUOTE() 函数用于将字符串值转换为有效的 JSON 字符串。它会将特殊字符（如引号、反斜杠等）进行…
阅读更多...
两句话让LLM逻辑推理瞬间崩溃！！

两句话让LLM逻辑推理瞬间崩溃！！

一道简单的逻辑问题，竟让几乎所有的LLM全军覆没？ 对于人类来说，这个名为「爱丽丝梦游仙境」（AIW）的测试并不算很难—— 「爱丽丝有N个兄弟，她还有M个姐妹。爱丽丝的兄弟有多少个姐妹？」 稍加思考…
阅读更多...
TypeScript基础教程学习

TypeScript基础教程学习

菜鸟教程 TypeScript基础类型 数字类型 number 双精度 64 位浮点值。它可以用来表示整数和分数。 let binaryLiteral: number 0b1010; // 二进制 let octalLiteral: number 0o744; // 八进制 let decLiteral: number 6; // 十进制 let hexLiteral: number 0xf00d…
阅读更多...
【C++】＜知识点＞ C++11新特性

【C++】＜知识点＞ C++11新特性

文章目录 一、auto关键字 二、decltype关键字 三、nullptr关键字 四、智能指针 五、 无序容器（哈希表） 六、统一的初始化方法 七、成员变量默认初始值 八、范围for循环 九、右值引用与移动语义 十、lambda表达式 一、auto关键字 1. 作用&#…
阅读更多...
ABSD-系统架构师（七）

ABSD-系统架构师（七）

1、以太网交换机转发表叙述中，正确的是（）。 A交换机的初始MAC地址表为空 B交换机接收到数据帧后，如果没有相应的表项，则不转发该帧 C交换机通过读取输入帧中的目的地址来添加相应的MAC地址表项 D交换机的MAC地址表…
阅读更多...
最新文章

Copyright @ 2022~2023