跳到内容

基于Adapter的文本生成微调

Llama2-7b 4bit微调 (QLoRA)

Open In Colab

这个示例展示了如何微调Llama2-7b使其遵循指令。指令微调是将通用大语言模型调整为聊天机器人的第一步。

这个示例不使用分布式训练或大数据功能。它被设计用于在任何配备GPU的机器上本地运行。

前提条件

  • HuggingFace API Token
  • Llama2-7b-hf 的访问批准
  • 至少12 GiB显存 (VRAM) 的GPU（在我们的测试中，使用了Nvidia T4）

运行

安装Ludwig

pip install ludwig ludwig[llm]

命令行

从终端设置你的token环境变量，然后运行API脚本

export HUGGING_FACE_HUB_TOKEN="<api_token>"
./run_train.sh

Python API

从终端设置你的token环境变量，然后运行API脚本

export HUGGING_FACE_HUB_TOKEN="<api_token>"
python train_alpaca.py

上传到HuggingFace

你可以从命令行上传到HuggingFace Hub

ludwig upload hf_hub -r <your_org>/<model_name> -m <path/to/model>