Llama-2-7b 指令微调
Llama2-7b 4位微调 (QLoRA)¶
这个例子展示了如何对 Llama2-7b 进行指令微调。指令微调是将通用大型语言模型适配成聊天机器人的第一步。
这个例子不使用分布式训练或大数据功能。它设计用于在任何配备 GPU 的机器上本地运行。
前提条件¶
- HuggingFace API 令牌
- Llama2-7b-hf 的访问批准
- 至少 12 GiB 显存的 GPU（在我们的测试中，我们使用了 Nvidia T4）
运行¶
安装 Ludwig¶
pip install ludwig ludwig[llm]
命令行¶
在终端设置你的令牌环境变量，然后运行 API 脚本
export HUGGING_FACE_HUB_TOKEN="<api_token>"
./run_train.sh
Python API¶
在终端设置你的令牌环境变量，然后运行 API 脚本
export HUGGING_FACE_HUB_TOKEN="<api_token>"
python train_alpaca.py
上传到 HuggingFace¶
你可以从命令行上传到 HuggingFace Hub
ludwig upload hf_hub -r <your_org>/<model_name> -m <path/to/model>