本地配置
系统：win10
**硬件：**i5-12490f+RTX4060
前置准备
目前本地微调大模型最常用的就是LLaMA-Factory，既可以用指令微调，又有Web UI，方便的很
github：https://github.com/hiyouga/LLaMA-Factory
首先将克隆到本地
git clone https://github.com/hiyouga/LLaMA-Factory.git
打开conda prompt，为什么不是cmd，因为我的pytorch等都是安装再conda环境下的，想利用cuda跑大模型，所以打开的是conda，而不是cmd
创建一个conda环境，这里说下，conda默认是base环境，可以新建环境，也可以就在base环境上面跑
conda create -n llm python=3.0
安装pytorch，已经安装过的可以忽略
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
进入最开始clone LLama-factory的文件夹下，运行下面两条
pip install -e .[torch,metrics]
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
然后逐一运行下面的指令，你就可以看到打开webui的链接了
Set CUDA_VISIBLE_DEVICES=0
Set GRADIO_SHARE=1
llamafactory-cli webui
本地打开链接后，出现下面的界面
这里可以选择模型的名称进行下载，然后再微调
具体的微调参数不在这里做过多介绍，官网都有
有几个点需要注意：
下载大模型的时候，如果报错，可能是你网络不行，没办法直连到huggingface上面进行下载，那你就只能去modelscope下载模型了 硬件配置，参考官网的硬件要求来，不要太过勉强，小心显卡冒烟 不要一上来就训练很多轮，epochs设置建议由小到大去进行试探，如果你的显存已经满了，而epochs又很大的话，那么训练的速度会非常非常慢总结
**文章总结**：本文详细介绍了如何在Win10系统下，使用i5-12490f和RTX4060显卡硬件配置，通过LLaMA-Factory框架在本地进行大模型的微风调的准备步骤和流程。主要包括以下几大部分：
1. **系统和硬件配置**：确认系统为Win10，硬件为i5-12490f和RTX4060显卡。
2. **前置准备**：
- 克隆LLaMA-Factory仓库至本地，提供GitHub链接。
- 通过Conda Prompt创建新的Python环境（或选择在base环境中进行），安装PyTorch及CUDA支持以利用GPU加速。
- 在LLaMA-Factory目录下安装必要的Python依赖及特别针对Windows的bitsandbytes库。
3. **运行Web UI**：
- 通过设置环境变量和使用`llamafactory-cli webui`命令启动Web界面。
- 系统会生成一个链接，通过本地浏览器访问此链接即可进行模型下载与微调。
4. **注意事项**：
- 下载模型时，如果遇到网络问题导致无法从Hugging Face下载，可以选择从ModelScope等其他源下载。
- 硬性配置需参考官方建议，确保硬件能够支撑训练过程，避免硬件过载风险。
- 训练时，建议从小量epochs开始逐渐增加，以避免显存溢出导致的训练缓慢问题。
综上所述，文章为初学者提供了一套详尽的指南，帮助他们成功在本地环境中设置并运行LLaMA-Factory进行大模型的微调。