相信很多小伙伴都想自己手搓大模型，所以有大佬做了LLaMA-Factory，但是有工具还不行，还得有环境，说实话，我现在每天除了上班就是带孩子，连游戏都没得打，所以自己连个有GPU的电脑都没[苦笑]。
基于以上前提条件，唯一方法只得通过云服务来帮我们微调大模型。
首先，我尝试用谷歌的Colab去跑，这个脚本LLaMA-Factory已经给写好了，但是问题是谷歌Colab免费版太渣，一天就给用半小时，你感受过微调到一半服务不给用的尴尬吗？
然后，我尝试找国内平替，比如Openl启智社区，用下来感觉不好用，你们可以去试试
openi.pcl.ac.cn/http://openi.pcl.ac.cn/
最后，找到了阿里云，有个DSW的服务，类似谷歌的Colab，目前可以免费包3个月，让你短期尽情手搓大模型，注意这个PAI下面只有DSW是有免费试用，不要尝试去用别的，不要问我怎么知道的。。
阿里云上云优选，实惠共享阿里云发布经济型e实例，开发者/初创企业首选云服务器，性能可升级，低价可持续，续费不涨价！https://www.aliyun.com/daily-act/ecs/activity_selection?userCode=lcpt2xut
什么是DSW_人工智能平台 PAI(PAI)-阿里云帮助中心DSW（Data Science Workshop）是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，提供代码编写、调试及运行的沉浸式体验。DSW提供丰富的异构计算资源，支持挂载OSS、NAS、CPFS类型的数据集，预置了多种开源框架的镜像，支持实例的生命周期管理，实现开箱即用的高效开发模式。https://help.aliyun.com/zh/pai/user-guide/dsw-overview?source=5176.11533457&userCode=lcpt2xut好了，工具找到了，下面开始搞事情。
1.创建实例
注意一定要选免费试用的资源，比如镜像，GPU之类
进入DSW界面，看是不是跟Colab挺像，然后把Colab的脚本拷过来，改把改把
2.微调大模型
不知道为什么阿里云跑LLaMA-Factory WebUI总报错，说是gradio缺少frpc_linux_amd64_v0.2，下载的话又下不动，本地下认为是病毒，太搞了，所以放弃WebUI直接命令行吧。
还有个很普遍的问题是，Huggingface对国内不友好，阿里云下模型基本下不动，所以只能尝试用modelscope. 虽然LLaMA-Factory的大佬也设置了modelscope选项，但尝试直接设置环境变量不好使。
最终，只能修改LLaMA-Factory的源代码，在\src\llmtuner\extras下直接改成只从modelscope下模型就好了，下载速度还挺快。
还有这些参数，可能跟WebUI上的不一样，需要注意
然后就是Cell by Cell跑就行了
3.微调效果
我拿了个Beautiful中国话数据集，训练出来脾气好冲[苦笑]
最后，执行merge和export之类操作，就大功告成了！
最后给自己的星球打个广告
https://t.zsxq.com/CzLTihttps://t.zsxq.com/CzLTi