文章目录
前言 1. 本地部署Text generation Web UI 2. 安装CodeLlama大模型 3. 实现公网远程使用Code Llama 4. 固定Text generation Web UI公网地址前言
本篇文章介绍如何在本地部署Text generation Web UI并搭建Code Llama大模型运行,并且搭建Code Llama大语言模型，结合Cpolar内网穿透实现公网可远程使用Code Llama。
Code Llama是一个可以使用文本提示生成代码的大型语言模型 (LLM)。可以使当前开发人员的工作流程更快、更高效，并降低学习编码人员的进入门槛。 Code Llama 有潜力用作生产力和教育工具，帮助程序员编写更强大、文档更齐全。
Text generation Web UI部署非常简便，不仅在github主页上直接提供了一键部署安装包，同时由于是web UI形式，直接通过浏览器即可操作，不过本地化部署，无法远程访问，这里我们结合cpolar工具实现从安装到最后实现远程访问。
那么接下来先在本地部署一个Text generation Web UI界面。
1. 本地部署Text generation Web UI
本篇文章测试环境：Windows10专业版
首先我们需要在本地部署Text generation Web UI，是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建部署各种大模型环境。
github地址：https://github.com/facebookresearch/codellama
点击download,一键下载文件到本地
解压文件夹，然后打开文件，双击运行start_windows进行自动下载
安装过程中会有一次确认，根据自己的显卡和系统选择就可以了，这里我选择A（英伟达显卡）
安装完成后，可以看到本地地址是：http://127.0.0.1:7680，Ctrl+c终止它。
2. 安装CodeLlama大模型
接下来要下载CodeLlama模型，在Hugging face上直接下载转换好的模型
Hugging face格式模型 https://huggingface.co/codellama
选择Base Model
然后依次下载下方红框中的文件
下载好后，然后选中这九个文件剪切，回到 text-generation-webui 目录中，进入 models 目录中，新建要给文件夹，名为 codellama-7b
把刚才9个文件，都粘贴到这个新文件夹中
然后回到text-generation-webui 目录中，双击打开 start_windows
然后打开一个浏览器，输入localhost:7680，可以看到进入到了Text generation Web UI中
点击上方model切换到模型配置页面，在模型下拉列表这里选择 codellama-7b
然后点击Load加载模型，接下来可以测试提出问题
然后把右侧上方的代码使用vscode测试一下，是否能得出结果
可以看到，显示出了正确结果，目前我们在本机部署了 Text generation Web UI，并且还添加了code llama大模型，如果想团队协作多人使用，或者在异地其他设备使用的话就需要结合Cpolar内网穿透实现公网访问，免去了复杂得本地部署过程，只需要一个公网地址直接就可以进入到Text generation Web UI中。
接下来教大家如何安装Cpolar并且将 Text generation Web UI实现公网访问。
3. 实现公网远程使用Code Llama
下面是安装cpolar步骤：
Cpolar官网地址: https://www.cpolar.com
点击进入cpolar官网，点击免费使用注册一个账号，并下载最新版本的Cpolar
登录成功后，点击下载Cpolar到本地并安装（一路默认安装即可）本教程选择下载Windows版本。
Cpolar安装成功后，在浏览器上访问http://localhost:9200，使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。
接下来配置一下 text-generation-webui 的公网地址，
登录后，点击左侧仪表盘的隧道管理——创建隧道，
首先创建一个 LobeChat 的公网http地址隧道
隧道名称：可自定义命名，注意不要与已有的隧道名称重复
协议：选择http
本地地址：7860 (本地访问的地址)
域名类型：免费随机域名
地区：选择China Top
点击创建
隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网地址，有两种访问方式，一种是http 和https
我们接下来使用http公网地址访问，可以看到我们访问到了 Text generation Web UI 界面，这样一个公网地址访问就创建好了。
小结
如果我们需要长期进行团队协作的话，由于刚才创建的是随机的地址，24小时会发生变化。另外它的网址是由随机字符生成，不容易记忆。如果想把域名变成固定的二级子域名，并且不想每次都重新创建隧道来访问Text generation Web UI，我们可以选择创建一个固定的http地址来解决这个问题。
4. 固定Text generation Web UI公网地址
由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化【ps：cpolar.cn已备案】
注意需要将cpolar套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。【cpolar.cn已备案】
登录cpolar官网，点击左侧的预留，选择保留二级子域名，地区选择china vip top，然后设置一个二级子域名名称，填写备注信息，点击保留。
保留成功后复制保留的二级子域名地址：
登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑。
修改隧道信息，将保留成功的二级子域名配置到隧道中
域名类型：选择二级子域名
Sub Domain：填写保留成功的二级子域名
地区: China VIP
点击更新
更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。
最后，我们使用固定的公网地址访问Text generation Web UI界面可以看到访问成功，一个永久不会变化的远程访问方式即设置好了。
接下来就可以随时随地进行异地公网来使用Code Llama大模型了，把固定的公网地址分享给身边的人，方便团队协作，同时也大大提高了工作效率！自己用的话，无需云服务器，还可以实现异地其他设备登录！以上就是如何在本地安装Code Llama以及在本地部署 Text generation Web UI 可视化界面的全部过程。
总结
### 文章总结本文详尽介绍了如何在本地部署Text generation Web UI并成功安装和使用Code Llama大型语言模型，同时结合Cpolar内网穿透技术实现了公网远程访问。具体步骤包括：
1. **前言**：
- 简要说明了Code Llama大模型的功能、Text generation Web UI的便捷部署方式及其远程访问的必要性。
2. **本地部署Text generation Web UI**：
- 在Windows 10环境下，通过GitHub下载并解压安装包，运行`start_windows`脚本完成自动下载，访问本地地址`http://127.0.0.1:7680`完成初始部署。
3. **安装CodeLlama大模型**：
- 在Hugging Face平台下载CodeLlama基础模型文件，并正确安放至`text-generation-webui/models/codellama-7b`目录中。重启`start_windows`，加载模型并在界面提问测试，确认模型正常工作。
4. **实现公网远程使用Code Llama**：
- 访问Cpolar官网注册并下载最新Windows版Cpolar客户端，使用创建的账号登录Cpolar Web UI。
- 在Cpolar中创建一条新的隧道，配置协议为HTTP，本地地址设为Text generation Web UI的端口（本文示例为7680），并选择免费随机域名。创建成功后，通过生成的公网地址HTTP访问UI。
5. **固定Text generation Web UI公网地址**：
- 升级Cpolar套餐以启用子域名功能，在Cpolar官网预留一个二级子域名并确保已备案。
- 登录Cpolar Web UI，找到并编辑之前创建的隧道，将域名类型更改为二级子域名，并填入预留的子域名。更新隧道信息，此时在线隧道列表中的地址将变为固定的二级子域名。
### 成果
最终，通过这一过程，Users能够在全球范围内通过固定的二级子域名远程访问Text generation Web UI，便捷地使用Code Llama大模型，极大地增强了团队协作效率和异地访问的便捷性，无需云服务器支持即可实现远程操作。