说明： 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B
简介
Ollama是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama 的主要功能是在Docker容器内部署和管理大型语言模型（LLM），使得用户能够快速地在本地运行这些模型。它简化了部署过程，通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，例如Llama 3.1。本地部署，离线运行，数据无需上传云端，担心隐私泄露。
1、下载Ollama安装
注意Ollama默认安装在c盘，这样后面安装的大模型，都会安装在C盘，如果你的C盘空间吃紧的话，可以如下设置
设置系统环境变量->系统变量
OLLAMA_MODELS
D:\OllamaFile\models(这是模型想安装的目录)
官网地址：https://ollama.com/， 依据自己操作系统类型下载相应版本。
2、 下载Docker安装
Open WebUI 在Docker环境中运行,下载Docker进行安装
官网地址：https://www.docker.com/
3、在Docker中安装open-webui
确认Docker已经运行。
在Open WebUI 官网https://docs.openwebui.com/
复制以下命令运行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
执行完以上的命令，会在docker中出现open-webui项目。通过http://localhost:3000/打开Open WebUI界面。
4、浏览器中打开Open WebUI
第一次登录，要求你注册，注册信息保存在本地。第一个注册的用户默认为系统管理员。注册完成后来到一个类似ChatGPT的界面。
5、设置拉取模型。
在第③步中，可以访问https://ollama.com/library,在这里有很多常用的模型。
我这里选取的是llama3.1
复制命令在cmd下执行，拉取model，大约4.7G。稍等一会会。
或者复制大语言模型名称在Open WebUI中直接下载
同样的方法，可以安装其它模型了。
6、选择模型，让我们开始吧！
选择模型后，就可以对话了。
工作空间的简单应用
在https://openwebui.com/可以选择相应预设模型，在页面中可以知道它采那个模型，还有相应的 System Prompt。
综上所述，Ollama作为一个强大的开源大模型管理工具，它不仅能够助你高效地管理本地开源大模型，更能显著提升工作效率。通过其丰富的功能和灵活的配置选项，你可以轻松地组织、训练和调优各种模型，满足不同的应用需求。而Open WebUI的引入，提供了一个直观、便捷的Web界面，使你无需深入技术细节也能轻松访问和管理Ollama的接口。
总结
### 文章总结：部署和运行Llama3.1模型的步骤与使用Ollama服务工具#### 概述
**Ollama**是一个开源大型语言模型服务工具，它利用Docker容器技术简化大型语言模型（LLM）的部署和管理。用户可以在本地环境部署和使用大型预训练模型，如Llama 3.1，确保数据安全与隐私保护。
#### 部署步骤
1. **下载并安装Ollama**
- 访问[Ollama官网](https://ollama.com/)下载对应操作系统的版本。
- 考虑C盘空间，可以通过设置环境变量`OLLAMA_MODELS`改变模型安装目录（如`D:\OllamaFile\models`）。
2. **安装Docker**
- 访问[Docker官网](https://www.docker.com/)下载并安装Docker。
3. **在Docker中安装Open WebUI**
- 确保Docker正在运行。
- 访问[Open WebUI文档](https://docs.openwebui.com/)并复制命令安装Open WebUI至Docker（用于界面管理）。
- 在Docker中执行安装命令，并设置端口映射及数据卷（如示例中的`:3000:8080`）。
- 通过浏览器访问`http://localhost:3000/`访问Open WebUI。
4. **注册Open WebUI并选择模型**
- 首次打开需注册，注册信息保存在本地，首个用户默认为管理员。
- 访问[Ollama模型库](https://ollama.com/library)选择你需要的模型，如Llama 3.1，并复制命令或在Open WebUI内直接下载。
5. **拉取并运行Llama 3.1模型**
- 在命令行中执行拉取Llama 3.1模型的命令，或将模型名称输入Open WebUI中进行下载。
6. **启动对话**
- 选择并加载模型后，即可通过Open WebUI界面与Llama 3.1模型进行交互。
#### 工作空间应用
- Open WebUI提供了直观的界面，让用户无需深入了解技术细节也能轻松管理和访问Ollama提供的各种模型接口。
- 用户可以在Open WebUI中选择预设的模型，并查看模型信息及相应的系统提示，以满足不同的应用需求。
#### 总结
Ollama结合Docker和Open WebUI，为用户提供了一个高效、安全、便捷的本地大型语言模型部署和使用平台。无论是数据科学家、研究人员还是AI爱好者，都能通过这个工具快速部署和运行复杂的AI模型，进行对话生成、文本处理等工作，显著提升工作效率。