Get up and running with large language models.
Run Llama 3.1, Phi 3, Mistral, Gemma 2, and other models. Customize and create your own.
Ollama是做什么的？
Ollama是一个开源的大型语言模型部署工具，它可以帮助用户快速在本地部署运行大模型。类似于Docker一样，仅仅用几行命令就可以运行一个大模型。
官方地址：Ollama
github：GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma 2, and other large language
如何安装Ollama
官网直接下载安装：Download Ollama
配置Ollama模型文件地址
由于Ollama在下载模型时，会自动下载到C盘，因此需要设置下载目录。方法如下：
在环境变量中添加“OLLAMA_MODELS”，之后重启ollama，我把下载模型的目录设置在了"D:\ollama"目录下。
Ollama使用帮助
ollama -h
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
需要重点注意的几个指令：
# 启动服务
ollama serve
# 拉模型
ollama pull llama3.1
# 部署模型
ollama run llama3.1
# 运行的模型列表
ollama list
# 模型删除
ollama rm llama3.1
Ollama部署大模型（llama3.1为例）
在安装模型之前需要到模型仓库中获取模型信息。
模型仓库地址 library
选择需要的模型
执行模型运行指令，如果本地没用模型镜像，ollama会先拉模型镜像，然后在进行启动运行。使用API访问模型
Ollama有一套用于运行和管理模型的 REST API。
Generate a response
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1",
"prompt":"Why is the sky blue?"
}'
Chat with a model
curl http://localhost:11434/api/chat -d '{
"model": "llama3.1",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
更多API可以参考：API documentation
curl http://localhost:11434/api/chat -d '{
"model": "llama3.1",
"messages": [
{
"role": "user",
"content": "hello~"
}
]
}'
这样就基本完成了Ollama在本地部署大模型。
剩下的就是通过三方工具开发自己的大模型应用。
总结
### 文章总结**Ollama：大型语言模型部署利器**
**引言：**
Ollama是一个开源的工具，专为快速在本地部署运行大型语言模型如Llama 3.1、Phi 3、Mistral和Gemma 2等设计，通过几行命令即可轻松实现模型的启动与运行。类似于Docker的便利性，Ollama极大地简化了大型模型的部署流程。
**安装与使用：**
1. **下载与安装**：
- 访问Ollama的官方网站或GitHub页面（GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma 2, and other large language models），下载并安装Ollama。
2. **配置模型下载目录**：
- 由于Ollama默认将模型下载至C盘，建议通过设置环境变量`OLLAMA_MODELS`来指定下载目录。例如，将`OLLAMA_MODELS`设置为`D:\ollama`。
3. **常用命令解析**：
- `ollama -h`：展示所有可用命令。
- 关键命令包括`serve`启动服务，`pull`从仓库拉取模型，`run`运行特定模型，`list`列出已部署模型，`rm`删除模型等。
4. **部署大模型（以Llama 3.1为例）**：
- 先从模型仓库中选择并获取模型信息。
- 使用`ollama pull llama3.1`拉取Llama 3.1模型。
- 如果本地没有模型镜像，Ollama会自动下载。
- 使用`ollama run llama3.1`启动并运行Llama 3.1模型。
**API访问模型**：
Ollama提供了REST API以便于通过HTTP请求与部署的模型进行交互。以下是两种常见API的使用示例：
- **生成响应**： 通过向`http://localhost:11434/api/generate`发送包含模型和提示信息的POST请求，可以获取模型的响应。
- **模型对话**： 通过向`http://localhost:11434/api/chat`发送包含模型信息和对话消息的POST请求，可以与模型进行多轮对话。
**后续开发：**
基本完成Ollama在本地的模型部署后，用户可以进一步利用第三方工具或开发自己的应用程序与这些大型语言模型进行集成，实现更广泛的语言处理和生成功能。
**总结：**
Ollama作为一款高效、开源的大型语言模型部署工具，通过简化复杂的部署流程，为开发者和研究者提供了极大的便利。无论是进行学术研究、产品开发还是其他语言处理任务，Ollama都是一个值得尝试的工具。