目录
前言
下载安装
下载模型
接口调用
环境变量
其他模型
前言
工作需要，被指派对大模型做技术调研，又不想花钱买各大产商的key，所以就考虑部署本地的大模型，了解到 Ollama 开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。便在自己电脑上安装了，记录下安装以及使用过程。
下载安装
ollama 官网：
https://ollama.com/https://ollama.com/
下载完成后双击 exe 文件，无脑下一步就行了
完成安装后，打开命令行，执行命令：
ollama --version下载模型
官网中的 Models 页面可以查找 ollama 默认支持的模型
这里演示拉取国内的开源模型 qwen2
若本地不存在，则会自动下载，然后运行
ollama run qwen2若想直接拉取模型，可以使用 pull
ollama pull qwen2 运行界面
接口调用
除了使用命令行与大模型对话，还可以使用接口调用的方式来与大模型交互，在实际使用中一般都是通过应用程序通过接口来调用大模型
API文档：
ollama/docs/api.md at main · ollama/ollama · GitHubGet up and running with Llama 3.1, Mistral, Gemma 2, and other large language models. - ollama/docs/api.md at main · ollama/ollamahttps://github.com/ollama/ollama/blob/main/docs/api.md这里简单演示调用简单的生成文本接口
url：
http://localhost:11434/api/generate
body：
{
"model": "qwen2",
"prompt": "为什么我的眼里常含泪水"
}
环境变量
本地部署大模型，默认配置下，只能在本地机器下访问，但是实际开发中很多时候本地模型和应用程序时部署在不同的服务器上的，所以要修改相关的配置，使得外部机器能够访问
查看环境变量
ollama serve --help默认是 127.0.0.1:11434，修改成 :11434 即可实现全ip访问
其他模型
除了官方默认支持的模型，还可以去下载其他模型，然后使用 ollama 工具来启动
可以在 huggingface 上下载一些开源的大模型（GGUF格式）
https://huggingface.co/https://huggingface.co/创建Modelfile 文件，然后写入下载的 gguf 模型文件地址（以下使用是相对地址）
FROM ./下载的模型.gguf
使用新建的 Modelfile 来创建模型
ollama create example -f Modelfile
运行
ollama run example
总结
### 文章总结：本篇文章详细介绍了使用Ollama开源框架在本地机器上部署和运行大型语言模型（LLM）的全流程，特别适合需要进行技术调研又不想花费高昂购买各大厂商服务权限的用户。以下是文章的主要内容和步骤：
1. **前言**：
- 作者接手了对大模型的技术调研任务，考虑到成本和便捷性，选择了部署本地模型。
- 了解到Ollama框架专为本地部署大型语言模型而设计，便决定进行尝试并记录下安装与使用过程。
2. **下载安装**：
- 提供了Ollama官网的访问链接，并简述了下载及安装过程，只需双击exe文件并按照指示完成即可。
- 安装完成后，通过命令行验证安装版本成功。
3. **下载模型**：
- 介绍了如何从Ollama官网找到支持的模型，并具体演示了如何拉取并运行国内开源模型qwen2。
- 还提供了使用`ollama pull`命令直接拉取模型的方法。
4. **接口调用**：
- 介绍了除了命令行外，通过接口调用与大模型交互的方法，更适合实际的应用程序场景。
- 提供了API文档的链接和简单的接口调用示例，通过HTTP POST请求向特定的URL发送含模型和提示文本的JSON数据包。
5. **环境变量**：
- 详细说明了如何在默认情况下只能在本地访问的模型配置中进行修改，以支持通过外部IP访问。
- 通过运行`ollama serve --help`查看设置，并介绍了如何调整以允许全IP访问。
6. **其他模型**：
- 介绍了除了官方默认支持的模型外，还可以下载Hugging Face等其他平台上的开源大型语言模型（.gguf格式）。
- 演示了如何通过创建并运行自定义模型文件（Modelfile）来启动这些模型。
文章通过步骤详细的教程，帮助读者从零开始部署和运行大型语言模型，无论是对技术调研人员还是AI爱好者来说，都具有一定的参考价值和实用性。