自ChatGPT在2022年爆发式出圈以来，大模型对人类世界产生了重大影响，无论是在生产、工作、写作方面还是自动驾驶领域，大模型发挥了非常重要的作用。
现各大厂，无论是国内大厂还是国外大厂，都纷纷推出了自己的对话大模型供人们免费或付费使用。与此同时，开源大模型的关注度也越来越高。
为什么现在已经有很多可以在线使用的大模型了，我还要在本地部署使用大模型？很简单，我的电脑上有一块还不错的显卡，但是我玩游戏又不多，不想让这份空闲的资源浪费掉，向着“物尽其用”的目标努力，节约资源（doge）。
如果你也和我有一样的想法，或者你是一个喜欢“折腾”的人，又或者你真的有部署本地大模型的需求，都可以跟随这篇教程操作。
没有特殊需求，只想让大模型跑起来成为你的生产力的话，这份教程对大多数普通人来说足够了。
目录
一、下载ollama
二、下载大模型的GGUF文件
三、配置Modelfile文件
四、启动大模型
一、下载ollama
如果可以突破网络限制，那可以直接访问ollama的官网，下载Windows版本。如果无法突破网络限制，我把安装包上传到了我的我网盘，ollamasetup.zip ，提取码8vp0，自行下载。
下载之后打开ollamasetup.exe，点击“install”或者“安装”，静待安装完成即可。
二、下载大模型的GGUF文件
无网络限制那就访问huggingface的官方网站去下载。有网络限制的话，可以访问huggingface的镜像网站，可以访问hf-mirrors，网址HF-Mirror。
这里以安装阿里巴巴通义大模型为例进行操作。
不推荐使用微调成中文的大模型，如llama3中文版，体验很差。在此之前我在电脑上部署了llama3中文版8B的大模型，我不知道是出于什么原因，跑起来之后它给的答案真的很人工智障，相比之下7B的通义大模型表现很好。是和训练时用的语言有关吗？是不是说微调解决不了根本问题，只有确保训练时使用的是母语才能表现很出色？这个问题有待探索......
进入网站后，选择“models”：
接着搜索“qwen”：
对于个人电脑来说，7B就是最好的选择了，选择“Qwen/Qwen2-7B-Instruct-GGUF”。
如果你觉得这个过程太繁琐，可以直接点击这个链接（Qwen/Qwen2-7B-Instruct-GGUF at main (hf-mirror.com)）进入列表：
博主推荐使用q5_k_m版本，如果你是小白，无脑选q5_k_m就对了。当然也可以根据需求自行选择。
依次根据图中步骤下载就行了。
三、配置Modelfile文件
到这里，确保ollma服务在运行，系统托盘区有此图标，并且在powershell或者命令提示符中输入ollama出现以下界面说明安装成功并且服务正常运行中：
在当前用户目录中新建一个“Modelfile.txt”文件，在文件中输入以下字符串：
FROM 文件所在目录\qwen2-7b-instruct-q5_k_m.gguf比如我下载好的gguf文件存放在F盘BigModels文件夹，那我就输入“FROM F:\BigModels\qwen2-7b-instruct-q5_k_m.gguf”然后保存即可。
一般来说，当前用户目录在“C:\Users\用户名”下，Modelfile.txt文件保存到这里。
现在打开powershell或者命令提示符，输入
ollama create qwen-2 -f Modelfile.txt这里的“qwen-2”是我为本地大模型的命名，可以根据需要自行修改。
等待transferring的过程......
出现success，如下面的界面，说明大模型部署成功！
四、启动大模型
安装完成后，在powershell或者命令提示符中输入
ollama run 你自定义的大模型名称比如我命的名为qwen-2，那我就输入ollama run qwen-2就可以启动大模型了：
总结
### 文章总结**标题**： 本地部署大模型教程：从下载到启动的全面指南
**背景概述**：
自2022年ChatGPT爆发以来，大模型在多个领域展现出了巨大影响力，如生产、工作、写作及自动驾驶等。国内外各大科技企业相继推出免费或付费的对话大模型，同时开源大模型也受到越来越高的关注。但为何还要在本地部署大模型？答案是有效利用闲置的硬件资源，实现“物尽其用”。
**目标用户**：
- 拥有较好显卡资源但游戏需求不高的电脑用户
- 喜爱尝试新技术的“折腾”爱好者
- 有特定本地大模型部署需求的用户
**教程概要**：
#### 一、下载ollama
- **网络畅通情况下**： 访问ollama官网，下载Windows版本。
- **网络受限时**： 到指定网盘（提取码8vp0）下载ollamasetup.zip并安装。
#### 二、下载大模型的GGUF文件
- **无网络限制**： 直接从huggingface官网下载。
- **有网络限制**： 使用huggingface的镜像网站（如hf-mirrors）下载。
- **示例推荐**：
- 以阿里巴巴通义大模型的Qwen/Qwen2-7B-Instruct-GGUF为例，因其表现优于微调中文的llama3模型。
- 如果不熟悉操作，可直接点击提供的链接快速定位至下载页面。
#### 三、配置Modelfile文件
- **前提条件**： 确保ollama服务正常运行（通过系统托盘图标和命令行检查）。
- **步骤**：
1. 在用户目录下新建`Modelfile.txt`文件。
2. 输入指向GGUF文件位置的路径字符串。
3. 打开powershell或命令提示符，使用`ollama create`命令加上自定义模型名称和Modelfile文件路径创建大模型。
#### 四、启动大模型
- **操作**： 在powershell或命令提示符中输入`ollama run <你自定义的大模型名称>`启动大模型。
**总结：**
本文通过清晰的步骤介绍了如何从下载ollama、大模型的GGUF文件，到配置Modelfile文件，并最终启动本地大模型的完整流程。对于想要高效利用现有硬件资源、探索新技术或有什么特别需求的用户而言，这篇教程提供了实用的指导和建议。