“ 在你的电脑上运行一个强大的AI助手，它不仅能力超群，还把所有秘密都藏在你的硬盘里。好奇这是如何实现的吗？动动手，三分钟就可以完成LLaMA-3的本地部署！ ”
01、LLaMA-3
最近在试验检索增强生成（RAG）的项目，想试试换一个强点的模型试试看效果是否有改观，动手试了一下本地搭建一个私有大模型作为基模型，这次试试LLama3，下次搭阿里通义千问的Qwen2模型。
早在4月份，Meta开源了 LLaMA-3（Large Language Model Meta AI 3）， 在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。
主要亮点：
基于超过 15T token 训练，相当于 Llama 2 数据集的 7 倍还多； 支持 8K 长文本，改进的 tokenizer 具有 128K token 的词汇量，可实现更好的性能； 在大量重要基准中均具有最先进性能； 新能力范畴，包括增强的推理和代码能力； 带有 Llama Guard 2、Code Shield 和 CyberSec Eval 2 的新版信任和安全工具。02、安装Ollama
Ollama 是一款在本地环境中运行和管理大型语言模型（LLMs）的开源工具。它为开发者、研究人员和爱好者提供了一个高效、易用的平台，能够快速实验、管理和部署最新的大语言模型。
技术特点与优势：
本地部署：Ollama 允许用户在本地启动并运行各种大型语言模型，如 Llama 2、CodeLLaMA、Falcon 和 Mistral 等。这不仅降低了使用大语言模型的门槛，还提高了数据隐私和安全性。 丰富的模型库：Ollama 提供了一个预构建的模型库，支持多种流行的大语言模型，包括 Qwen2、Llama3、Phi3 和 Gemma2 等。这些模型可以轻松集成到各种应用程序中，满足不同场景的需求。 易于使用的接口：Ollama 提供了类似于 OpenAI 的 API 接口和聊天界面，方便用户进行模型的部署和使用。此外，它还支持基于命令行的方式运行多种大语言模型，并提供了相应的 Python 和 JS SDK，方便实现 Chatbot UI。 可定制性：Ollama 具有高度的可定制性，允许用户创建和运行自定义的语言模型。 跨平台支持：Ollama 支持 macOS、Linux 和 Windows（预览版），并且可以在使用 Docker 快速部署。这大大增强了其适用性和灵活性。安装环境：普通的联想台式机，无GPU。安装过程不需要科学上网。
Ollama 官方下载地址：https://ollama.com/download。根据自己的操作系统选择不同的版本。
Github 上也有Docker版本：https://github.com/ollama/ollama。
安装完成，查看版本，验证是否安装成功。
代码语言：javascript
ollama -v
03、下载模型
安装完成后可以直接下载内置的诸多开源模型，下面为内置的部分模型名称。
内存要求：至少8GB可用内存运行7B模型，16GB运行13B模型，32GB运行33B模型。
下载llama3:8b，冒号前面为模型名称，冒号后面型号，也是模型参数大小。
代码语言：javascript
ollama pull llama3:8b
运行模型：
代码语言：javascript
ollama run llam3
因为国外模型，默认回答英文，指定模型中文回复即可。
使用命令行显然很不方便，咱们使用 Docker 给大模型一个对话的 Web界面，使用下面命令启动 Open WebUI，注意修改 open-webui-data后面本地路径。前提：本地先安装好 Docker 服务。
代码语言：javascript
docker run -p 8080:8080 -e OLLAMA_BASE_URL=http://host.docker.internal:11434 --name open-webui --restart always -v open-webui-data:/DATA/ ghcr.io/open-webui/open-webui:main
经过漫长的拉取镜像过程后，显示了启动界面。
在浏览器地址栏输入 http://127.0.0.1:8080，第一次访问时需要注册用户登录后就可以看到类似Chat-GPT的聊天对话界面，对话之前，在左上角选择咱们刚下载好的llama3:latest。
通过web界面用中文询问同样的问题，就不需要向命令行交互那样，指定大模型使用中文回答。
提供对话生成的 API 服务
搭建本地模型目的是为了项目所用，所以我们还需要与 OpenAI 类似的对话生成的 API，使用前先点击设置 - Account，生成一个API Key，就可以用这个 Key 来调用 API了。
命令行的 curl 测试命令：
$ curl -X POST -H “Authorization: Bearer api key” -H “Content-Type: application/json” http://localhost:8080/ollama/api/generate -d ‘{“model”:“llama3-cn:latest”,“stream”:false,“prompt”:“你是谁？你能做什么”}’
对话生成速度略显慢一点，实测时能看到一个字一个字往外蹦，开始回答上面的问题大约需要1～2秒，回答完估计在10秒左右。
到这里，我们有了一个无需GPU硬件资源，对话内容、文档数据等等都存储在本地，属于我们私有的大模型。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, ?有需要的小伙伴，可以 扫描下方二维码领取?↓↓↓
?CSDN大礼包?：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）?
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
L1.1 人工智能简述与大模型起源 L1.2 大模型与通用人工智能 L1.3 GPT模型的发展历程 L1.4 模型工程 L1.4.1 知识大模型 L1.4.2 生产大模型 L1.4.3 模型工程方法论 L1.4.4 模型工程实践 L1.5 GPT应用案例阶段2：AI大模型API应用开发工程
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
L2.1 API接口 L2.1.1 OpenAI API接口 L2.1.2 Python接口接入 L2.1.3 BOT工具类框架 L2.1.4 代码示例 L2.2 Prompt框架 L2.3 流水线工程 L2.4 总结与展望阶段3：AI大模型应用架构实践
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
L3.1 Agent模型框架 L3.2 MetaGPT L3.3 ChatGLM L3.4 LLAMA L3.5 其他大模型介绍阶段4：AI大模型私有化部署
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
L4.1 模型私有化部署概述 L4.2 模型私有化部署的关键技术 L4.3 模型私有化部署的实施步骤 L4.4 模型私有化部署的应用场景这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, ?有需要的小伙伴，可以 扫描下方二维码领取?↓↓↓
?CSDN大礼包?：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）?
总结
### 文章总结本文介绍如何在本地部署强大的AI助手LLaMA-3，并通过Ollama这一开源工具进行管理。内容涵盖了LLaMA-3的性能亮点、Ollama的技术特点与安装步骤，以及如何下载LLaMA-3模型并通过Docker实现Web界面互动。此外，还探讨了如何在本地提供对话生成的API服务，并强调了AI时代学习大模型（LLM）的重要性，最后分享了一套系统学习LLM的资源包。
#### LLaMA-3性能亮点：
- **数据量大**：基于超过15T token训练，相当于Llama 2的7倍多。
- **长文本支持**：支持8K长文本，拥有128K token词汇量。
- **先进性能**：在多项重要基准测试中表现领先。
- **新能力**：增强的推理和代码生成能力。
- **安全工具**：包括Llama Guard 2、Code Shield和CyberSec Eval 2。
#### Ollama技术特点：
- **本地部署**：支持Llama 2、CodeLLaMA等多种大型语言模型。
- **模型库丰富**：提供包括Qwen2、Llama3在内的多种流行模型。
- **易用性**：提供类似OpenAI的API接口和聊天界面，以及命令行方式运行模型。
- **高度可定制**：支持创建自定义语言模型。
- **跨平台支持**：适用于macOS、Linux和Windows（预览版），支持Docker部署。
#### 安装与配置步骤：
1. **下载Ollama**：从官网下载适用于自己操作系统的版本，或使用GitHub上的Docker版本。
2. **安装与验证**：安装后通过`ollama -v`验证安装成功。
3. **下载模型**：使用`ollama pull`命令下载LLaMA-3等模型。
4. **运行模型与Web界面**：通过命令行运行模型，或使用Docker启动Open WebUI，通过Web界面进行对话。
5. **提供API服务**：设置API Key，通过curl命令或界面调用API生成对话。
#### 学习大模型（LLM）资源包：
- **经典书籍**：介绍AI大模型基本概念、发展历程及应用。
- **640套大模型报告**：涵盖理论研究、技术实现及行业应用。
- **视频教程**：详细讲解大模型学习与应用。
- **开源教程**：包括LLaLA、Meta、chatglm、chatgpt等的教程。
- **学习路线**：从基础理解到应用开发，再到私有化部署的全面指导。
### 主要呼吁：
文章最后强调了AI时代掌握LLM大模型技术的重要性，并鼓励读者通过自学与系统性学习资源包，成为掌握AI工具的技术人。