Ubuntu安装大模型LLama，实操步骤

前言

因为国内镜像源不太清楚有没有最新的仓库源，我是推荐用科学上网工具，都已经玩大模型了，这个都没有的话就直接算了吧这个是面向有一定的Linux使用经验的人员，有一些细节没有展开讲，而且每个人电脑环境都不同，就算严格按照步骤来，也有可能出现各种各样的情况，所以要有一定的经验，具备问题处理的能力，没什么人能把所有问题枚举出来机器要好，不做训练的话吃的就是内存和CPU，最新的llama3:8b最低要求16GB运行内存，llama3:70b最低要求32GB运行内存如果要做微调训练，量力而行，12GB显存是最低要求，并且最好是满血4080supper，国内阉割版4090貌似有问题(有朋友反馈，但没验证)

安装步骤概览

安装docker 安装GPU驱动，AMD和NVIDIA不同在docker内安装ollama，以GPU加速模式运行在docker内调用ollama安装大模型llama3:8b/70b等

安装docker

更新软件包

sudo apt update
sudo apt upgrade

安装Docker在Ubuntu上依赖包

sudo apt-get install ca-certificates curl gnupg lsb-release

添加Docker官方的GPG密钥，这里使用了Docker官方的GPG密钥地址，以确保安全性

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

添加Docker的软件源

sudo add-apt-repository “deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable”

安装Docker

sudo apt-get install docker-ce docker-ce-cli containerd.io

默认情况

总结

**总结文章**：
该文主要为有一定Linux使用经验的人员提供了安装和配置大模型Llama3运行环境（使用Docker和GPU加速）的指南。文章首先强调了几点前提要求：一定的Linux操作经验、问题处理能力，以及硬件资源的要求，特别是运行内存和显存的需求。随后，提供了一个安装步骤概览，包括安装Docker、GPU驱动，以及在Docker内部署ollama和大模型Llama3的具体指引。
在详细的安装说明中，文章从更新软件包开始，逐步引导用户安装Docker依赖包、添加官方的GPG密钥和Docker软件源，并最终完成Docker的安装。这些详细的步骤旨在帮助用户构建一个稳定的Docker环境，为后续在Docker内部署ollama和安装Llama3大模型打下基础。
需要注意的是，由于每个人的计算机环境和配置不同，因此在实际操作中可能会遇到多种多样的问题，这就要求用户不仅按照步骤操作，还需具备一定的技术问题处理能力。同时，对于计划进行微调训练的用户，文章也提出了较高的硬件要求，如至少12GB的显存，建议使用性能优越的显卡如满血版的4080super。
总的来说，该文是一个面向技术人员的实用指南，旨在帮助他们在自己的计算机上搭建起大模型Llama3的运行环境，以便进行进一步的模型应用和调整。