当前位置:AIGC资讯 > AIGC > 正文

轻松上手,本地运行LlaMA 2的简易指南

我们将学习一种无需设置Python或任何程序即可安装和使用LlaMA 2的简单方法。只需下载文件并在PowerShell中运行命令即可。

微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩

图像由DALL·E 3生成

一、简介

像LLaMA 2这样的新开源模型已经变得相当先进,并且可以免费使用。可以在商业上使用它们,也可以根据自己的数据进行微调,以开发专业版本。凭借其易用性,现在可以在自己的设备上本地运行它们。

在这里,我们将学习如何下载所需的文件和LLaMA 2模型,以运行CLI程序并与AI助手进行交互。设置非常简单,即使是非技术用户或学生也可以按照这几个基本步骤进行操作。

二、下载Llama.cpp用于GPU机器

要在本地安装llama.cpp,最简单的方法是从llama.cpp releases中下载预编译的可执行文件。

【下载链接】:https://github.com/ggerganov/llama.cpp/releases

要在配备有NVIDIA GPU的Windows 11上安装它,我们首先需要下载llama-master-eb542d3-bin-win-cublas-[version]-x64.zip文件。下载完成后,将其解压缩到你选择的目录中。建议创建一个新文件夹并将所有文件提取到其中。

接下来,我们将下载cuBLAS驱动程序cudart-llama-bin-win-[version]-x64.zip,并将其解压缩到主目录中。要使用GPU加速,你有两个选项:NVIDIA GPU的cuBLAS和AMD GPU的clBLAS

注意:[version]是指本地系统上安装的CUDA版本。可以通过在终端中运行nvcc --version来检查它。

三、下载模型

首先,在主目录中创建一个名为“Models”的文件夹。在Models文件夹中,创建一个名为“llama2_7b”的新文件夹。接下来,从Hugging Face hub下载LLaMA 2模型文件。你可以选择任何喜欢的版本,但在本指南中,我们将下载llama-2-7b-chat.Q5_K_M.gguf文件。下载完成后,将文件移动到刚刚创建的“llama2_7b”文件夹中。

【下载链接】:https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/tree/main

注意:为了避免出现任何错误,请确保在运行模型之前只下载.gguf模型文件。

四、启动AI助手CLI程序

现在可以在主目录中打开终端。通过右键单击并选择“Open in Terminal”选项。你也可以打开PowerShell并使用“cd”来更改目录。

复制并粘贴下面的命令,然后按“Enter”键。我们正在执行带有模型目录位置、gpu、颜色和系统提示参数的main.exe文件。

./main.exe -m .\Models\llama2_7b\llama-2-7b-chat.Q5_K_M.gguf -i --n-gpu-layers 32 -ins --color -p "<<SYS>> As an AI assistant, your core values include being supportive, considerate, and truthful, ensuring that every interaction is guided by clarity and helpfulness. <</SYS>>"

我们的llama.ccp CLI程序已成功初始化并附带了系统提示。它告诉我们,它是一个有用的AI助手,并显示了各种可用的命令。

五、在PowerShell中本地使用LLaMA 2

让我们通过提供提示在PowerShell中测试LLaMA 2。我们提出了一个关于地球年龄的简单问题。

答案非常准确。让我们问一个关于地球的后续问题。

正如所看到的,该模型为我们提供了有关我们星球的多个有趣事实。

可以要求AI助手在终端中生成代码和解释,然后可以很轻松地复制并在集成开发环境(IDE)中使用。

完美。

六、结论

在本地运行LLaMA 2为我们提供了一个功能强大且易于使用的定制化聊天机器人体验。通过按照这个简单的指南操作,可以快速学习如何建立、设置自己的私人聊天机器人,而不需要依赖付费服务。

在本地运行LLaMA 2的主要优势是对数据和对话的完全控制,以及没有使用限制。可以与机器人进行无限次数的聊天,甚至可以对其进行微调以改善回答。

虽然与即时可用的云AI API相比时不太方便,但本地设置可以保护数据隐私,数据将完全存储在自己的设备上,无需担心泄露。

推荐书单

《面向移动设备的深度学习—基于TensorFlow Lite,ML Kit和Flutter》

《面向移动设备的深度学习—基于TensorFlow Lite,ML Kit和Flutter》详细阐述了与移动设备深度学习开发相关的基本解决方案,主要包括使用设备内置模型执行人脸检测、开发智能聊天机器人、识别植物物种、生成实时字幕、构建人工智能认证系统、使用AI生成音乐、基于强化神经网络的国际象棋引擎、构建超分辨率图像应用程序等内容。此外,本书还提供了相应的示例、代码,以帮助读者进一步理解相关方案的实现过程。

本书适合作为高等院校计算机及相关专业的教材和教学参考书,也可作为相关开发人员的自学用书和参考手册。

《面向移动设备的深度学习—基于TensorFlow Lite,ML Kit和Flutter》https://item.jd.com/14001258.html

精彩回顾

《8个Python开发者必备的PyCharm插件》

《数据科学不可或缺的10个Python库,让你事半功倍》

《掌握Python设计模式,SQL Alchemy助你打破ORM与模型类的束缚》

《Python进阶之路,2024年7个不可错过的技巧》

《6个必知的PyCharm实用技巧》

《Pandas实战:3分钟玩转数据加载技巧,事半功倍(附代码示例)》

微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩

访问【IT今日热榜】,发现每日技术热点

更新时间 2024-01-30