当前位置:AIGC资讯 > AIGC > 正文

Llama 3.1部署教程(非常详细)从零基础入门到精通,看完这一篇就够了

昨日,Meta公司发布了人工智能模型——Llama 3.1。

那么Llama 3.1 405B的效果怎么样?我们来对比一张图,横向对比一下GPT-4。

可以看出,Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。

那么,我们怎样才能用到这款强大的Llama 3.1 405B模型呢?最直接的方式是通过Meta.ai平台,但目前这一途径仅对美丽国的用户开放。

那有无适合平民用的大模型嘞。

接下来我们将在本地部署Llama 3.1 8B(环境所迫)

1.环境准备

(1)Windows10系统及以上的计算机

(2)内存要求:8GB内存可运行7B模型,16GB可运行13B模型,32GB运行可33B模型

(3)网络环境:不需要科学上网(翻墙)

(4)小谢此次搭建的电脑环境如图,又无GPU,这配置只能搭个入门级别的大模型。若有GPU,响应速度则更快。

2.部署安装过程:

(1)从官网进行下载:https://ollama.com/download 选择windows系统版本,也可以看到它也同时支持mac系统和Linux系统。

但似乎它的下载速度对我来说太不友好了。于是进行科学上网下载了安装包,如有需要后台私信回复Ollama即可获取百度网盘下载地址。

安装包下载完成点击安装

在此界面直接运行命令ollama run llama3.1,此时国内网络速度就非常快

耐心等待进度条跑完即可。

当然你想要其他的大模型可以回到官网,点击Models

部署完成后可直接发送消息提问

所以它能做什么呢?

我们来看看它的自述:

I’m a large language model, my capabilities include:

\1. Answering questions: I can provide information on a wide range of topics, from science and history to

entertainment and culture.

\2. Translation: I can translate text from one language to another (currently supporting 100+ languages).

\3. Text summarization: I can summarize long pieces of text into concise and easily digestible content.

\4. Conversation: I can engage in natural-sounding conversations, using context and understanding to respond to

questions and statements.

\5. Content generation: I can generate text based on a prompt or topic, such as articles, stories, or even

entire scripts.

\6. Language analysis: I can analyze and understand the structure and meaning of language, including syntax,

semantics, and pragmatics.

\7. Text classification: I can classify text into categories, such as spam vs. non-spam emails or

positive/negative reviews.

\8. Sentiment analysis: I can determine the emotional tone behind a piece of text, such as happy, sad, or

neutral.

那咱们来看它的效果!我向它抛出了一个问题:

为防止长期摸鱼导致变笨,特此准备了几道题考考你!

1.至今思项羽,不()过江东。

2.阳春布()泽,万物生光辉。

3.书籍是人类进步的阶梯。——高尔( )

4.世人笑我太()癫,我笑他人看不穿。

5.老夫聊发少年(),左牵黄,右擎苍。

6.危楼高百尺,手可摘()辰。

7.君问归期未有( ),巴山夜雨涨秋池。

8.( )面边声连角起,千嶂里,长烟落日孤城闭。

9.料峭春风吹酒醒,( )冷,山头斜照却相迎。

10.( )闻琵琶已叹息,又闻此语重唧唧。

11.锦瑟无端()()弦,一弦一柱思华年。

我们先来看一下部署在本地的大模型Llama 3.1 8B,看来效果不错。

对比一下“小谢取证”的回答:

“小谢取证”直接出答案,部署在本地的大模型Llama 3.1 8B提供了更为详细的翻译。但是两者给出的答案都有些许错误。当然,这也取决于他们的模型是否强大。

我们可以看到,我们部署到本地的界面是cmd界面下运行的,如果我们想可视化呢?先上效果图。

具体是用到Ollama Web UI,这边咱们直接使用大佬已集成好的环境直接使用。需要软件可后台私信。

在我们使用完后,关闭该模型。那么我们下次如何重新打开呢

直接点击“开始”菜单,选择字母“O”,启动Ollama

其次,直接打开该软件,点击聊天界面即可。

此时它就会自动调用命令。可以看到访问端口是3000

再使用http://localhost:3000/在浏览器访问即可。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。


👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)


👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

总结

**文章总结:Meta公司发布Llama 3.1 405B,与GPT-4媲美但国内限制**
Meta公司最新发布的人工智能模型Llama 3.1 405B在各项任务中的表现与GPT-4等顶级模型相当出色。然而,该模型目前主要通过Meta.ai平台供美国用户使用,对国内用户而言存在限制。为此,文章介绍了如何在本地部署Llama 3.1的8B版本作为替代方案,并详细指导了环境准备、安装包下载与安装过程。
**本地部署指南**:
- **环境需求**:需Windows 10及以上系统,根据模型大小匹配适当内存(8GB起),无需特殊网络环境,有GPU可加速。
- **下载与安装**:从Ollama官网下载Windows版本安装包,通过命令行`ollama run llama3.1`进行安装与启动。
**模型功能应用**:
Llama 3.1模型具备多项功能,包括回答问题、翻译、文本摘要、对话、内容生成、语言分析、文本分类、情感分析等。文章通过古诗词填空题测试,展示了该模型在实际应用中的效果,并对比了其他工具的准确性。
**可视化与重启操作**:
引入Ollama Web UI进行界面优化,方便用户以图形界面进行交互。模型部署后,可通过开始菜单或直接打开软件重启会话,通过localhost访问。
**学习资源分享**:
文章最后部分,作者分享了一套全面的AI大模型学习资源,包括学习思维导图、视频教程、实际应用报告、落地案例PPT、经典电子书籍以及面试题及答案等,旨在帮助读者从零开始逐步掌握AI大模型技术,提高实战能力和竞争力。
该分享资源免费提供,适合零基础小白和有意深入学习AI大模型的程序员与爱好者。

更新时间 2024-09-21