-
meta-llama/Meta-Llama-3-8B
https://huggingface.co/meta-llama/Meta-Llama-3-8B 型号细节 Meta开发并发布了Meta Llama 3家族大型语言模型(LLM ,这是一组预训练和指令微调的生成性文本模型,大小为8B和70B参数。L...
-
【AI原理解析】— Meta Llama-3模型
目录 一、模型架构 Transformer架构 解码器（Decoder-only）设计 Group Query Attention (GQA 技术 二、参数与训练 参数规模 训练数据集 训练过程 三、技术特点 四、性能提升 推理能力...
-
Whisper-AT：抗噪语音识别模型（Whisper）实现通用音频事件标记（Audio Tagger）
本文介绍一个统一音频标记（Audio Tagger）和语音识别（ASR）的模型：Whisper-AT，通过冻结Whisper的主干，并在其之上训练一个轻量级的音频标记模型。Whisper-AT在额外计算成本不到1%的情况下，可以在单次前向传递...
-
AI教父Hinton：我支持超级AI取代人类！
【新智元导读】「AI教父」Geoffrey Hinton在最近的采访中表达了自己对AI智能的理解——LLM并不是简单的统计模型，已经具备了理解能力。与此同时，网友翻出了去年12月的「过期」视频，惊奇地发现Hinton早就「叛变」了，竟然对超级AI取代人类的...
-
Llama Factory 笔记
本地环境：cuda 11.7 torch2.1.0 项目文件结构： 1. 项目文件结构： 如果利用Llama Factory 进行微调主要会用到 LLama-Factory/src 中的文件 2. src 下的目录结构 本地推理的...
-
LLaMA: Open and Efficient Foundation Language Models
*背景 已有的大模型越来越多的追求更大的参数量以实现更高的性能，但有研究表明更小的模型在更大的数据集上同样可以表现良好，因此本文旨在通过大量公开可用的数据集来训练一个语言模型同时取得SOTA的性能，模型大小从7B到65B，并且开源相关模型代码。(htt...
-
图像生成新篇章：Stable Diffusion 3 Medium开源评析
摘要 在数字艺术与人工智能的交汇点上，Stable Diffusion 3（SD3）的开源无疑是一场技术革新的盛宴。就在3月份，我撰写了一篇博文，深入探讨了SD3的技术报告内容与介绍，文章发表在CSDN博客上，https://blog.c...
-
Hinton为拒马斯克offer扯谎挂电话，警告AI取代人类比想象中快30年
Geoffrey Hinton老爷子——图灵奖得主、深度学习发明人、AI三巨头、Ilya之师，在最新专访中透露出这个令人心碎的消息。 就在这两天，Hinton接受了多家媒体的专访，既有老生常谈的内容，即他对AI发展安全的担忧;也有一些新的话题和八卦。 他提...
-
【LLM第二篇】stable diffusion扩散模型、名词解释
最近在整理大模型的相关资料，发现了几个名词，不是很懂，这里整理一下： stable diffusion（SD 模型： 扩散模型（Diffusion model）的一种，主要用于生成高质量的图像，GAN的替代者，扩散模型通过一些列学习步骤生成数据，逐渐从...
-
AIGC从入门到实战：落霞与孤鹜齐飞：AIGC 汹涌而来
作者：禅与计算机程序设计艺术 Generative Capacity (AIGC has taken the technology world by storm in recent years, bringing forth innovative so...
-
Llama模型家族之Stanford NLP ReFT源代码探索 （三）reft_model.py代码解析
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展，大规模语言模型（Large Language Models, LLMs）已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练，能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
AI绘画SD【插件篇】：智能标签提示词插件sd-danbooru-tags-upsampler
大家好，我是c程序员晓晓。 关于智能标签提示词插件，在很早之前就介绍过很多款了，今天再给大家介绍一款智能标签提示词插件sd-danbooru-tags-upsampler。该智能提示词插件是今年2月23号才发布的第一版V0.1.0，算是比较新的智能提示词...
-
【AIGC】深入探索AIGC技术在文本生成与音频生成领域的应用
🚀文章标题 🚀AIGC之文本生成 🚀应用型文本生成 🚀创作型文本生成 🚀文本辅助生成 🚀重点关注场景 🚀音频及文字—音频生成 🚀TTS(Text-to-speech 场景 🚀乐曲/歌曲生成 🚀场景推荐 随着科技的飞速发展🚀，...
-
五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第三节llama 3图片理解能力微调（xtuner+llava版）
课程文档： https://github.com/SmartFlowAI/Llama3-Tutorial 课程视频： https://space.bilibili.com/3546636263360696/channel/collectiondetail?...
-
Llama网络结构介绍
LLaMA现在已经是开源社区里炙手可热的模型了，但是原文中仅仅介绍了其和标准Transformer的差别，并没有一个全局的模型介绍。因此打算写篇文章，争取让读者不参考任何其他资料把LLaMA的模型搞懂。 结构 如图所示为LLaMA的示意图，由Atte...
-
李开复、张亚勤对谈：大模型产业化，To B、To C哪个赛道更有机会？
6月15日消息，在第六届“北京智源大会”上，零一万物CEO、创新工场董事长李开复博士，中国工程院院士、清华大学智能产业研究院（AIR）院长张亚勤院士、智源研究院理事长黄铁军教授，三位行业领袖就大模型的成功因素、面临的挑战、产业化场景等多个热点话题展开了深入...
-
Meta-Llama-3-8B-Instruct本地推理
Meta-Llama-3-8B-Instruct 本地推理 基础环境信息（wsl2安装Ubuntu22.04 + miniconda） 使用miniconda搭建环境 (base :~$ conda create --name pyto...
-
天才程序员周弈帆 | Stable Diffusion 解读（一）：回顾早期工作
本文来源公众号“天才程序员周弈帆”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 解读（一）：回顾早期工作 在2022年的这波AI绘画浪潮中，Stable Diffusion无疑是最受欢迎的图像生成模型。究其原因，第一...
-
大型语言模型（LLMs）在AIGC中的核心地位
本文收录于专栏：精通AI实战千例专栏合集 https://blog.csdn.net/weixin_52908342/category_11863492.html 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践...
-
Llama 3 CPU推理优化指南
备受期待的 Meta 第三代 Llama 现已发布，我想确保你知道如何以最佳方式部署这种最先进的 (SoTA LLM。在本教程中，我们将重点介绍如何执行仅权重量化 (WOQ 来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Lla...
-
用 Unsloth 微调 LLaMA 3 8B
用 Unsloth 微调 LLaMA 3 8B 今年4月份，Meta 公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种 NLP 任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。然而，传统的 LLM 微调过程既耗时又耗费资...
-
终于来啦！Stable Diffusion 3将在6月12日正式开源
6月3日晚，著名开源大模型平台Stability AI的联合首席执行官Christian Laforte，在AMD的产品发布会上宣布，文生图模型 Stable Diffusion 3将于6月12日在Hugging Face开源权重。 本次开源的是Stab...
-
LLama的激活函数SwiGLU 解释
目录 Swish激活函数 1. Swish函数公式 LLaMA模型中的激活函数 1. SwiGLU激活函数 2. SwiGLU激活函数的表达式 3. SwiGLU激活函数的优势 Swish激活函数 Swish是一种激活函数，其计算...
-
运行stable-diffusion出现的问题(1)
Checkout your internet connection or see how to run the library in offline mode at ‘https://huggingface.co/docs/transformers/ins...
-
技术前沿 |【大模型LLaMA：技术原理、优势特点及应用前景探讨】
大模型LLaMA：技术原理、优势特点及应用前景探讨 一、引言 二、大模型LLaMA的基本介绍 三、大模型LLaMA的优势特点 五、结论与展望 一、引言 随着人工智能技术的飞速发展，大模型已成为推动这一领域进步的重要力量。近年来...
-
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 文章目录 [从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 1. 位置编码 1.1 绝对位...
-
国产Sora来了！清华发布视频生成大模型“视界一粟YiSu”
快科技6月12日消息，据媒体报道，北京极佳视界科技有限公司联合清华大学自动化系正式发布我国首个超长时长、高性价比的Sora级视频生成大模型视界一粟 YiSu”。 该大模型拥有模型原生的16秒超长时长，并可生成至1分钟以上视频。据介绍，YiSu模型成本更低、...
-
02：从文生图初窥Stable Diffusion，一键玩转AI绘画
前言 Stable Diffusion是一个什么架构呢，或者说是由哪些部分构成，各自发挥着怎么样的作用。我们就先从文生图开始探索 文生图 我们打开Stable Diffusion的webui，然后选择Stable Diffusion模型，然后选择...
-
transformers 阅读：Llama 模型
正文 学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。 层归一化 LlamaRMSNorm transformers 中对于 Llam...
-
Karpathy 4小时AI大课上线，小白看了都会从零构建GPT-2
距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。 大神Karpathy新一期AI大课又上线了。 这一次，他讲的内容是——从头开始实现124M大小的GPT-2模型...
-
一文解读：Stable Diffusion 3究竟厉害在哪里？
知乎原文：叫我Alonzo就好了 前言 最近一段时间，正当所有人都在为OpenAI发布Sora狂欢时，Stability AI更是推出了Stable Diffusion 3的技术报告。**这两项技术不约而同都采用了Diffusion Transf...
-
AI生图格局大震！Stable Diffusion 3开源倒计时，2B单机可跑碾压闭源Midjourney
重磅消息!Stable Diffusion3，大概率会在明天开源。距离2月SD3的横空出世，已经过去了4个月。如果此事为真，生图圈子第一个出现开源碾压闭源的奇景!强大的MMDiT全新架构，将彻底改变AI生图的格局。现在，全体AI社区都在翘首以盼。 万众瞩目...
-
AIGC系列之：GroundingDNIO原理解读及在Stable Diffusion中使用
目录 1.前言 2.方法概括 3.算法介绍 3.1图像-文本特征提取与增强 3.2基于文本引导的目标检测 3.3跨模态解码器 3.4文本prompt特征提取 4.应用场景 4.1结合生成模型完成目标区域生成 4.2结合stable di...
-
大模型算法(一)：从Transformer到ViT再到LLaMA
单任务/单领域模型 深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。 对于CV计算机视觉领域，最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务，目标检测任务，图像分割任务，以CNN作为骨干backbone，加...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
AIGC学习（SD、LoRA和ControlNet）
目录 Stable Diffusion（稳定扩散模型） 为什么叫扩散模型？ 网络结构 VAE（Variational Auto-Encoder） UNet模型 CLIP Text Encoder LoRA(低秩适应矩阵 什么是LoRA？...
-
Stable diffusion文生图大模型——隐扩散模型原理解析
1、前言 本篇文章，我们将讲这些年非常流行的文生图大模型——Stable Diffusion。该模型也不难，甚至说很简单。创新点也相对较少，如果你学会了我以前的文章讲过的模型，学习这个也自然水到渠成！ 参考论文：High-Resolution Ima...
-
文心一言 vs GPT-4 -- 全面横向比较
文心一言和GPT-4都是当前非常先进的自然语言处理模型，它们在语言理解、生成和翻译等方面都展现出了出色的能力。以下是对这两个模型的全面横向比较： 核心技术基础： 文心一言：是基于BERT（Bidirectional Encoder Represen...
-
stable diffusion比 transformer 作了哪些改进
Stable Diffusion 是一个基于自注意力机制的生成模型，它的设计受到了 Transformer 模型的启发，但也在很多方面进行了改进。以下是 Stable Diffusion 相较于 Transformer 的一些改进之处： 稳定性提升：...
-
大模型系列：LLaMA大模型简述和本地部署实践
内容摘要 LLaMA大模型背景介绍 LLaMA网络结构相比Transformer的改进 LLaMA中文化Atom大模型简述 在Python中调用HuggingFace LLaMA模型 基于text-generation-webui部署LLaMA问答平...
-
AIGC未来展望：AI将如何改变内容创作
AIGC未来展望：AI将如何改变内容创作 1.背景介绍 1.1 内容创作的重要性 在当今时代,内容创作无疑已成为一项关键的生产力。无论是营销、教育、娱乐还是其他领域,高质量的内容都是吸引受众、传播信息、实现价值的关键。然而,创作优秀内容需要大量的时间...
-
AIGC你了解多少呢？
AIGC全面介绍 一、引言 随着人工智能技术的飞速发展，AIGC（Artificial Intelligence Generated Content）作为生成式人工智能的重要分支，正在逐渐改变我们的生产、生活和工作方式。AIGC是人工智能1.0时代进入...
-
【大模型】LLaMA-1 模型介绍
文章目录 一、背景介绍 二、模型介绍 2.1 模型结构 2.2 模型超参数 2.3 SwiGLU 三、代码分析 3.1 模型结构代码 3.2 FairScale库介绍 四、LLaMA家族模型 4.1 Alpaca 4.2 Vicuna...
-
自然语言处理（NLP）技术在AIGC中的突破
本文收录于专栏：精通AI实战千例专栏合集 https://blog.csdn.net/weixin_52908342/category_11863492.html 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践...
-
2024年AIGC行业研究：多模态大模型与商业应用
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大...
-
使用LLM2Vec将Llama 3转变为一个嵌入模型
文章目录 LLM2Vec：您的LLM也是一个嵌入模型 使用LLM2Vec将Llama 3转变为文本嵌入模型 为 RAG 设置 Llama 3 文本嵌入模型 结论 原文：Benjamin Marie Turn Llama 3 into a...
-
AIGC从入门到实战：AI 辅助写作：基于 ChatGPT 的自动创作和文本扩展
1. Background Introduction In the rapidly evolving digital age, artificial intelligence (AI has become an indispensable tool i...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMa
LLaMA详解 LLaMA（Large Language Model Meta AI）是由Meta（前身为Facebook）开发的一种大规模语言模型，旨在提高自然语言处理（NLP）任务的性能。LLaMA基于变换器（Transformer）架构，并经过大...
-
Llama模型家族训练奖励模型Reward Model技术及代码实战（三） 使用 TRL 训练奖励模型
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...