-
AIGC入门（一） 从零开始搭建Transformer！（上）
前言 我记得曾经看过一篇综述，综述里曾这样讲过： 多模态使用Transformer作为基石模型的一个原因之一，就是因为它能够很好地统一视觉（ViT、DiT）和文本，并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
基于Python和TensorFlow实现BERT模型应用
本文分享自华为云社区《使用Python实现深度学习模型：BERT模型教程》，作者： Echo_Wish。 BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用...
-
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG 的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而，寻找或训练这样的嵌入模型往往是一项困难的任务，因为领域内的数据通常是稀缺的。 但...
-
Stable Diffusion——四种模型 LoRA（包括LyCORIS）、Embeddings、Dreambooth、Hypernetwork
目前 Stable diffusion 中用到主要有四种模型，分别是 Textual Inversion （TI）以 Embeddings 为训练结果的模型、Hypernetwork 超网络模型、LoRA（包括 LoRA 的变体 LyCORIS）模型、Dr...
-
AIGC从入门到实战：远近高低各不同：Transformer 和预训练模型是什么？
1. 背景介绍 近年来，随着人工智能技术的快速发展，AIGC（人工智能生成内容）已经成为了一个热门的话题。Transformer 和预训练模型是 AIGC 中的两个重要概念，它们对于理解和应用 AIGC 技术具有重要意义。本文将介绍 Transforme...
-
AIGC技术深度剖析：底层原理及其应用
AIGC技术深度剖析：底层原理及其应用 引言 人工智能生成对话技术（AIGC）是一种能够模拟人类语言表达和生成自然语言响应的技术。它是由AI对话大师调用的聊天生成语言大模型所提供的。本文将深入剖析AIGC技术的底层原理，并探讨它在各个领域的应用。...
-
天才程序员周弈帆 | Stable Diffusion 解读（二）：论文精读
本文来源公众号“天才程序员周弈帆”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 解读（二）：论文精读 【小小题外话】端午安康！ 在上一篇文章天才程序员周弈帆 | Stable Diffusion 解读（一）：回顾早...
-
人工智能前沿讲座——AIGC
目录 前情提要 一、什么是AIGC AIGC与传统的AI有何区别？ 二、发展历程 GAN 生成对抗网络 大模型与Transformer Transformer\BERT\GPT 扩散模型和稳定扩散模型 三、AIGC的发展应用 新质生产力...
-
每日AIGC最新进展(34)：特拉维夫大学提出多主题扩散模型Be Yourself、阿里巴巴提出个性化人脸生成方法FlashFace、清华大学提出快速评估扩散模型方法FlashEval
Diffusion Models专栏文章汇总：入门与实战 Be Yourself: Bounded Attention for Multi-Subject Text-to-Image Generation 本文探讨了文本到图像生成领域中的一个关...
-
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（一）
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（一） Meta 通过推出新的开源 AI 模型 Llama 3 以及新版本的 Meta AI，正在加强其在人工智能 (AI 竞赛中的竞争力。该虚拟助手由 Llama 3 提供支持，现已可在所...
-
一文看懂Llama 2：原理、模型与训练
一文看懂Llama 2：原理、模型与训练 Llama 2是一种大规模语言模型（LLM），由Meta（原Facebook）研发，旨在推动自然语言处理（NLP）领域的发展。本文将详细介绍Llama 2的原理、模型架构及其训练方法，以帮助读者深入理解这一技术...
-
Llama 3-V：以100倍小的模型和500美元匹敌GPT4-V视觉模型
概述 Llama3 的横空出世震惊了世界，它在几乎所有基准测试中都超越了 GPT-3.5，并在一些方面超越了 GPT-4。随后，GPT-4o 的出现凭借其多模态能力再次夺回了王座。今天，我们发布了一个改变现状的产品：Llama3-V，这是首个基于 Ll...
-
【AI学习】LLaMA 系列模型的进化（一）
一直对LLaMA 名下的各个模型关系搞不清楚，什么羊驼、考拉的，不知所以。幸好看到两篇综述，有个大致了解，以及SEBASTIAN RASCHKA对LLaMa 3的介绍。做一个记录。 一、文章《Large Language Models: A Surve...
-
每日AIGC最新进展(28)：鹏城实验室提出连贯的故事生成框架StoryImager、浙大强化学习提升扩散模型生成质量算法PXPO、谷歌提出生成中文/日文/韩文字符的扩散模型
Diffusion Models专栏文章汇总：入门与实战 StoryImager: A Unified and Efficient Framework for Coherent Story Visualization and Completion...
-
Llama 3-V: 比GPT4-V小100倍的SOTA
大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调重新阅读。而最新科技（Mamba，xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于如果构建生成级别的A...
-
llama系列模型学习
一、目录 llama1 模型与transformer decoder的区别 llama2 模型架构 llama2 相比llama1 不同之处 llama3 相比llama2 不同之处 llama、llama2、llama3 分词器词表大小以及优缺点...
-
Stable Diffusion 3 如何下载安装使用及性能优化
Stable Diffusion 3 Stable Diffusion 3（SD3），Stability AI最新推出的Stable Diffusion模型系列，现在可以在Hugging Face Hub上使用，并且可以与Diffusers一起使用。...
-
原来Stable Diffusion是这样工作的
stable diffusion是一种潜在扩散模型，可以从文本生成人工智能图像。为什么叫做潜在扩散模型呢？这是因为与在高维图像空间中操作不同，它首先将图像压缩到潜在空间中，然后再进行操作。 在这篇文章中，我们将深入了解它到底是如何工作的,还能够知道文生图...
-
用AI写作微头条撸收益,一篇收入1100!掌握2个小技巧你也能
大家好，今天我来分享一下如何用AI写作微头条撸收益。其实掌握两个小技巧就可以，一篇收入1100元，你也可以做到！ 首先，我们需要了解微头条的受众群体。微头条是微博上的一个内容形式，主要面向年轻人和社交媒体用户。因此，我们需要用轻松幽默的语言来吸引他们...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 2
LLaMA 2 大型语言模型（LLMs）作为高度能力的人工智能助手，在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力，包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动，这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性，LLM...
-
重磅！Llama-3，最强开源大模型正式发布！
4月19日，全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。 据悉，Llama-3共有80亿、700亿两种参数，分为基础预训练和指令微调两种模型（还有一个超4000亿参数正在训练中）。 与Llama-2相比，Llama-3使用...
-
LLaMA 羊驼系大语言模型的前世今生
关于 LLaMA LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。Llama这个单词本身是指美洲大羊驼，所以社区也将这个系列的模型昵称为羊驼系模型。 Ll...
-
最火AI角色扮演流量已达谷歌搜索20%！每秒处理2万推理请求，Transformer作者公开优化秘诀
什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5? 答案是独角兽Character.ai，由Transformer作者Noam Shazeer（后面简称沙哥）创办。 刚刚，沙哥公布了推理优化独门秘诀，迅速引起业界热议。 具...
-
每日AIGC最新进展(16)：华为诺亚实验室提出通过混合mask信息融合增强文本到图像编辑、腾讯优图实验室提出风格化图像生成算法、清华大学提出扩散模型中的概念域校正和概念保留
Diffusion Models专栏文章汇总：入门与实战 Enhancing Text-to-Image Editing via Hybrid Mask-Informed Fusion 本文提出了一种名为MaSaFusion的文本到图像编辑方法...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LL...
-
【学习笔记】文生图模型——Stable diffusion3.0
2.0原理才看到VAE，sd3.0就发布了，虽然还没看到源码和详解，但原来的那个小方向估计得弃。人已经麻了。 1.LDMs模型（stable diffusion≈LDMs+CLIP） 2.stable diffusion3.0模型架构图...
-
Omost - 一句话即可AI绘画，自动生成关键词，本地一键整合包
近日，ControlNet的作者推出了一个全新的项目——Omost。这个项目对现有图像模型的提示词理解有着巨大的帮助。通过很短的提示词，就可以生成非常详细并且空间表现很准确的图片。划重点，这个项目需要8G显存显卡运行，据说老显卡，比如10系可能用不了，具体...
-
【AI原理解析】— Meta Llama-3模型
目录 一、模型架构 Transformer架构 解码器（Decoder-only）设计 Group Query Attention (GQA 技术 二、参数与训练 参数规模 训练数据集 训练过程 三、技术特点 四、性能提升 推理能力...
-
Whisper-AT：抗噪语音识别模型（Whisper）实现通用音频事件标记（Audio Tagger）
本文介绍一个统一音频标记（Audio Tagger）和语音识别（ASR）的模型：Whisper-AT，通过冻结Whisper的主干，并在其之上训练一个轻量级的音频标记模型。Whisper-AT在额外计算成本不到1%的情况下，可以在单次前向传递...
-
Runway正式发布全新Gen3模型，AI视频的王，它回来了。
在AI视频被一众新秀，比如Sora、Luma、可灵等等占据注意力的时候，已经有人忘了AI视频领域统治了N久的王者，他叫Runway。 去年的11月份更新了一次Gen2模型模型，然后宣布他们要开始组团队开始进军世界模型之后。 他们就再无动静了。 一晃眼，将...
-
霉霉开口唱碧昂丝的歌，又是AI！口型不出戏，五官姿态也自然，复旦百度等出品｜GitHub揽星1k+
一张人像、一段音频参考，就能让霉霉在你面前唱碧昂丝的《Halo》。 一种名为Hallo的研究火了，GitHub已揽星1k+。 话不多说，来看更多效果: 不论是说话还是唱歌，都能和各种风格的人像相匹配。从口型到眉毛眼睛动作，各种五官细节都很自然。 单独...
-
从论文中看AI绘画
个人博客:Sekyoro的博客小屋个人网站:Proanimer的个人网站 主要看是看Diffusion Models,CLIP,ControlNet,IP-Adapter这种经典论文,尝试总结论文写作的一些方式以及图像生成模型的一些内在思想. 对于其中的数...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展，大规模语言模型（Large Language Models, LLMs）已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练，能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
论文笔记：Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
CVPR2024 论文代码：yangxy/PASD (github.com 论文地址：[2308.14469v3] Pixel-Aware Stable Diffusion for Realistic Image Super-resolution a...
-
AI画连环画角色更一致了！人物之间的复杂互动也能处理｜中山大学&联想团队出品
让AI画漫画角色保持一致的新研究来了! 创作的连环画效果belike: 频繁切换主体、人物之间复杂的互动也能保持角色一致性: 上述效果来自AutoStudio，是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。 AutoStudio采用基...
-
Meta Llama 3 性能提升与推理服务部署
利用 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器提升 Meta Llama 3 性能 我们很高兴地宣布 NVIDIA TensorRT-LLM 支持 Meta Llama 3 系列模型，从而加速和优化您的 L...
-
Llama网络结构介绍
LLaMA现在已经是开源社区里炙手可热的模型了，但是原文中仅仅介绍了其和标准Transformer的差别，并没有一个全局的模型介绍。因此打算写篇文章，争取让读者不参考任何其他资料把LLaMA的模型搞懂。 结构 如图所示为LLaMA的示意图，由Atte...
-
大象AI写作 我是如何编写一套属于自己的Prompt提示词的
本文背景 我们在写提示词的时候，AI对COT少量样本的学习能力很重要。 要编写出一套出色的内容创作提示(prompt ，关键在于如何教GPT进行自我创作，这就是一门“know how”的艺术。 比如当你要AI写一个视频标题，初学者只是简单地...
-
AIGC——ComfyUI使用SDXL双模型的工作流（附件SDXL模型下载）
SDXL算法概述 SDXL（Stable Diffusion XL）是Stable Diffusion公司发布的一款图像生成大模型。在以往的模型基础上，SDXL进行了极大的升级，其base模型参数数量达到了35亿，refiner模型参数数量达到了66亿...
-
用ControlNet+Inpaint实现stable diffusion模特换衣
用ControlNet+Inpaint实现stable diffusion模特换衣 ControlNet 训练与架构详解 ControlNet 的架构 用于文本到图像扩散的 ControlNet 训练过程...
-
每日AIGC最新进展(23)：魁北克人工智能研究所提出扩展注意力机制视频编辑、浙江大学提出video-to-Audio生成算法Frieren、清华大学提出扩散模型参数高效迁移学习Diff-Tuning
Diffusion Models专栏文章汇总：入门与实战 Temporally Consistent Object Editing in Videos using Extended Attention 本文提出了一种用于视频编辑的新方法，旨在通过...
-
AIGC-风格迁移-style Injection in Diffusion-CVPR2024HighLight-论文精度
Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer-CVPR2024High...
-
基于Ascend C的FlashAttention算子性能优化最佳实践
本文分享自华为云社区《基于Ascend C的FlashAttention算子性能优化最佳实践》，作者：昇腾CANN。 LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttenti...
-
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 文章目录 [从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 1. 位置编码 1.1 绝对位...
-
RAG 与长文本，此消彼长还是相辅相成？
上周，PingCAP AI Lab 数据科学家孙逸神的文章《当前都在堆长窗口，还需要 RAG 吗？》从用户的角度谈了长窗口&RAG 的看法，引起了众多同行的围观，本周我们采访了张粲宇，看看搞向量数据库的业内人士，是怎么看待这个问题的？...
-
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感 我们不会被人工智能所取代，但极大可能会被善于使用人工智能的人所取代 时至今日，我都忘了我是怎么与这本书结缘的了。 是见猎心喜吧，当时看出版日期挺新的 大约是23年12月的时候，我...
-
transformers 阅读：Llama 模型
正文 学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。 层归一化 LlamaRMSNorm transformers 中对于 Llam...
-
Llama 3 模型上下文长度扩展至1048K
AI苏妲己： Gradient AI 近日宣布，通过其创新的渐进式训练方法，成功将 Llama 3 系列模型的上下文长度扩展至超过100万令牌。 Llama 3 模型最初设计用于处理8000个令牌的上下文长度，这大约相当于6000字或10页文档。为了适...
-
大模型算法(一)：从Transformer到ViT再到LLaMA
单任务/单领域模型 深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。 对于CV计算机视觉领域，最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务，目标检测任务，图像分割任务，以CNN作为骨干backbone，加...