-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展，大规模语言模型（Large Language Models, LLMs）已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练，能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
【论文精读】DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents
文章目录 一、前言 （一）DALLE2 简介 （二）DALLE2和DALLE的对比 （三）相关模型推出时间 二、文章概要 （一）标题 （二）摘要 （三）引言 （四）模型架构 三、方法 （一）图像生成的相关工作 （二）diffusion...
-
51-34 DALLE2 结合预训练CLIP和扩散模型实现图像生成
今天要分享的论文是OpenAI于2022年4月出品的DALLE2，全名Hierarchical Text-Conditional Image Generation with CLIP Latents。该工作是在CLIP和GLIDE基础之上完成。 很早之前...
-
天才程序员周弈帆 | Stable Diffusion 解读（一）：回顾早期工作
本文来源公众号“天才程序员周弈帆”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 解读（一）：回顾早期工作 在2022年的这波AI绘画浪潮中，Stable Diffusion无疑是最受欢迎的图像生成模型。究其原因，第一...
-
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图
目前人工智能模型可以分为两大类别，包括判别模型 (Discriminative Model 与生成模型 (Generative Model 。判别模型根据一组输入数据，例如文本、X 射线图像或者游戏画面，经过一系列计算得到相应目标输出结果，例如单词翻译结...
-
AIGC-风格迁移-style Injection in Diffusion-CVPR2024HighLight-论文精度
Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer-CVPR2024High...
-
Stable Diffusion原理
一、Diffusion扩散理论 1.1、 Diffusion Model（扩散模型） Diffusion扩散模型分为两个阶段：前向过程 + 反向过程 前向过程：不断往输入图片中添加高斯噪声来破坏图像 反向过程：使用一系列马尔可夫链逐步将噪声还原...
-
transformers 阅读：Llama 模型
正文 学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。 层归一化 LlamaRMSNorm transformers 中对于 Llam...
-
（内含福利）Meta 发布新开源模型 Llama 3；华为 Pura 70 系列一分钟售罄丨 RTE 开发者日报 Vol.188
开发者朋友们大家好： 这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点...
-
AIGC系列之：GroundingDNIO原理解读及在Stable Diffusion中使用
目录 1.前言 2.方法概括 3.算法介绍 3.1图像-文本特征提取与增强 3.2基于文本引导的目标检测 3.3跨模态解码器 3.4文本prompt特征提取 4.应用场景 4.1结合生成模型完成目标区域生成 4.2结合stable di...
-
大模型算法(一)：从Transformer到ViT再到LLaMA
单任务/单领域模型 深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。 对于CV计算机视觉领域，最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务，目标检测任务，图像分割任务，以CNN作为骨干backbone，加...
-
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图(1)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。 需要这份系统化资料的朋友，可以戳这里获取 一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的...
-
Stable diffusion文生图大模型——隐扩散模型原理解析
1、前言 本篇文章，我们将讲这些年非常流行的文生图大模型——Stable Diffusion。该模型也不难，甚至说很简单。创新点也相对较少，如果你学会了我以前的文章讲过的模型，学习这个也自然水到渠成！ 参考论文：High-Resolution Ima...
-
AIGC-Stable Diffusion进阶1(附代码)
在上篇文章中对Stable Diffusion进行了初步的认识，也给出了使用案例，这篇文章将进一步的去刨析一下SD模型。 SD模型的组成 在之前也讲过了，SD由CLIP、UNet、Schedule，VAE组成。再来回顾一下知识点： 1.CLIP Te...
-
AIGC未来展望：AI将如何改变内容创作
AIGC未来展望：AI将如何改变内容创作 1.背景介绍 1.1 内容创作的重要性 在当今时代,内容创作无疑已成为一项关键的生产力。无论是营销、教育、娱乐还是其他领域,高质量的内容都是吸引受众、传播信息、实现价值的关键。然而,创作优秀内容需要大量的时间...
-
使用LLM2Vec将Llama 3转变为一个嵌入模型
文章目录 LLM2Vec：您的LLM也是一个嵌入模型 使用LLM2Vec将Llama 3转变为文本嵌入模型 为 RAG 设置 Llama 3 文本嵌入模型 结论 原文：Benjamin Marie Turn Llama 3 into a...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMa
LLaMA详解 LLaMA（Large Language Model Meta AI）是由Meta（前身为Facebook）开发的一种大规模语言模型，旨在提高自然语言处理（NLP）任务的性能。LLaMA基于变换器（Transformer）架构，并经过大...
-
Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理
原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch 了解在 CPU 上部署 Meta* Llama 3 时如何减少模型延迟 2024 年 4 月 19 日 万...
-
AI绘画的算法原理：从生成模型到Diffusion
近年来，AI绘画技术引起了广泛关注，让我们深入探讨其背后的技术原理和发展历程。本文将以通俗易懂的方式，介绍AI绘画的核心算法，从生成模型到Diffusion。 1. 计算机如何生成图画？ AI绘画的核心在于生成模型（ge...
-
AI绘画Stable Diffusion神级插件！sd-forge-layerdiffuse
大家好，我是程序员晓晓 今天给大家介绍一个插件，全名是 sd-forge-layerdiffuse。它的功能很简单，就是可以让 Stable Diffusion 生成带透明通道的PNG图片。 比如一个水瓶。 一只猫。 二次元。 简而言...
-
使用Python实现深度学习模型：序列到序列模型（Seq2Seq）
本文分享自华为云社区《使用Python实现深度学习模型：序列到序列模型（Seq2Seq）》，作者： Echo_Wish。 序列到序列（Seq2Seq）模型是一种深度学习模型，广泛应用于机器翻译、文本生成和对话系统等自然语言处理任务。它的核心思想是将一个序...
-
把整个地球装进神经网络，北航团队推出全球遥感图像生成模型
北航的研究团队，用扩散模型“复刻”了一个地球？ 在全球的任意位置，模型都能生成多种分辨率的遥感图像，创造出丰富多样的“平行场景”。 而且地形、气候、植被等复杂的地理特征，也全都考虑到了。 受Google Earth启发，北航的研究团队从俯拍视角出发，将...
-
LLMs之llama3-from-scratch：llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之llama3-from-scratch：llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码 的简介、核心思路梳理 导读：这篇论文实现了transformer网络的llama3模型...
-
儿童节变身小小音乐家，用ModelArts制作一张AIGC音乐专辑
本文分享自华为云社区《儿童节变身小小音乐家，用ModelArts制作一张AIGC音乐专辑》，作者： 华为云社区精选。 儿童节，如何给小朋友准备一份特别的礼物？ 这份AIGC音乐专辑制作攻略一定要收下 一段文字灵感就能编织出一曲悠扬悦耳的旋律 童话、...
-
AI预测极端天气提速5000倍！微软发布Aurora，借AI之眼预测全球风暴
自人类有历史以来，就一直执着于预测天气，以各种方式破解「天空之语」，我们慢慢发现，草木、云层似乎都与天气有关，这不仅仅是因为人类从事生产的需要，也是人类想要对着大风歌唱、在月光下吟诗的需要。 《冰与火之歌》中的风雨歌师，就是通过歌声和吟唱来预测天气和风暴...
-
LeCun新作：分层世界模型，数据驱动的人型机器人控制
有了大模型作为智能上的加持，人型机器人已然成为新的风口。 科幻电影中「安能辨我不是人」的机器人似乎已经越来越近了。 不过，要想像人类一样思考和行动，对于机器人，特别是人型机器人来说，仍是个艰巨的工程问题。 就拿简单的学走路来说，利用强化学习来训练可能会演...
-
具身智能的视觉-语言-动作模型：综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 24年5月论文“A Survey on Vision-Language-Action Models for Embodied AI”。 深度学习已在计算机视觉、自然语言处理和强化学习等许多领域取得了显著...
-
【AI绘画】Stable Diffusion魔法修习—“画风“自由切换（stable diffusion模型下载与使用技巧）
stable diffusion模型文件指AI学习了大量指定风格图片后，存储了这些学习信息的文件，可以用来绘制特定风格的图片。 大模型chickpoint(检查点 ：可以理解为保存指定节点的模型文件。训练模型特别耗算力，保存到指定节点之后，可以方便下次继...
-
AIGC-音频生产十大主流模型技术原理及优缺点
音频生成(Audio Generation 指的是利用机器学习和人工智能技术，从文本、语音或其他源自动生成音频的过程。 音频生成行业是AIGC技术主要渗透的领域之一。AI音频生成行业是指利用人工智能技术和算法来生成音频内容的领域。按照输入...
-
多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再「压缩」
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。 能够同时生成多种模态输出的多模态模型一般是通过某...
-
【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
Datawhale干货 作者：张帆，陈安东，Datawhale成员 引言 在AI领域，大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama-1、Llama-...
-
详解AI作画算法原理
引言 （1）背景介绍 AI作画，即利用人工智能技术进行艺术创作，近年来引起了广泛关注。随着计算机科学的发展，特别是深度学习和生成对抗网络（GAN）等技术的进步，AI作画从一个新颖的概念逐步走向实用化。AI作画的兴起可以追溯到早期的计算机艺术实验，如...
-
AI作画算法原理
1.概述 AI作画算法的原理相当复杂，涉及多个领域的知识，包括计算机视觉、机器学习和神经网络等。我们从以下几个方面来描述AI作画算法的基本原理。 2. 数据准备 在数据准备方面，AI作画算法通常需要大量的图像数据作为训练样本。可以是各种各样的艺术...
-
Sora底层技术原理：Stable Diffusion运行原理
AIGC 热潮正猛烈地席卷开来，可以说 Stable Diffusion 开源发布把 AI 图像生成提高了全新高度，特别是 ControlNet 和 T2I-Adapter 控制模块的提出进一步提高生成可控性，也在逐渐改变一部分行业的生产模式。惊...
-
Datawhale |【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
本文来源公众号“Datawhale”，仅用于学术分享，侵权删，干货满满。 原文链接：【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3 0. 引言 在AI领域，大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月1...
-
Stable Diffusion文生图技术详解：从零基础到掌握CLIP模型、Unet训练和采样器迭代
文章目录 概要 Stable Diffusion 底层结构与原理 文本编码器（Text Encoder） 图片生成器（Image Generator） 那扩散过程发生了什么？ stable diffusion 总体架构 主要模块分析 Un...
-
如何将大型语言模型（LLM）转换为嵌入模型
译者 | 李睿 审校 | 重楼 实验证明，LLM2Vec模型在嵌入任务上具有更好的性能，它可以为组织开辟新的场所，并以非常低的成本快速创建专门的嵌入模型。 嵌入模型已经成为大型语言模型(LLM 应用的重要组成部分，可以实现检测文本相似度、信息检索和聚类...
-
通俗易懂的Stable Diffusion模型结构介绍
目录 SD的发展历程 SD 模型的网络结构 ClipText 文本编码器 文本向量输入Unet VAE模型 总结图 SD的发展历程 Stab...
-
高亮反光终结者？谷歌NeRF-Casting：光线追踪就能搞定！
NeRF不再“畏惧”近处高光反射 早期的NeRF变体使用多层感知器（MLPs）从三维坐标映射到体积密度和视点相关的颜色，但是表示详细的三维几何和颜色所需的大型MLPs训练和评估速度极慢。最近的工作专注于通过用类似体素网格的数据结构或网格和小型MLPs的组...
-
DiffMap：首个利用LDM来增强高精地图构建的网络
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文标题： DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model 论文作者： Peijin Jia, Tuo...
-
AI绘图Stable Diffusion中关键技术：U-Net的应用
你好，我是郭震 引言 在人工智能和深度学习的迅猛发展下，图像生成技术已经取得了令人瞩目的进展。特别是，Stable Diffusion模型以其文本到图像的生成能力吸引了广泛关注。本文将深入探讨Stable Diffusion中一个关键技术——...
-
CVPR 2024 | 图像超分、图像恢复汇总！用AIGC扩散模型diffusion来解决图像low-level任务的思路...
1、Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder 超分辨率（SR）和图像生成是计算...
-
知识分享系列五：大模型与AIGC
大模型（LLM，Large Language Mode）是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的深度学习模型。大模型主要用于进行自然语言相关任务，给模型一些文本输入，它能返回相应的输出，完成的具体任务包括生成、分类、总结、改写...
-
AIGC实战——多模态模型DALL.E 2
AIGC实战——多模态模型DALL.E 2 0. 前言 1. 模型架构 2. 文本编码器 3. CLIP 4. 先验模型 4.1 自回归先验模型 4.2 扩散先验模型...
-
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
[从0开始AIGC][Transformer相关]：Transformer中的激活函数 文章目录 [从0开始AIGC][Transformer相关]：Transformer中的激活函数 1. FFN 块 计算公式？ 2. GeLU 计...
-
CVPR 2024｜多模态场景感知，小红书高保真人体运动预测方法来了！
设想一下，你在家中准备起身，前往橱柜取东西。一个集成 SIF3D 技术的智能家居系统，已经预测出你的行动路线（路线通畅，避开桌椅障碍物）。当你接近橱柜时，系统已经理解了你的意图，柜门在你达到之前就已自动打开，无需手动操作。 视频中，左边为 3D 场景...
-
谷歌Gemini 1.5技术报告：轻松证明奥数题，Flash版比GPT-4 Turbo快5倍
今年 2 月，谷歌上线了多模态大模型 Gemini1.5，通过工程和基础设施优化、MoE 架构等策略大幅提升了性能和速度。拥有更长的上下文，更强推理能力，可以更好地处理跨模态内容。 本周五，Google DeepMind 正式发布了 Gemini 1.5...
-
Meta首发「变色龙」挑战GPT-4o，34B参数引领多模态革命！10万亿token训练刷新SOTA
GPT-4o的横空出世，再次创立了一个多模态模型发展的新范式！ 为什么这么说？ OpenAI将其称为「首个『原生』多模态」模型，意味着GPT-4o与以往所有的模型，都不尽相同。 传统的多模态基础模型，通常为每种模态采用特定的「编码器」或「解码器」，将不...
-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生！
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要，如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
微软让MoE长出多个头，大幅提升专家激活率
混合专家（MoE）是个好方法，支持着现在一些非常优秀的大模型，比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。 稀疏混合专家（SMoE）可在不显著增加训练和推理成本的前提下提升模型的能力。比如 Mixtral 8×7B 就是...