-
【大语言模型】5分钟快速认识ChatGPT、Whisper、Transformer、GAN
5分钟快速认识ChatGPT、Whisper、Transformer、GAN 什么是ChatGPT? 什么是Whisper? 什么是Generative Pre-trained Transformer架构？ 什么是自然处理语言 NLP 的 Tr...
-
小红书开源「InstantID」效果炸裂，被Yann LeCun点赞，迅速蹿上Github热榜
最近，有一群来自小红书的 95 后神秘团队，自称 InstantX，搞了个大动作 —— 开源「InstantID」项目。 InstantID 凭借着高质量的图像生成能力，在开源界掀起了一股热潮：不仅获得了众多技术大佬的点赞，更是在 GitHub 热榜上迅...
-
Textual Inversion、DreamBooth、LoRA、InstantID：从低成本进化到零成本实现IP专属的AI绘画模型
2023年7月份国内有一款定制写真AI工具爆火。一款名为妙鸭相机的AI写真小程序，成功在C端消费者群体中出圈，并在微信、微博和小红书等平台迅速走红，小红书上的话题Tag获得了330多万的浏览量，相关微信指数飙升到了1800万以上。 其他能够提供类似功能例...
-
Stable Diffusion（SD）核心基础知识——（文生图、图生图）
文章目录 一、Stable Diffusion核心基础原理 （一）Stable Diffusion模型工作流程 （二）Stable Diffusion模型核心基础原理 （三）Stable Diffusion的训练过程 （四）其他主流生成式模型...
-
Stable Diffusion学习
参考 Stable Diffusion原理详解_stable diffusion csdn-CSDN博客 Stable Diffusion是stability.ai开源的图像生成模型，可以说Stable Diffusion的发布将AI图像生成提高到了全新...
-
【AIGC-文本/图片生成视频系列-9】MagicVideo-V2: 多阶段高美感视频生成
目录 一. 项目概述与贡献 二. 方法详解编辑 三. 文本生成视频相关结果 四. 与其他方法对比结果 五. 个人感悟 最近得益于扩散模型的快速发展，文本到视频（T2V）模型的激增。 今天要介绍的是字节的MagicVideo-V2，一个新颖...
-
使用Transformer 模型进行时间序列预测的Pytorch代码示例
时间序列预测是一个经久不衰的主题，受自然语言处理领域的成功启发，transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer 模型的时间序列预测的一个起点。 数据集 这里我们直接使用kaggle中的 Store...
-
diffusion model（五）stable diffusion底层原理（latent diffusion model， LDM）
LDM: 在隐空间用diffusion model合成高质量的图片！ [论文地址] High-Resolution Image Synthesis with Latent Diffusion Models [github] https://githu...
-
第三十二章：ChatGPT与AIGC在物联网领域的应用
1.背景介绍 物联网(Internet of Things，IoT 是指通过互联网将物体和设备连接起来，实现数据的传输和共享。物联网技术已经广泛应用于各个领域，如智能家居、智能城市、智能制造、智能农业等。随着数据量的增加和计算能力的提高，人工智能...
-
【AIGC】从零手写一个GPT
手写一个GPT 在GPT，确切的说是Transformer，出现之前，一个问题长久地困扰着人们——如何让两句内容不同、但语义相近的句子得到较为接近的表示。 比如我们有两句话 我喜欢你 吾中意你 它们作为句子内容并不一样，但是表达的含义却...
-
十分钟读懂Stable Diffusion运行原理
AIGC 热潮正猛烈地席卷开来，可以说 Stable Diffusion 开源发布把 AI 图像生成提高了全新高度，特别是 ControlNet 和 T2I-Adapter 控制模块的提出进一步提高生成可控性，也在逐渐改变一部分行业的生产模式。惊...
-
从零手搓MoE大模型，大神级教程来了
传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！ Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。 这个项目被作者叫做MakeMoE，详细讲述了从注意力构建到形成完整MoE模型的过程。...
-
过去两周，六个最有可能改变AI进程的发布！
编译 ｜言征 过去两周，新的人工智能更新不断涌现，异常疯狂。我们决定整理最近发布的六大框架和模型。 1、ActAnywhere：主题感知视频背景生成 图片 Adobe Research和斯坦福大学推出了Act Anywhere，这是一种生成模型，解决了电...
-
百度“文心一言”大模型(ERNIE)发布了，对标ChatGPT
大家好，我是微学AI，今天给大家介绍一下基于大语言模型的背景下，国内外的发展现状，以及百度的“文心一言”大模型。 一、自然语言处理模型的发展 自然语言处理(NLP 大模型的发展可以追溯到早期的简单的规则模型，再到后的机器学习，近十年崛起的神经网络和深度...
-
NeurIPS 2023精选回顾：大模型最火，清华ToT思维树上榜
近日，作为美国前十的科技博客，Latent Space对于刚刚过去的NeurIPS 2023大会进行了精选回顾总结。 在NeurIPS会议总共接受的3586篇论文之中，除去6篇获奖论文，其他论文也同样优秀和具有潜力，甚至有可能预示着下一个AI领域的新突破...
-
Camera or Lidar？如何实现鲁棒的3D目标检测？最新综述！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 0. 写在前面&&个人理解 自动驾驶系统依赖于先进的感知、决策和控制技术，通过使用各种传感器（如相机、激光雷达、雷达等）来感知周围环境，并利用算法和模型进行实时分析和决策。这使得车辆...
-
【AIGC入门一】Transformers 模型结构详解及代码解析
Transformers 开启了NLP一个新时代，注意力模块目前各类大模型的重要结构。作为刚入门LLM的新手，怎么能不感受一下这个“变形金刚的魅力”呢？ 目录 Transformers ——Attention is all You Need 背景...
-
【刻削生千变，丹青图“万相”】阿里云AI绘画创作模型 “通义万相”测评
刻削生千变，丹青图“万相 4月7日，阿里大模型“通义千问”开始邀请用户测试体验。现阶段该模型主要定向邀请企业用户进行体验测试，用户可通过官网申请（tongyi.aliyun.com），符合条件的用户可参与体验。 随后，在2023云峰会上，阿里巴巴集团董事...
-
FlashAttention2原理解析以及面向AIGC的加速实践
FlashAttention-2提出后，便得到了大量关注。本文将具体讲述FlashAttention-2的前世今生，包括FlashAttention1&2的原理解析、加速效果比较以及面向AIGC的加速实践，在这里将相关内容与大家分...
-
【日常聊聊】ChatGPT和文心一言哪个更好用
?个人博客：个人主页 ?个人专栏： 日常聊聊 ⛳️ 功不唐捐，玉汝于成 目录 前言 正文 介绍 哪个在文本生成上有优势 结语 我的其他博客 前言 随着人工智能技术的不断发展，自然语言处理领域也取得了显著的进步。...
-
AIGC场景应用展望研究报告
AIGC场景应用展望研究报告 AIGC介绍 技术视角：AIGC产业技术新突破 产业视角：AIGC的产业新变革 典型企业案例 随着人工智能技术的快速发展，AIGC(AI生成内容 正在成为内容生产方式的新趋势。AIGC场景应用展望研...
-
ChatGPT VS 文心一言：技术与应用的前瞻性比较
总述 在当今的AI领域，自然语言处理技术日新月异，其中ChatGPT和文心一言是备受瞩目的两大模型。它们分别代表了不同的技术路线，并在实际应用中展现了各自的优势。本文将对ChatGPT和文心一言进行深入的比较分析，探讨它们的优缺点、适用...
-
Stable Diffusion - 扩展 SegmentAnything 和 GroundingDINO 实例分割算法 插件的配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/131918652 Paper and GitHub：...
-
【扩散模型】12、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构
文章目录 一、什么是 Stable Diffusion 二、Diffusers 库 三、微调、引导、条件生成 3.1 微调 3.2 引导 3.3 条件生成 四、Stable Diffusion 4.1 以文本为条件生成 4.2 无分类器的...
-
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一
如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。 从系统角度来看，LLM 推理主要受内存限制，主要延迟瓶颈源于加速器的内存带宽而非算术计算。这一...
-
GPT与文心一言大模型的比较与展望
目录 前言 1 GPT和文心一言简介 2 GPT和文心一言的技术原理和基础架构 3 GPT和文心一言的模型规模和参数数量 4 GPT和文心一言的语言理解表现 5 展望GPT和文心一言未来的发展 5.1 技术改进 5.2 应用扩展 结语...
-
2024年人工智能领域十大预测
2023年人工智能领域如果只能筛选一个关键词的话，恐怕非“大模型”莫属。大模型的发展在过去一年中，让各行各业发生了天翻地覆的变化，有企业因大模型而新生，有企业因大模型而消亡。企业的变迁跟技术迭代息息相关，而大模型就是新一代人工智能技术下的产物，大模型已经...
-
一个开源的大型语言模型LLaMA论文简单解读，LLaMA: Open and Efficient Foundation Language Models
一个开源的大型语言模型LLaMA论文解读，LLaMA: Open and Efficient Foundation Language Models 返回论文和资料目录 1.导读 LLaMA 是 Meta AI 发布的包含 7...
-
大模型 Dalle2 学习三部曲（一）Latent Diffusion Models学习
引言 Diffusion model大获成功，但是它的短板也很明显，需要大量的计算资源，并且推理速度比较慢。如何才能提升Diffusion model的计算效率。业界有各种各样的改进，无疑Latent Diffusion Models（潜在扩散模...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
视觉Mamba模型的Swin时刻，中国科学院、华为等推出VMamba
Transformer 在大模型领域的地位可谓是难以撼动。不过，这个AI 大模型的主流架构在模型规模的扩展和需要处理的序列变长后，局限性也愈发凸显了。Mamba的出现，正在强力改变着这一切。它优秀的性能立刻引爆了AI圈。 上周四， Vision Mamb...
-
AIGC的初识
?欢迎来到自然语言处理的世界 ?博客主页：卿云阁 ?欢迎关注?点赞?收藏⭐️留言? ?本文由卿云阁原创！ ?首发时间：?2023年12月26日? ✉️希望可以和大家一起完成进阶之路！ ?作者水平很有限，如果发现错误，请留言轰炸哦！万分...
-
AIGC的底层核心结构Transformer是如何彻底改变NLP游戏规则的？OJAC近屿智能带你一探究竟
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 没有Transformer，就没有NLP的突破，听起来有些夸张，但事实确实如此。什么是Transformer？Transforme...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
stable diffusion为什么能用于文本到图像的生成
推荐基于稳定扩散(stable diffusion AI 模型开发的自动纹理工具： DreamTexture.js自动纹理化开发包 - NSDT 稳定扩散获得如此多关注的原因 如果你还没有看过它：稳定扩散是一个文本到图像的生成模型，你可以输入...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...
-
全网最全AI绘画Stable Diffusion关键技术解析
背景 很多人觉得AI绘画不稳定，对于以后是否替代插画师，摄影工作者，设计师，表示存疑，作为AI从业者本文从AI绘画关键技术分析，明白以前生产者肯定会被淘汰，现在没有到达黄金期。 技术一定会让更多人失业，而我们拥抱变化，增强自身。 AI绘画中Stab...
-
AIGC原理：扩散模型diffusion综述一：面向视觉计算的扩散模型研究进展
论文地址：State of the Art on Diffusion Models for Visual Computing ? 贴一幅SGM（Score-based Generative Model）的原因是宋飏博士将他2019年提出的SMLD模型和20...
-
AIGC、ChatGPT、GPT系列？我的认识
AIGC（AI generated content），新型内容生产方式。AIGC是利用人工智能技术来生成内容，也就是，它可以用输入数据生成相同或不同类型的内容，比如输入文字、生成文字，输入文字、生成图像等。 GPT-3是生成型的预训练变换模型，是...
-
视觉Mamba来了：速度提升2.8倍，内存能省87%
号称「全面包围 Transformer」的 Mamba，推出不到两个月就有了高性能的视觉版。 本周四，来自华中科技大学、地平线、智源人工智能研究院等机构的研究者提出了 Vision Mamba（Vim）。 论文地址：https://arxiv.or...
-
ICLR'24无图新思路！LaneSegNet：基于车道分段感知的地图学习
写在前面&笔者的个人理解 地图作为自动驾驶系统下游应用的关键信息，通常以车道或中心线表示。然而，现有的地图学习文献主要集中在检测基于几何的车道或感知中心线的拓扑关系。这两种方法都忽略了车道线与中心线的内在关系，即车道线绑定中心线。虽然在一个模型中...
-
WidthFormer：实时自动驾驶！助力基于Transformer的BEV方案量产
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&行业理解 基于BEV的transformer方案今年量产的主要方案，transformer结构和CNN相比，特征提取能力更强，但需要较多的算力，这也是为什么许多车上都是1~2颗orin...
-
常见大模型对比[ChatGPT（智能聊天机器人）、Newbing(必应)、Bard（巴德）、讯飞星火认知大模型（SparkDesk）、ChatGLM-6B]
目录 1 引言 2 选取常见的大模型作为对比项 2.1什么是大模型 2.2 常见大模型 3 相关的大模型介绍和功能 3.1 ChatGPT 3.1.1 ChatGPT的介绍 3.1.2 ChatGPT的原理 3.1.3 ChatGPT的特...
-
免费商用 Meta 发布开源大语言模型 Llama 2
Meta 和微软深度合作，正式推出下一代开源大语言模型 Llama 2，并宣布免费提供给研究和商业使用。 Llama 2 论文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models 据介...
-
AIGC学习笔记（1）——AI大模型提示词工程师
文章目录 AI大模型提示词工程师 1 Prompt工程之原理 1.1 AIGC的发展和产业前景 前言 AIGC时代的到来 发展趋势和应用展望 1.2 大模型的类型和特点 大模型的对比 上手 特点 1.3 大模型技术原理和发展 成语...
-
AIGC系列之：ControlNet原理及论文解读
《Adding Conditional Control to Text-to-Image Diffusion Models》 目录 1.背景介绍 2.原理详解 2.1 Controlnet 2.2 用于Stable Diffusion的Contr...
-
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加...
-
DiffIR: Efficient Diffusion Model for Image Restoration 利用扩散模型进行图像重建
一、主要贡献 •我们提出了DiffIR，一种强大、简单、高效的基于扩散模型的的图像修复方法。与图像生成不同的是，输入图像的大部分像素都是给定的。因此，我们利用DM强大的映射能力来估计一个紧凑的IPR（IR Prior Representation，图像修...
-
一文读懂大型语言模型参数高效微调：Prefix Tuning与LLaMA-Adapter
芝士AI吃鱼 在快速发展的人工智能领域中，高效、有效地使用大型语言模型变得日益重要，参数高效微调是这一追求的前沿技术，它允许研究人员和实践者在最小化计算和资源占用的同时，重复使用预训练模型。这还使我们能够在更广泛的硬件范围内训练...
-
【AIGC】Controlnet:基于扩散模型的文生图的可控性
前言 controlnet可以让stable diffusion的生图变得可控。 文章连接：https://arxiv.org/pdf/2302.05543.pdf 摘要 冻结了stable diffusion的预训练模型并重用它的预训练...