-
FlashAttention2原理解析以及面向AIGC的加速实践
FlashAttention-2提出后，便得到了大量关注。本文将具体讲述FlashAttention-2的前世今生，包括FlashAttention1&2的原理解析、加速效果比较以及面向AIGC的加速实践，在这里将相关内容与大家分...
-
【日常聊聊】ChatGPT和文心一言哪个更好用
🍎个人博客：个人主页 🏆个人专栏： 日常聊聊 ⛳️ 功不唐捐，玉汝于成 目录 前言 正文 介绍 哪个在文本生成上有优势 结语 我的其他博客 前言 随着人工智能技术的不断发展，自然语言处理领域也取得了显著的进步。...
-
AIGC场景应用展望研究报告
AIGC场景应用展望研究报告 AIGC介绍 技术视角：AIGC产业技术新突破 产业视角：AIGC的产业新变革 典型企业案例 随着人工智能技术的快速发展，AIGC(AI生成内容 正在成为内容生产方式的新趋势。AIGC场景应用展望研...
-
ChatGPT VS 文心一言：技术与应用的前瞻性比较
总述 在当今的AI领域，自然语言处理技术日新月异，其中ChatGPT和文心一言是备受瞩目的两大模型。它们分别代表了不同的技术路线，并在实际应用中展现了各自的优势。本文将对ChatGPT和文心一言进行深入的比较分析，探讨它们的优缺点、适用...
-
Stable Diffusion - 扩展 SegmentAnything 和 GroundingDINO 实例分割算法 插件的配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/131918652 Paper and GitHub：...
-
【扩散模型】12、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构
文章目录 一、什么是 Stable Diffusion 二、Diffusers 库 三、微调、引导、条件生成 3.1 微调 3.2 引导 3.3 条件生成 四、Stable Diffusion 4.1 以文本为条件生成 4.2 无分类器的...
-
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一
如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。 从系统角度来看，LLM 推理主要受内存限制，主要延迟瓶颈源于加速器的内存带宽而非算术计算。这一...
-
GPT与文心一言大模型的比较与展望
目录 前言 1 GPT和文心一言简介 2 GPT和文心一言的技术原理和基础架构 3 GPT和文心一言的模型规模和参数数量 4 GPT和文心一言的语言理解表现 5 展望GPT和文心一言未来的发展 5.1 技术改进 5.2 应用扩展 结语...
-
2024年人工智能领域十大预测
2023年人工智能领域如果只能筛选一个关键词的话，恐怕非“大模型”莫属。大模型的发展在过去一年中，让各行各业发生了天翻地覆的变化，有企业因大模型而新生，有企业因大模型而消亡。企业的变迁跟技术迭代息息相关，而大模型就是新一代人工智能技术下的产物，大模型已经...
-
一个开源的大型语言模型LLaMA论文简单解读，LLaMA: Open and Efficient Foundation Language Models
一个开源的大型语言模型LLaMA论文解读，LLaMA: Open and Efficient Foundation Language Models 返回论文和资料目录 1.导读 LLaMA 是 Meta AI 发布的包含 7...
-
大模型 Dalle2 学习三部曲（一）Latent Diffusion Models学习
引言 Diffusion model大获成功，但是它的短板也很明显，需要大量的计算资源，并且推理速度比较慢。如何才能提升Diffusion model的计算效率。业界有各种各样的改进，无疑Latent Diffusion Models（潜在扩散模...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
视觉Mamba模型的Swin时刻，中国科学院、华为等推出VMamba
Transformer 在大模型领域的地位可谓是难以撼动。不过，这个AI 大模型的主流架构在模型规模的扩展和需要处理的序列变长后，局限性也愈发凸显了。Mamba的出现，正在强力改变着这一切。它优秀的性能立刻引爆了AI圈。 上周四， Vision Mamb...
-
AIGC的初识
🌞欢迎来到自然语言处理的世界 🌈博客主页：卿云阁 💌欢迎关注🎉点赞👍收藏⭐️留言📝 🌟本文由卿云阁原创！ 📆首发时间：🌹2023年12月26日🌹 ✉️希望可以和大家一起完成进阶之路！ 🙏作者水平很有限，如果发现错误，请留言轰炸哦！万分...
-
AIGC的底层核心结构Transformer是如何彻底改变NLP游戏规则的？OJAC近屿智能带你一探究竟
Look！👀我们的大模型商业化落地产品 📖更多AI资讯请👉🏾关注 Free三天集训营助教在线为您火热答疑👩🏼🏫 没有Transformer，就没有NLP的突破，听起来有些夸张，但事实确实如此。什么是Transformer？Transforme...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
stable diffusion为什么能用于文本到图像的生成
推荐基于稳定扩散(stable diffusion AI 模型开发的自动纹理工具： DreamTexture.js自动纹理化开发包 - NSDT 稳定扩散获得如此多关注的原因 如果你还没有看过它：稳定扩散是一个文本到图像的生成模型，你可以输入...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...
-
全网最全AI绘画Stable Diffusion关键技术解析
背景 很多人觉得AI绘画不稳定，对于以后是否替代插画师，摄影工作者，设计师，表示存疑，作为AI从业者本文从AI绘画关键技术分析，明白以前生产者肯定会被淘汰，现在没有到达黄金期。 技术一定会让更多人失业，而我们拥抱变化，增强自身。 AI绘画中Stab...
-
AIGC原理：扩散模型diffusion综述一：面向视觉计算的扩散模型研究进展
论文地址：State of the Art on Diffusion Models for Visual Computing 👉 贴一幅SGM（Score-based Generative Model）的原因是宋飏博士将他2019年提出的SMLD模型和20...
-
AIGC、ChatGPT、GPT系列？我的认识
AIGC（AI generated content），新型内容生产方式。AIGC是利用人工智能技术来生成内容，也就是，它可以用输入数据生成相同或不同类型的内容，比如输入文字、生成文字，输入文字、生成图像等。 GPT-3是生成型的预训练变换模型，是...
-
视觉Mamba来了：速度提升2.8倍，内存能省87%
号称「全面包围 Transformer」的 Mamba，推出不到两个月就有了高性能的视觉版。 本周四，来自华中科技大学、地平线、智源人工智能研究院等机构的研究者提出了 Vision Mamba（Vim）。 论文地址：https://arxiv.or...
-
ICLR'24无图新思路！LaneSegNet：基于车道分段感知的地图学习
写在前面&笔者的个人理解 地图作为自动驾驶系统下游应用的关键信息，通常以车道或中心线表示。然而，现有的地图学习文献主要集中在检测基于几何的车道或感知中心线的拓扑关系。这两种方法都忽略了车道线与中心线的内在关系，即车道线绑定中心线。虽然在一个模型中...
-
WidthFormer：实时自动驾驶！助力基于Transformer的BEV方案量产
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&行业理解 基于BEV的transformer方案今年量产的主要方案，transformer结构和CNN相比，特征提取能力更强，但需要较多的算力，这也是为什么许多车上都是1~2颗orin...
-
常见大模型对比[ChatGPT（智能聊天机器人）、Newbing(必应)、Bard（巴德）、讯飞星火认知大模型（SparkDesk）、ChatGLM-6B]
目录 1 引言 2 选取常见的大模型作为对比项 2.1什么是大模型 2.2 常见大模型 3 相关的大模型介绍和功能 3.1 ChatGPT 3.1.1 ChatGPT的介绍 3.1.2 ChatGPT的原理 3.1.3 ChatGPT的特...
-
免费商用 Meta 发布开源大语言模型 Llama 2
Meta 和微软深度合作，正式推出下一代开源大语言模型 Llama 2，并宣布免费提供给研究和商业使用。 Llama 2 论文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models 据介...
-
AIGC学习笔记（1）——AI大模型提示词工程师
文章目录 AI大模型提示词工程师 1 Prompt工程之原理 1.1 AIGC的发展和产业前景 前言 AIGC时代的到来 发展趋势和应用展望 1.2 大模型的类型和特点 大模型的对比 上手 特点 1.3 大模型技术原理和发展 成语...
-
AIGC系列之：ControlNet原理及论文解读
《Adding Conditional Control to Text-to-Image Diffusion Models》 目录 1.背景介绍 2.原理详解 2.1 Controlnet 2.2 用于Stable Diffusion的Contr...
-
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加...
-
DiffIR: Efficient Diffusion Model for Image Restoration 利用扩散模型进行图像重建
一、主要贡献 •我们提出了DiffIR，一种强大、简单、高效的基于扩散模型的的图像修复方法。与图像生成不同的是，输入图像的大部分像素都是给定的。因此，我们利用DM强大的映射能力来估计一个紧凑的IPR（IR Prior Representation，图像修...
-
一文读懂大型语言模型参数高效微调：Prefix Tuning与LLaMA-Adapter
芝士AI吃鱼 在快速发展的人工智能领域中，高效、有效地使用大型语言模型变得日益重要，参数高效微调是这一追求的前沿技术，它允许研究人员和实践者在最小化计算和资源占用的同时，重复使用预训练模型。这还使我们能够在更广泛的硬件范围内训练...
-
【AIGC】Controlnet:基于扩散模型的文生图的可控性
前言 controlnet可以让stable diffusion的生图变得可控。 文章连接：https://arxiv.org/pdf/2302.05543.pdf 摘要 冻结了stable diffusion的预训练模型并重用它的预训练...
-
【AIGC】IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型
前言 IPAdapter能够通过图像给Stable Diffusion模型以内容提示，让其生成参考该图像画风，可以免去Lora的训练，达到参考画风人物的生成效果。 摘要 通过文本提示词生成的图像，往往需要设置复杂的提示...
-
【生成模型】Stable Diffusion原理+代码
文章目录 前言 一、Latent space 二、AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE： 三、Diffusion扩散模型 1.前向过程 2.逆向过程 四、多模态 cross attention 五...
-
互联网新时代要来了（二）什么是AIGC？
什么是AIGC？ 最近，又火了一个词“**AIGC”**2022年被称为是AIGC元年。那么我们敬请期待，AIGC为我们迎接人工智能的下一个时代。 TIPS:内容来自百度百科、知乎、腾讯、《AIGC白皮书》等网页 什么是AIGC？ 1...
-
元象开源大模型XVERSE-Long-256K 支持输入25万汉字
元象发布了全球首个上下文窗口长度为256K 的开源大模型 XVERSE-Long-256K，支持输入25万汉字，无条件免费商用。 该模型填补了开源生态空白，与元象之前的大模型组成了高性能全家桶。XVERSE-Long-256K 在评测中表现出色，超越了其他...
-
广义人工智能时代：通往通用人工智能（AGI）之路
人工智能(AI 将于2024年进一步改进，大型语言模型有望进一步发展。 2023年对于人工智能和生成式人工智能来说是激动人心的一年，特别是那些采用大型语言模型(LLM 架构的人工智能，比如来自开放人工智能(GPT 4 、Anthropic(Claud...
-
AI：你总要高清视频，它来了
Magnific 图像超分 & 增强工具还正在火热体验中，它强大的图像升频与再创能力收获一致好评。现在，视频领域也有了自己的 Magnific。 拍摄的街道视频一片模糊，仿佛高度近视没戴眼镜一样： 与之相比，下面的视频清晰度高了很多： 视频画...
-
RoboFusion：通过SAM实现稳健的多模态3D检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.03907.pdf 多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而，尽管在干净的基准数据集上实现了最先进的（SOTA）性能，...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
即插即用，完美兼容：SD社区的图生视频插件I2V-Adapter来了
图像到视频生成（I2V）任务旨在将静态图像转化为动态视频，这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息，同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一...
-
【计算机视觉 | 目标检测】术语理解9：AIGC的理解，对比学习，解码器，Mask解码器，耦合蒸馏，半耦合，图像编码器和组合解码器的耦合优化
文章目录 一、AIGC的理解 二、对比学习 三、解码器 四、Mask解码器 五、耦合蒸馏 六、半耦合 七、图像编码器和组合解码器的耦合优化 一、AIGC的理解 AIGC指的是使用人工智能技术自动生成的各类数字内容,包括文本、图像、...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分： 主要分为一下几块 多模态信息压缩模型（clip、vit、swiT） 生成模型（vae、gan、flow、ddpm、sde... 其它多模态大模型（语音...
-
打破信息差！一款让人惊艳的大模型3D可视化工具！
近日，一位来自新西兰的小哥Brendan Bycroft在技术圈掀起了一股热潮。他创作的一项名为大模型3D可视化的项目，不仅登上了Hacker News的榜首，而且其震撼的效果更是让人瞠目结舌。通过这个项目，你将在短短几秒钟内完全理解LLM（Large...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
简单易懂Stable Diffusion运行原理 都直接喂到你嘴里了 还不快点接着
**Stable Diffusion无疑是最近最火的AI绘画工具之一，所以本期给大家带来了全新Stable Diffusion 保姆级教程资料包（文末可获取）一 背景介绍 AI 绘画作为 AIGC（人工智能创作内容）的一个应用方向，它绝对是 2022 年以...
-
Colossal-AI团队开源了SwiftInfer 大模型无限流式输入推理飙升46%
近日，国产开源项目SwiftInfer实现了无限流式输入推理，成功提升了大模型推理性能46%。这是一个重大突破，可以为多轮对话场景提供高效可靠的落地方案。 它采用了attention sink注意力机制、窗口注意力优化、KV Cache机制优化等方法，Sw...
-
四行代码让大模型上下文暴增3倍，羊驼Mistral都适用
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍! 而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。 有了这项技术，大模型（LargeLM）就能摇身一变，成为LongLM。 近日，来自得克萨斯农...
-
AIGC之文本内容生成概述（下）——Transformer
在上一篇文章中，我们一口气介绍了LSTM、Word2Vec、GloVe、ELMo等四种模型的技术发展，以及每种模型的优缺点与应用场景，全文超过一万字，显得冗长且繁杂，在下文部分我们将分开介绍Transformer、BERT、GPT1/GPT2/GPT3/C...