-
DAAM: 解释Stable Diffusion的跨注意力归因图
DAAM: 揭秘Stable Diffusion的内部运作 在人工智能快速发展的今天,各种强大的AI模型层出不穷。其中,Stable Diffusion作为一款优秀的文本到图像生成模型,凭借其出色的效果受到了广泛关注。然而,对于大多数用户来说,Stab...
-
【扩散模型（八）】Stable Diffusion 3 diffusers 源码详解2 - DiT 与 MMDiT 相关代码（下）
系列文章目录 【扩散模型（一）】中介绍了 Stable Diffusion 可以被理解为重建分支（reconstruction branch）和条件分支（condition branch） 【扩散模型（二）】IP-Adapter 从条件分支的视角，快...
-
Stable Diffusion 3「精神续作」FLUX.1 源码深度前瞻解读
前言 前几个月，推出了著名文生图模型 Stable Diffusion 的 Stability AI 公司曝出了核心团队集体离职的消息。一时间，AI 从业者们议论纷纷，不知道这究竟是团队出现了矛盾，还是这些员工觉得文生图模型做下去没有前途了。而近期，该...
-
小白学大模型：LLaMA-Factory 介绍与使用
最近这一两周看到不少互联网公司都已经开始秋招提前批了。 不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。 最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。...
-
【AI绘画】Midjourney进阶：景别详解
博客主页： [小ᶻZ࿆] 本文专栏: AI绘画 | Midjourney 文章目录 ?前言 ?为什么要学习景别 景别的作用 景别在Midjourney中的应用实例 ?大景别 ?远景 特点 提示词书写技巧...
-
探索和构建 LLaMA 3 架构：深入探究组件、编码和推理技术
Meta 正在加大在人工智能 (AI 竞赛中的力度，推出了新的开源 AI 模型 Llama 3 以及新版 Meta AI。这款虚拟助手由 Llama 3 提供支持，现已在所有 Meta 平台上可用。 以下是您需要了解的有关 Meta 最新大型语言模...
-
Llama开源代码详细解读（2）
FlashAttention if is_flash_attn_available( : # 检查flashattention的可用性 from flash_attn import flash_attn_func, flash_attn_var...
-
AI写作|用这段提示词写出了1500字的公众号爆款文章 效率翻倍
打工人用 AI，绝大多数人都忽略了至关重要的一点：结构化指令词。 在如今这个时代，大家都心知肚明 AI 具备写作的能力，可据我所知，很多人即便知道，也用不好AI。 为啥呢？因为 AI 也需要一些特殊的“魔法加持”，才能够发挥出它最大的价值。 如...
-
推荐项目：Honest LLaMA——追求真相的大型语言模型干预技术
推荐项目：Honest LLaMA——追求真相的大型语言模型干预技术 honest_llamaInference-Time Intervention: Eliciting Truthful Answers from a Language Model项目...
-
一文彻底搞懂大模型 - GPT和LlaMA的模型架构
GPT vs LlaMA GPT与LlaMA，作为大语言模型的两大巨擘，均基于Transformer架构却各有千秋。GPT系列以强大的生成能力著称，通过不断增大的参数规模引领复杂语言与推理任务的前沿；而Llama则以开源姿态，通过技术创新提升模型性能，预...
-
【AIGC】因果注意力（Causal Attention）原理及其代码实现
概述 因果注意力（Causal Attention）是一种自注意力机制，广泛应用于自回归模型中，尤其是在自然语言处理和时间序列预测等任务中。它的核心思想是在生成每个时间步的输出时，只关注当前时间步及之前的时间步，确保生成过程的因果性，从而避免模型在预测...
-
【AI绘画】Midjourney光影控制详解
博客主页： [小ᶻZ࿆] 本文专栏: AI绘画 | Midjourney 文章目录 ?前言 ?为什么要学习光影控制 光影控制的作用 ?强化主题 hard lighting（硬光 ） soft lighting（...
-
【大模型】llama系列模型基础
前言：llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。 目录 1. llama 1.1 整体结构 1.2 RoPE 1...
-
GPT-4o不会数r，被外国小哥原地逼疯！ 谷歌论文揭秘Transformer「数不到n」
提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯!相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间，来存储...
-
ACL 2024 | CoCA：自注意力的缺陷与改进
近年来，在大语言模型（LLM）的反复刷屏过程中，作为其内核的 Transformer 始终是绝对的主角。然而，随着业务落地的诉求逐渐强烈，有些原本不被过多关注的特性，也开始成为焦点。例如：在 Transformer 诞生之初，被视为天然具备的长度外推能力，...
-
【AIGC从零开始】AIGC小白学习心得第二讲：3D生成模型
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、Stable Video 3D（sv3d） 二、TripoSR 三、LRM系列 1.LRM 2.GS-LRM 3.OpenLRM 四、CRM 五...
-
【英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强】
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 最近，英伟达研究表明，结构化权重剪枝与知识蒸馏相结...
-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
Llama-factory的yaml配置参数--学习记录
最近llama-factory的配置参数有很多不懂的地方，整理了一些但也有可能有错，仅供大家参考。 # 可选参数 # 模型和适配器相关 --adapter_name_or_path # 描述: 适配器的名称或路径。 --adapter_folder...
-
stable Diffusion 网页用户界面 github
稳定的 Diffusion 网页用户界面 使用 Gradio 库实现的稳定扩散的 Web 界面。 特征 带有图片的详细功能展示： 原始的 txt2img 和 img2img 模式 一键安装并运行脚本（但您仍然必须安装 pyth...
-
使用PyTorch从零构建Llama 3
我们上次发了用PyTorch从零开始编写DeepSeek-V2的文章后，有小伙伴留言说希望介绍一下Llama 3。那么今天他就来了，本文将详细指导如何从零开始构建完整的Llama 3模型架构，并在自定义数据集上执行训练和推理。 [图1]：Llama...
-
如何在复杂对话中准确识别每位说话人的声音？OpenAI Whisper系统带来新突破，尽管在面对重叠声音时仍需进一步优化。
在复杂对话中准确识别每位说话人的声音是一个挑战，尤其是在面对重叠声音的情况下。OpenAI的Whisper系统虽然在自动语音识别（ASR）方面取得了显著进展，但在处理重叠声音时仍需进一步优化。 Whisper系统通过利用大规模预训练模型和弱监督学习来提取...
-
Llama中的曼巴：通过推测解码加速推理
大型语言模型（LLMs）已经彻底改变了自然语言处理领域，但在处理非常长的序列时面临重大挑战。主要问题来自于Transformer架构的计算复杂度随序列长度呈二次方增长以及其巨大的键值（KV）缓存需求。这些限制严重影响了模型的效率，特别是在推理过程中，使生成...
-
LongLLaMA：扩展上下文处理能力的大型语言模型
LongLLaMA：扩展上下文处理能力的大型语言模型 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on Ope...
-
全网最全，保姆级Stable Diffusion系列入门使用教程（图生图、LoRA、提示词权重），建议收藏！
大家好，我是画画的小强 今天将给大家讲解 Stable Diffusion 入门使用教程的 图生图、LoRA和提示词权重的教程，如果你还没有使用或者安装SD，那么可以看看我的往期入门教程AI绘画『Stable Diffusion』面向小白的免费AI绘画工...
-
DIFFUSION 系列笔记| Latent Diffusion Model、Stable Diffusion基础概念、数学原理、代码分析、案例展示
目录 Latent Diffusion Model LDM 主要思想 LDM使用示例 LDM Pipeline LDM 中的 UNET 准备时间步 time steps 预处理阶段 pre-process 下采样过程 down sampl...
-
普通人如何零基础进入AIGC大模型人形机器人赛道，自学攻略，应用转化项目案例
要进入人形机器人赛道，普通人需要了解和掌握一系列的技能和知识，包括机器人设计、编程、电子工程、机械工程以及团队合作和项目管理。以下是一个详细的指南，帮助你从零基础开始，逐步进入这个充满挑战和机遇的领域。 基础教育和技能培养 进入人形机器人领域，基础...
-
Stable-Diffusion1.5
SD1.5权重：https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main SDXL权重：https://huggingface.co/stabilityai/stable-diffus...
-
AIGC从入门到实战：AIGC 在传媒行业的创新场景—人机协同创作，推动传媒向智媒转变
AIGC从入门到实战：AIGC 在传媒行业的创新场景—人机协同创作，推动传媒向智媒转变 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 人工智能生成内容（AIGC）、传媒行业...
-
一文看懂llama2(原理&模型&训练）
一文看懂Llama2（原理&模型&训练） 一、引言 Llama2是Meta（原Facebook AI）最新开源的大型语言模型，它基于Transformer架构进行了多项优化和改进，旨在提供更高效、更准确的自然语言处理能力。Llama2...
-
AIGC-视频生成-AnimateDiff-基于T2I模型的动态生成论文详细解读
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 代码:https://github.com/guoyww/a...
-
论文分析｜高效长文本生成的技术与应用
Preface 前言 目前大模型公司很多在追求长文a本， 对算力需求极大，如何能够现实地处理该问题很重要。特别是随着Transformer模型尺寸和复杂性的增长，它们在训练期间的内存需求呈指数级增加。 语言模型训练的瓶颈在于显存占用非常大，这需要创...
-
ViT篇外：NVIDIA Llama-3.1-Minitron 4B
相关阅读： ViT：3 Compact Architecture MobileLLM：“苗条”的模型比较好！ 大家也许会很好奇为什么在ViT章节插入了NVIDIA Llama-3.1-Minitron 4B，ViT因为应用场景的特殊性所以都寄...
-
VAD-LLaMA：基于大语言模型的视频异常检测和解释（Video Anomaly Detection and Explanation via Large Language Models）
文章目录 问题 方法 整体架构 VE and Feature Extraction Long-Term Context (LTC Module Feature Adaptor LLaMA 训练 流程图 第一阶段：训练VADor 第二阶段...
-
AIGC大模型实践总结（非常详细）零基础入门到精通，收藏这一篇就够了
大模型浪潮席卷全球，在各行各业中的重要性愈发凸显，呈现出一股不可逆转的发展趋势。这一年本人所在业产技也在这一过程中持续探索和尝试AIGC。本文一方面是对AIGC实践的总结回顾，同时也是本人学习实践AIGC过程中一些笔记、心得分享。因个人能力限制，文章中可能...
-
LORA模型在Stable Diffusion中的注意力机制优化
LORA模型在Stable Diffusion中的注意力机制优化 引言 1.1 Stable Diffusion在生成模型领域的地位和作用 1.2 介绍LORA模型及其在微调预训练模型时的效率和灵活性 1.3 强调注意力机制在LORA模型优化...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
关掉MidJourney！ AI绘画Stable Diffusion开源模型新王 FLUX.1整合包来了！
各位小伙伴们，今天我要给大家带来一个超级重磅的消息！Stable Diffusion的创始团队又双叒叕搞事情了，推出了一个全新的开源AI图像生成模型——FLUX.1！这不仅是一个技术上的突破，更是为创意工作者们带来了无限的可能性。话不多说，赶紧来看看吧！...
-
一文看懂llama2 (原理&模型&训练)
LLaMA2是一种基于Transformer架构的先进语言模型，广泛应用于自然语言处理（NLP）任务，如文本生成、机器翻译和问答系统等。本文将从其核心原理、模型结构以及训练方法三个方面进行详细探讨。 一、核心原理 LLaMA2的核心原理是基于自注意力机...
-
3秒让AI变乖，生成风险图片减少30%！复旦新研究拿下扩散模型概念移除新SOTA｜ECCV 2024
让AI绘画模型变“乖”，现在仅需3秒调整模型参数。 效果be like:生成的风险图片比以往最佳方法减少30%! 像这样，在充分移除梵高绘画风格的同时，对非目标艺术风格几乎没有影响。 在移除裸露内容上，效果达到“只穿衣服，不改结构”。 这就是复旦大学提...
-
不同类型游戏安全风险对抗概览（下）| FPS以及小游戏等外挂问题，一文读懂！
FPS 游戏安全问题 由于射击类游戏本身需要大量数值计算，游戏方会将部分计算存放于本地客户端，而这为外挂攻击者提供了攻击的温床。可以说，射击类游戏是所有游戏中被外挂攻击最为频繁的游戏类型。 根据网易易盾游戏安全部门检测数据显示，FPS 游戏网易...
-
CVPR2024|Diffusion模型轻量化与计算效率优化
前言 做算法应该都有顶会梦吧，发不了顶会只能刷一刷顶会了哈哈，向顶会大佬学习 扩散模型的训练和推理都需要巨大的计算成本（显卡不足做DDPM的下游任务实在是太难受了），所以本文整理汇总了部分CVPR2024中关于扩散模型的轻量化与计算效率优化 的相关论文...
-
AI风险管理新利器：SAIF CHECK利用Meta Llama 3保障合规与安全
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
大模型算法必学，万字长文Llama-1到Llama-3详细拆解
导读 Llama系列的大语言模型在多个自然语言处理任务中表现出色，包括文本分类、情感分析和生成式问答，本质是使用 Transformer 架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3，值得读者点赞收藏！ 引言 在AI领域...
-
语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场
【新智元导读】就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了! Transformer...
-
Llama改进之——分组查询注意力
引言 今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA 1。 Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。多查询注意力2通过共享单个key和value头，同...
-
通过剪枝与知识蒸馏优化大型语言模型：NVIDIA在Llama 3.1模型上的实践与创新
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
非Transformer时代到来！全新无注意力模式超越Llama传奇
来源 | 机器之心 ID | almosthuman2014 Mamba 架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。 此后，采用 Mamba 架构的模型...
-
如何高效微调多模态Transformers模型：从入门到实践指南
多模态大模型（Multimodal Large Models）是能够处理多种类型数据（如文本、图像、音频等）的机器学习模型。transformers 是当前多模态大模型中的一种重要架构。 目录 Transformers简介 多模态Transforme...
-
【多模态大模型】LLaMA in arXiv 2023
一、引言 论文： LLaMA: Open and Efficient Foundation Language Models作者： Meta AI代码： LLaMA特点： 该方法在Transformer的基础上增加了Pre-normalization (...