-
Datawhale X 魔搭 第四期 AIGC文生图方向-Task03笔记
Hello，各位小伙伴们，继上一次我们精读并跑通了baseline2后，我们对AIGC文生图方向又有了更进一步的了解。今天呢我们实现AIGC方向的进阶上分，还在犹豫什么，还不快快行动起来~ 好，话不多说，今天我们就来聊聊ComfyUI和Lora微调吧~...
-
AI绘画：从零开始教你玩转ComfyUI-保姆级部署教程-手把手带你ComfyUI工作流搭建！
前言 第一节：认识ComfyUI并安装 本教程专为初学者设计，详细介绍了 2024 年最新版的SD ComfyUI的使用方法。通过逐步指导，让你无需任何基础，快速学会并使用这一强大的AI绘图工具。 1、什么是comfyui ComfyUI就像...
-
CoralStyleCLIP（图像编辑的协同优化区域）个人理解
一、CoralStyleCLIP介绍 论文：CoralStyleCLIP: Co-optimized Region and Layer Selection for Image Editing 论文内容：本文提出了CoralStyleCLIP，它在Sty...
-
【扩散模型（六）】Stable Diffusion 3 diffusers 源码详解1-推理代码-文本处理部分
系列文章目录 【扩散模型（一）】中介绍了 Stable Diffusion 可以被理解为重建分支（reconstruction branch）和条件分支（condition branch） 【扩散模型（二）】IP-Adapter 从条件分支的视角，快...
-
Datawhale X 魔搭 AI夏令营第四期AIGC方向笔记task3
part1：工具初探一ComfyUI应用场景探索 初识ComfyUI 什么是ComfyUI GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的...
-
从零开始快速使用comfyUI进行文生图或者图生视频制作
前言 今天花时间试了试怎么用 ComfyUI，今天晚上就来介绍一下，怎么简单使用。 上面是用 comfyUI 生成的视频。 安装 首先进行安装。 在 github 上搜索 comfyUI，第一个就是，点进去然后点击左侧 Release...
-
Datawhale AI夏令营第四期AIGC-3进阶上分-实战优化
Task3学习链接 Datawhale (linklearner.com 1. ComfyUI的安装与使用 ComfyUI 是GUI"Graphical User Interface"（图形用户界面）的一种，是基于节点工作的用户界面，主要用于操作图...
-
ECCV2024 | 小成本微调CLIP大模型！CLAP开源来袭：零样本和少样本训练有救了！
论文链接：https://arxiv.org/pdf/2311.16445 代码链接：https://github.com/YichaoCai1/CLAP 亮点直击 解耦潜在内容和风格因素：本文提出了一种通过对比学习和数据增强，从因果角度微...
-
Datawhale X 魔搭 AI夏令营 AIGC人物风格赛
工具初探一ComfyUI应用场景探索 什么是ComfyUI GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI 是GU...
-
Datawhale X 魔搭 AI夏令营 第四期 AIGC task3
part 1：认识comfyUI 1.初识ComfyUI 1.1什么是Comfy UI GUI是"Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。...
-
3秒让AI变乖，生成风险图片减少30%！复旦新研究拿下扩散模型概念移除新SOTA｜ECCV 2024
让AI绘画模型变“乖”，现在仅需3秒调整模型参数。 效果be like:生成的风险图片比以往最佳方法减少30%! 像这样，在充分移除梵高绘画风格的同时，对非目标艺术风格几乎没有影响。 在移除裸露内容上，效果达到“只穿衣服，不改结构”。 这就是复旦大学提...
-
图像检索在ImageNet分类任务中的优势：超越扩散模型生成图像
🔍在之前AIGC助力ResNet分类任务：跃升10个百分点-CSDN博客文章中，提到使用Textual Inversion对COCO、PascalVOC、少样本数据集进行数据增强，再进行分类任务，精度上升。 📕而今天要聊到的这篇论文更全面地探究了扩散模型...
-
Datawhale AI 夏令营 “AIGC”方向 Task1：从零入门AI生图原理&实践
Task1：从零入门AI生图原理&实践 提示：本文为对平台文档的解读注释和补充 Task1：从零入门AI生图原理&实践 Task1：从零入门AI生图原理&实践 文生图 LoRA 提示词 模型参数解读和测试...
-
AI绘画大模型-StableDiffusion最强模型sd3（本地安装方法）
前言/introduction Stable Diffusion 3（简称SD3）是Stability AI最新推出的文本到图像生成模型。相比前代模型，SD3在生成质量、细节表现以及运行效率上有了显著提升，尤其在细腻的图像渲染和复杂...
-
Stable Diffusion WebUI 1.10.0来了
大家好，我是每天分享AI应用的萤火君！ 前几天 AUTOMATIC1111 发布了Stable Diffusion WebUI 1.10，我也在第一时间将云环境的镜像升级到了最新版本，有兴趣的同学可以去体验下，目前已经发布到了AutoDL，镜像地址：...
-
Datawhale AI夏令营第四期魔搭- AIGC方向 task02笔记
大纲 一、前言 二、代码块解读 2.1 依赖包安装 2.2 数据集下载 2.3 metadata.jsonl文件生成（图片及对应标签） 2.4 设置data-juicer 配置文件并执行，处理metadata.jsonl文件生成result....
-
【论文+中文文生图】Kolors：快手可图绘画模型实测（24.07.06开源）
代码：https://github.com/Kwai-Kolors/Kolors | 权重 论文原文：Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Imag...
-
Stable Diffusion是什么？
目录 一、Stable Diffusion是什么？ 二、Stable Diffusion的基本原理 三、Stable Diffusion有哪些运用领域？ 一、Stable Diffusion是什么？ Stable Diff...
-
Datawhale X 魔搭 AI夏令营 “AIGC”方向 task1
一、任务要求 task1 的任务和上一期的类似，都是跑通给出的代码即可，没有太大难度。 具体要求是训练 Lora 模型，实现文生图，额外的要求是8张图片必须组成一个连贯的故事，需要一定的“写小作文”能力。 二、代码解析 下载数据集 这一步不用分析...
-
2024年最新ComfyUI汉化及manager插件安装详解！
前言 在ComfyUI文生图详解中，学习过如果想要安装相应的模型，需要到模型资源网站（抱抱脸、C站、魔塔、哩布等）下载想要的模型，手动安装到ComfyUI安装目录下对应的目录中。 为了简化这个流程，我们需要安装ComfyUI-manager插件，通过这...
-
【SD3】发布，送你3个ComfyUI工作流，轻松搞定AI绘画
这几天AI绘画界最轰动的消息莫过于Stable Diffusion 3（简称SD3）的发布。SD3是一个多模态的 Diffusion Transformer 模型，其在图像质量、排版、复杂提示理解和资源效率方面具有显著提升。 废话不多说，先给大家看看我使...
-
AI绘画 FLUX模型震撼发布：SD创始团队黑马出手，直出完美手指，23G迄今最大开源文生图模型，超越Midjourney_V6！
大家好，我是程序员晓晓 8月1号，由AI绘画Stable Diffusion 创始团队开发的FLUX模型全网震撼发布，引发了AI绘画行业的全体狂欢，这也是目前真正超越Midjourney & DALL-E 的，能够支持中文提示词的，拥有23G大小...
-
ComfyUI基础篇：Stable Diffusion 基础原理详述
前言 个人认为学习 ComfyUI 应该先从理论学起。 与传统绘图工具（如 Photoshop 或 Figma）相比，AI 绘图工具有着显著不同。首先，许多设置和操作在 AI 绘图工具中是非可视化的，这意味着即使你更改了某个配置，界面上也未必会有任何变...
-
AI绘画；（Stable Diffusion进阶篇：模型训练）
前言 在上一篇笔记中学习了解了一部分关于Stable Diffusion的运行原理，今天就来接着学习下Stable Diffusion关于微调训练方面的知识点。 今天没多少废话，因为我下午要去玩PTCG！让我们冲冲冲 整理和输出教程属实不易，觉得这...
-
超详细高质量图解 Stable Diffusion
最近有一篇国外博主分享的 图解Stable Diffusion 博客 写的非常的好，让你从零开始彻底搞懂图像生成模型的原理，我在这里给大家专业翻译整理一下。 正文开始 人工智能图像生成是最新的人工智能功能，令人惊叹不已（包括我的）。从文本描述中创造出...
-
AIGC助力ResNet分类任务：跃升10个百分点
目录 AIGC🎨缓解数据稀缺问题❓ 论文研究的动机✏️ 作者是怎么做的❓ 实验配置🧰 实验结果🔍 结论✅ 实践💐 要增强的裂缝图片 按照论文中的参数在stable-diffusionv1-5上进行textual inversion微调...
-
Stable Diffusion系列（六）：原理剖析——从文字到图片的神奇魔法（潜空间篇）
文章目录 LDM 概述 原理 模型架构 自编码器模型 扩散模型 条件引导模型 图像生成过程 实验结果 指标定义 IS（越大越好） FID（越小越好） 训练成本与采样质量分析 不带条件的图片生成 基于文本的图片生成 基于语义框的图片生...
-
天才程序员周弈帆 | Stable Diffusion 解读（三）：原版实现源码解读(篇幅略长，建议收藏！)
本文来源公众号“天才程序员周弈帆”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 解读（三）：原版实现源码解读 天才程序员周弈帆 | Stable Diffusion 解读（一）：回顾早期工作-CSDN博客 天才程序...
-
【AI绘画教程】Stable Diffusion 1.5 vs 2
在本文中，我们将总结稳定扩散 1 与稳定扩散 2 辩论中的所有要点。我们将在第一部分中查看这些差异存在的实际原因，但如果您想直接了解实际差异，您可以跳下否定提示部分。让我们开始吧！ Stable Diffusion 2.1 发布与1.5相比，2.1旨...
-
AIGC背后的技术基石：自然语言处理与机器学习
目录 AIGC背后的技术基石：自然语言处理与机器学习 自然语言处理（NLP） 机器学习 AIGC的应用 AIGC背后的技术基石：自然语言处理与机器学习 自然语言处理（NLP）和机器学习是构建AI教学工具"风变科技"中的语言模型所依赖的重要...
-
Stable Diffusion 3 论文及源码概览
天才程序员周弈帆 2024年07月13日 23:30 近期，最受开源社区欢迎的文生图模型 Stable Diffusion 的最新版本 Stable Diffusion 3 开放了源码和模型参数。开发者宣称，Stable Diffusion 3 使用了...
-
Stable Diffusion模型越大越好吗？快来拯救你的内存和磁盘
如果你经常使用 Stable Diffusion 绘图，是否注意到很多大模型文件的大小各有不同，有2G的、4G的、还有8G的，这些模型占用了大量的磁盘空间，特别是租用云服务器的有限免费空间；有些模型的作者或者使用者会说模型文件越大越好，越大出图越精细，真的...
-
AI绘画：多种XP一次满足（Stable Diffusion进阶篇：模型训练）
前言 今天，是一个比较特殊的日子。 从我开始学习AI绘画开始到现在AI工具相关的笔记我已经写了50篇了，其中估摸着得近40篇都是关于Stable Diffusion的。 在这一天天的学习中我感受到了对知识的疲倦，是时候给自己来点奖励了！ 所以...
-
Stable Diffusion模型训练 — Embeddings（附Demo）
文本反演 提到文本反演你可能会比较陌生，但它产出的模型类型Embeddings（词嵌入）一定是你出图过程里经常会使用到的，它是一种轻量、小巧的微调模型格式，文件名后缀一般为.pt（或.safetensor），每个Embeddings文件的大小在几KB到几...
-
AI绘画工作流ComfyUI 入门教程！开始玩之前，一定要把这些插件都装上
“ 这是一套 0 基础入门的AI绘画系列课程，不需要任何基础！涉及全面：环境搭建、基础篇、进阶篇、应用篇、模型篇以及行业解决方案篇 课程制作不易，爱学习的你一定不要忘了订阅关注哦~~ ” 在第一节中我们已经安装并启动 ComfyUI 运行一个...
-
国产AI大模型Kolors：ComfyUI平台部署指南
在AI技术的浪潮中，快手公司推出的文生图大模型——Kolors，以其卓越的性能和开源精神，成为国产AI技术的一颗璀璨新星。Kolors不仅在图像生成效果上超越了现有的开源模型，更达到了与商业闭源模型相媲美的水平，迅速在社交媒体上引发热议。 Kolors的...
-
万字长文破解 AI 图片生成算法-Stable diffusion (第一篇）
想象一下：你闭上眼睛，脑海中构思一个场景，用简短的语言描述出来，然后“啪”的一声，一张栩栩如生的图片就出现在你眼前。这不再是科幻小说里才有的情节，而是Stable Diffusion——一种前沿的AI图片生成算法——所带来的现实。在本系列的万字长...
-
Stable Diffusion 3 ComfyUI基础工作流保姆级详解 | 全网最全SD3解析
引言 Stable Diffusion 3 已经发布！就在 6 月 12 日，Stable Diffusion 3 的媒体模型终于开放下载。虽然在 Web UI 上还没有提供体验可以体验的方式，但我们已经可以通过Comfy UI来尝试最新的 Stable...
-
【AI绘画】ComfyUI相见恨晚的提示词插件，简直堪称神器！
大家好我是极客菌！之前我曾介绍过一款专为SD设计的中文提示词插件——prompt-all-in-one，想必使用过的小伙伴们都已经感受到了它的便捷与实用吧。 不过，那款插件是基于webUI版本的，而现在，越来越多的朋友开始探索ComfyUI这一新选择。...
-
[AI里程碑]StableDiffusion3今日开源 | 首个开源超越Midjourney
⚡[AI里程碑]StableDiffusion3今日开源 | 首个开源超越Midjourney 2024年6月12日，Stable Diffusion 3 Medium的开源代表了生成式 AI 发展的一个重要里程碑。 StableDiffu...
-
Stable Diffusion 3 开源发布可下载体验
本文来自huggingface翻译 Stable Diffusion 3 Medium是一种多模态扩散变换器 (MMDiT 文本到图像模型，其在图像质量、排版、复杂提示理解和资源效率方面的性能有极大提升。 有关更多技术细节，请参阅研究论文。 请注意：此...
-
【AI原理解析】— 文心一言模型
目录 模型架构 Transformer模型 编码器-解码器结构 训练过程 预训练 微调 关键技术 知识增强 上下文感知 个性化生成 推理与生成 应用场景 问答系统 文本生成 对话系统 模型架构 Trans...
-
开源之光 Stable Diffusion 3 技术论文全解：公式占一半，实验很充分！
文章链接：https://arxiv.org/pdf/2403.03206 扩散模型通过反转数据到噪声的正向路径来从噪声中创建数据，并已成为处理高维感知数据（如图像和视频）的强大生成建模技术。Rectified flow是一种最近提出的生成模型形式，它将...
-
欢迎 Stable Diffusion 3 加入 Diffusers
作为 Stability AI 的 Stable Diffusion 家族最新的模型，Stable Diffusion 3(SD3 现已登陆 Hugging Face Hub，并且可用在 🧨 Diffusers 中使用了。 Stable Dif...
-
AIGC-CVPR2024best paper-Rich Human Feedback for Text-to-Image Generation-论文精读
Rich Human Feedback for Text-to-Image Generation斩获CVPR2024最佳论文！受大模型中的RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型。这项研究来自UCSD、谷歌等。 在...
-
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG 的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而，寻找或训练这样的嵌入模型往往是一项困难的任务，因为领域内的数据通常是稀缺的。 但...
-
【末文附资料】Stable Diffusion详解图解！零基础速看！！
Stable Diffusion详解图解 1. Stable Diffusion介绍 1.1 研究背景 1.2 学术名词 2.Stable Diffusion原理解析 2.1 技术架构 2.2 原理介绍...
-
深度测评：SD3模型表现如何？实用教程助你玩转Stable Diffusion 3 ，最强SD3模型使用攻略，附ComfyUI实操SD3模型到底如何？StableDiffusion3全面评测！
深度测评：SD3模型表现如何？实用教程助你玩转Stable Diffusion 3 ，最强SD3模型使用攻略，附ComfyUI实操 SD3模型到底如何？StableDiffusion3全面评测！如何使用ComfyUI遍历题词 ｜ 模型？ 大家好...
-
扩散模型实战（十一）：剖析Stable Diffusion Pipeline各个组件
推荐阅读列表： 扩散模型实战（一）：基本原理介绍 扩散模型实战（二）：扩散模型的发展 扩散模型实战（三）：扩散模型的应用 扩散模型实战（四）：从零构建扩散模型 扩散模型实战（五）：采样过程 扩散模型实战（六）：Diffusers DDPM初...
-
政安晨【零基础玩转各类开源AI项目】解析开源：Stable Diffusion 3 论文及用户界面工具 StableSwarmUI
目录 关键成果 性能 结构细节 通过重新配重改善整形流量 比例整形变换模型 灵活的文本编码器 使用模型：StableSwarmUI 开源项目的现状： 政安晨的个人主页：政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: 零基...