-
AI绘图模型不会写字的难题，被阿里AnyText破解了
能准确写汉字的AI绘图工具，终于登场了! 包括中文在内一共支持四种语言，而且还能文字的位置还能任意指定。 从此，人们终于可以和AI绘图模型的“鬼画符”说再见了。 这款名为AnyText的绘图工具来自阿里巴巴，可以按照指定位置精准地向图中加入文字。 此前的绘...
-
Hugging Face使用Stable diffusion Diffusers Transformers Accelerate Pipelines VAE
Diffusers A library that offers an implementation of various diffusion models, including text-to-image models. 提供不同扩散模型的实现的库，代...
-
stable diffusion中的u net
Stable Diffusion 包含几个核心的组件： 一个文本编码器（在 Stable Diffusion 中使用 CLIP 的 ViT-L/14 的文本编码器），用于将用户输入的 Prompt 文本转化成 text embedding； 一个 Im...
-
AI绘画中CLIP文本-图像预训练模型
介绍 OpenAI 在 2021 年提出了 CLIP（Contrastive Language–Image Pretraining）算法，这是一个先进的机器学习模型，旨在理解和解释图像和文本之间的关系。CLIP 的核心思想是通过大规模的图像和文本对进行...
-
击败扩散模型，清华朱军团队基于薛定谔桥的新语音合成系统来了
近日，由清华大学计算机系朱军教授课题组发布的基于薛定谔桥的语音合成系统 [1]，凭借其 「数据到数据」的生成范式，在样本质量和采样速度两方面，均击败了扩散模型的 「噪声到数据」范式。 论文链接：https://arxiv.org/abs/2312.03...
-
快速实现工程化部署，亚马逊云科技为AIGC产品化提供可靠基础
本文将以Stable Diffusion Quick Kit在亚马逊云科技Amazon SageMaker上的部署来介绍Stable Diffusion模型基础知识，HuggingFace Diffusers接口，以及如何使用Quick Kit在SageM...
-
【EMNLP 2023】面向垂直领域的知识预训练语言模型
近日，阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性，发现在垂直领域的图谱结构具有全局稀疏，局部...
-
stable diffusion实践操作-embedding（TEXTUAL INVERSION）
系列文章目录 本文专门开一节写图生图相关的内容，在看之前，可以同步关注：stable diffusion实践操作 文章目录 系列文章目录 前言 1、embeddding的功能 2、如何去下载(https://civitai.com...
-
AI绘画 | stable-diffusion的模型简介和下载使用
前言 我们下载完stable-diffusion-ui后还需要下载需要的大模型，才能进行AI绘画的操作。秋叶的stable-diffusion-ui整合包内，包含了anything-v5-PrtRE.safetensors和Stable Diffusi...
-
最强文生图跨模态大模型：Stable Diffusion
文章目录 一、概述 二、Stable Diffusion v1 & v2 2.1 简介 2.2 LAION-5B数据集 2.3 CLIP条件控制模型 2.4 模型训练 三、Stable Diffusion 发展 3.1 图形界面...
-
AIGC系列之：CLIP和OpenCLIP
目录 模型背景 CLIP模型介绍 相关资料 原理和方法 Image Encoder Text Encoder 对比学习 预训练 Zero Shot预测 优势和劣势 总结 OpenClip模型介绍 相关资料 原理 结果 用法...
-
扩散模型训练太难？来看看Meta AI最新提出的KNN-Diffusion
原文链接：https://www.techbeat.net/article-info?id=4323 作者：seven_ 最近AIGC社区中有趣的工作可谓是层出不穷，这都得益于扩散模型（Diffusion Models）的成功，扩散模型作为生成式AI...
-
关于AIGC的一些概念和应用
一.AIGC的技术特点以及在各个领域的应用 AIGC是指人工智能生成内容（Artificial Intelligence Generated Content）。这是一个基于人工智能技术的应用，它可以通过训练大量的数据，学习人类语言的特征和模式，并生成各种...
-
AIGC专栏4——Stable Diffusion原理解析-inpaint修复图片为例
AIGC专栏4——Stable Diffusion原理解析-inpaint修复图片为例 学习前言 源码下载地址 原理解析 一、先验知识 二、什么是inpaint 三、Stable Diffusion中的inpaint 1、开源的inpain...
-
Ubuntu 本地部署 Stable Diffusion web UI
Ubuntu 本地部署 Stable Diffusion web UI 0. 什么是 Stable Diffusion 1. 什么是 Stable Diffusion web UI 2. Github 地址 3. 安装 Miniconda3 4...
-
你真的看懂扩散模型(diffusion model)了吗？(从DALL·E 2讲起，GAN、VAE、MAE都有)
本文全网原创于CSDN：落难Coder ，未经允许，不得转载！ 扩散模型简单介绍 我们来讲一下什么是扩散模型，如果你不了解一些工作，你可能不清楚它究竟是什么。那么我举两个例子说一下：AI作画（输入一些文字就可以得到与你描述相符的图像）和抖音大火的...
-
使用Stable Diffusion进行Ai+艺术设计(以智慧灯杆为例)
目录 一. 安装环境 二. 配置模型 2.1 stable diffusion v1 2.2 运行并测试生成效果 Stable Diffusion 是一种以 CLIP ViT-L/14 文本编码器的（非池化）文本嵌入为条件的潜在扩散...
-
【多模态】5、BLIP | 统一理解与生成任务 为图像生成更高质量的文本描述
文章目录 一、背景 二、方法 2.1 模型结构 2.2 Pre-training Objectives 2.3 CapFilt 三、效果 3.1 训练细节 3.2 CapFilt 的效果 3.3 样本多样性是文本合成器的关键 3.4 参数...
-
【在线AI绘画平台】哩布AI 在线生成图片、训练Lora、上传AI生成图简易实测
网址 https://www.liblib.ai/ | 在线生成 https://www.liblib.ai/sd 文章目录 一、主页面介绍 1.1首页 [`网址` https://www.liblib.ai/](https://www....
-
使用 LoRA 进行 Stable Diffusion 的高效参数微调
LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3 通常在为了适应其下游任...
-
使用 Diffusers 通过 DreamBooth来训练 Stable Diffusion
邀请参与我们的 DreamBooth 微调编程马拉松活动！ DreamBooth 是一种使用专门的微调形式来训练 Stable Diffusion 的新概念技术。一些人用他仅仅使用很少的他们的照片训练出了一个很棒的照片，有一些人用他去尝试新的风格。?...
-
Stable diffusion 训练lora出现报错
今天使用kohya_ss训练lora时出现三个报错，下面是解决办法。 一： 报错 UnboundLocalError: local variable 'pipe' referenced before assignment...
-
【深度学习】Stable Diffusion AI 绘画项目搭建详解，并运行案例
文章目录 前言 1.安装环境 1.1 基础环境 1.2 权重文件 2.牛刀小试 2.1 用法在这里 3.封装api 总结 前言 先把人家的git放过来：https://github.com/CompVis/stable-dif...
-
文本生成图像工作简述4--扩散模型、自回归模型、生成对抗网络的对比调研
基于近年来图像处理和语言理解方面的技术突破，融合图像和文本处理的多模态任务获得了广泛的关注并取得了显著成功。 文本生成图像（text-to-image）是图像和文本处理的多模态任务的一项子任务，其根据给定文本生成符合描述的真实图像，具有巨大的应用潜力，如...
-
Stable Diffusion部署
Stable Diffusion Stable Diffusion简介 硬件配置 部署 采用秋葉大佬的整合包v4 秋葉大佬B站地址 开始安装 启动器设置 Stable Diffusion安装结束 Stable Diffusi...
-
稳定的音频来了 — 使用人工智能创作音乐（for free）
今天，以稳定扩散（Stable Diffusion）和StableLM等开源AI工具和模型而闻名的Stability AI公司推出了其首个音乐和声音生成AI产品——StableAudio。音乐产业以其难以打入而闻名。即使您拥有才华和动力，您仍然需要创作和...
-
单个A100生成3D图像只需30秒，这是Adobe让文本、图像都动起来的新方法
2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（S...
-
【多模态】3、CLIP | OpenAI 出品使用 4 亿样本训练的图文匹配模型
文章目录 一、背景 二、方法 2.1 使用自然语言来监督训练 2.2 建立一个超大数据集 2.3 选择预训练的方式——对比学习而非预测学习 2.4 模型缩放和选择 三、效果 四、思考 论文：Learning Transferabl...
-
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation.py/tokenizer.py 目录 一、l...
-
基于 huggingface diffuser 库本地部署 Stable diffusion
前言 Stable Diffusion 是用 LAION-5B 的子集（图像大小为512*512）训练的扩散模型。此模型冻结 CLIP 的 ViT-L/14 文本编码器建模 prompt text。模型包含 860M UNet 和123M 文本编码器，...
-
新的生图模型DeepFloyd IF来了，可以拳打Stable Diffusion，脚踢Dall-E？
简介： Stability AI与它的多模式AI研究实验室DeepFloyd共同宣布研究版本DeepFloyd IF的发布,这是一款强大的文text-to-image级联像素扩散模型（cascaded pixel diffusion model），复现了...
-
「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR
多模态对比表示（multi-modal contrastive representation, MCR）的目标是将不同模态的输入编码到一个语义对齐的共享空间中。 随着视觉-语言领域中CLIP模型的巨大成功，更多模态上的对比表征开始涌现出来，并在诸多下游任...
-
SDXL-Stable Diffusion改进版
文章目录 1. 摘要 2. 算法： 2.1 结构： 2.2 微小的条件机制 2.3 多宽高比训练 2.4 改进自编码器 2.5 所有组合放到一起 2.6 主流方案比较 3. 未来工作 4. 限制 论文： 《SDXL: Improv...
-
Stable Diffusion 原理介绍与源码分析（一）
Stable Diffusion 原理介绍与源码分析（一） 文章目录 Stable Diffusion 原理介绍与源码分析（一） 前言（与正文无关，可以忽略） 总览 说明 Stable Diffusion 整体框架 重要论文 重要组成...
-
AIGC：使用bert_vits2实现栩栩如生的个性化语音克隆
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型，...
-
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例
AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例 学习前言 源码下载地址 网络构建 一、什么是Stable Diffusion（SD） 二、Stable Diffusion的组成 三、i...
-
ICLR 2024论文审稿结果出炉！7000+高产论文创新纪录，扩散模型占比最高
ICLR 2024审稿结果公布了！ ICLR是机器学习领域重要的学术会议之一，每年举办一次。2024年是第十二届，将在奥地利维也纳5月7日-11日召开。 根据OpenReview官方放出的结果显示，今年共有7135篇投稿论文。 此外，另有国内开发者魏国...
-
Stable Diffusion+ControlNet+Lora 指导AI+艺术设计的WebUI全流程使用教程
目录 一. 背景知识 1.1 Stable Diffusion背景知识 1.1.1 安装stable-diffusion-webui 1.2 ControlNet 背景知识 二. 使用方法 2.1 环境配置 2.2 运行WebUI 三....
-
NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】
背景 随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chim...
-
LoRa模型训练教程（炼丹，Stable Diffusion）
1. lora介绍（Low Rank Adaption） 何为LoRA？LoRA并不是扩散模型专有的技术，而是从隔壁语言模型（LLM）迁移过来的，旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖，比如最近新出...
-
万字长文：Stable Diffusion 保姆级教程
万字长文：Stable Diffusion 保姆级教程 2022年绝对是人工智能爆发的元年，前有 stability.ai 开源 Stable Diffusion 模型，后有 Open AI 发布 ChatGPT，二者都是里程碑式的节点事件，其重要性不...
-
Stable Diffusion Lora模型训练详细教程
1. 介绍 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好...
-
更高清写实的人体生成模型HyperHuman来了，基于隐式结构扩散，刷新多项SOTA
论文地址: https://arxiv.org/pdf/2310.08579.pdf Github 地址: https://github.com/snap-research/HyperHuman 1. 研究背景与动机 随着扩散模型的兴起，一些典型...
-
港大等发布GraphGPT：1/50微调参数，准确率提升10倍！无需超长token，LLM也能读懂图结构
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。 图神经网络的主要优势在于它们能够捕获图数据中固有的结构信息和依赖关系。利用消息传递和聚合机制，图...
-
让大模型看图比打字管用！NeurIPS 2023新研究提出多模态查询方法，准确率提升7.8%
大模型“识图”能力都这么强了，为啥还老找错东西？ 例如，把长得不太像的蝙蝠和拍子搞混，又或是认不出一些数据集中的稀有鱼类…… 这是因为，我们让大模型“找东西”时，往往输入的是文本。 如果描述有歧义或太偏门，像是“bat”（蝙蝠还是拍子？）或“魔鳉”（Cy...
-
解读OpenAI最强文生图模型—DALL·E 3
Midjourney、Stable Difusion在商业变现和场景化落地方面获得了巨大成功，这让OpenAI看到了全新的商机，也是推出DALL·E3的重要原因之一。 上周，OpenAI宣布在ChatGPT Plus和企业版用户中，全面开放文生图模型DAL...