-
AI绘画：利用ComfyUI进行文生图操作的完整指南
前言 ComfyUI作为一款基于Stable Diffusion的节点式操作界面，为用户提供了一个更加灵活和高效的文生图（文本生成图像）创作环境。本篇博客将详细介绍如何使用ComfyUI进行文生图操作，无论你是初学者还是有一定基础的用户，都能够通过本指南...
-
AIGC实战——多模态模型DALL.E 2
AIGC实战——多模态模型DALL.E 2 0. 前言 1. 模型架构 2. 文本编码器 3. CLIP 4. 先验模型 4.1 自回归先验模型 4.2 扩散先验模型...
-
Ai绘画｜如何安装使用秋叶comfyui整合包，手把手详细教程
B 站的秋叶大佬在 1 月份就已经发布了 comfy ui 的整合包。用户将压缩包下载后，能够一键启动 comfy ui。其便利性与之前的 webui 整合包如出一辙。然而在整合包下载完成后，新手或许会遭遇插件以及模型缺失的情况，同时也不清楚该如何运行工作...
-
识别细胞也能用大模型了！清华系团队出品，已入选ICML 2024 | 开源
大模型带来的生命科学领域突破，刚刚再传新进展。 来自清华系，使用大模型实现了单细胞身份识别，同时模型LangCell也正式对外开源。 它不仅可以准确识别细胞身份，还具有很强的零样本分析能力，论文已被ICML 2024录⽤。 LangCell的数据集中包...
-
腾讯混元文生图大模型宣布开源：首个中文原生DiT架构
今日，腾讯旗下引人注目的混元文生图大模型（混元DiT）宣布全面开源，这一重要举措标志着人工智能领域的又一里程碑。该模型已在Hugging Face和Github平台上发布，包含完整的模型权重、推理代码和算法，面向全球的企业与个人开发者免费开放商用。 腾讯混...
-
DriveWorld：一个预训练模型大幅提升检测+地图+跟踪+运动预测+Occ多个任务性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 以视觉为中心的自动驾驶技术近期因其较低的成本而引起了广泛关注，而预训练对于提取通用表示至关重要。然而，当前的以视觉为中心的预训练通常依赖于2D或3D预训练任务，忽视了自动驾驶作为4D场景理解...
-
AIGC-Stable Diffusion发展及原理总结
目录 一. AIGC介绍 1. 介绍 2. AIGC商业化方向 3. AIGC是技术集合 4. AIGC发展三要素 4.1 数据 4.2 算力 4.3 算法 4.3.1 多模态模型CLIP 4.3.2 图像生成模型 二. Stable...
-
基于全局的图增强的新闻推荐算法
作者 | 汪昊 审校 | 重楼 新闻App 是人们日常生活中获取信息来源的重要方式。在 2010 年左右，国外比较火的新闻 App 包括 Zite 和 Flipboard 等等，而国内比较火的新闻 App 主要是四大门户。而随着今日头条为代表的新时代新闻...
-
什么是stable diffusion？
? Stable Diffusion：一种深度学习文本到图像生成模型 ? Stable Diffusion是2022年发布的深度学习文本到图像生成模型，主要用于根据文本的描述产生详细图像。它还可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产...
-
DALL·E 2（内含扩散模型介绍）【论文精读】Hierarchical Text-ConditionalImage Generation with CLIP Latents
1官方对模型的介绍 大家好，今天我们就一起来看一下两个月之前 OpenAI 刚放出来的一篇力作。DALL·E 2是 OpenAI 一系列文本图像生成工作的最新一篇。去年 1 月份他们先推出了Dolly，然后在年底的时候又推出了glide。...
-
文生图大模型三部曲：DDPM、LDM、SD 详细讲解！
1、引言 跨模态大模型是指能够在不同感官模态(如视觉、语言、音频等 之间进行信息转换的大规模语言模型。当前图文跨模态大模型主要有： 文生图大模型：如 Stable Diffusion系列、DALL-E系列、Imagen等 图文匹配大模型：如CLI...
-
【爬虫实战】使用Python获取花粉俱乐部中Mate60系列的用户发帖数据
?♂️ 个人主页：@艾派森的个人主页 ✍?作者简介：Python学习者 ? 希望大家多多支持，我们一起进步！? 如果文章对你有帮助的话， 欢迎评论 ?点赞?? 收藏 ?加关注+ 目录 一、Python编写爬虫的优势 二、实验过程 2.1...
-
AIGC学习笔记——DALL-E2详解+测试
它主要包括三个部分：CLIP，先验模块prior和img decoder。其中CLIP又包含text encoder和img encoder。（在看DALL·E2之前强烈建议先搞懂CLIP模型的训练和运作机制,之前发过CLIP博客） 论文地址：https...
-
80M参数打平GPT-4！苹果发超强上下文理解模型ReALM，聪明版Siri马上就来
【新智元导读】苹果公司发布了一款参数量仅为80M的最新模型——ReALM，能够将各种形式的上下文转换为文本进行理解，包括解析屏幕、多轮对话以及上下文引用，提升了Siri等智能助手的反应速度和智能程度。 会读心的Siri想不想要? 今天，苹果发布了自家的最新...
-
苹果AI放大招？新设备端模型超过GPT-4，有望拯救Siri
在最近的一篇论文中，苹果的研究人员宣称，他们提出了一个可以在设备端运行的模型，这个模型在某些方面可以超过 GPT-4。 具体来说，他们研究的是 NLP 中的指代消解（Reference Resolution）问题，即让 AI 识别文本中提到的各种实体...
-
上海交大新框架解锁CLIP长文本能力，多模态生成细节拿捏，图像检索能力显著提升
CLIP长文本能力被解锁，图像检索任务表现显著提升！ 一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。 △棕色文本为区分两张图的关键细节 Long-CLIP在保持CLIP原始特征空间的基础上，在图像生成等下游任务中即插...
-
AI绘画Imagen大力出奇迹生成图像
AI绘画Imagen大力出奇迹生成图像 介绍 Imagen是一个文本到图像的扩散模型，由Google大脑团队研究所开发。 Imagen通过创新的设计，摈弃了需要预训练视觉-语言模型的繁琐步骤，直接采用了T5等大规模语言模型作为文...
-
剑桥团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器
论文链接：https://arxiv.org/abs/2402.08327 DEMO 链接：https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/ 项目主页链接：https://preflm...
-
Stable-Diffusion的WebUI部署实战
1、环境准备及安装 1.1、linux环境 # 首先，已经预先安装好了anaconda，在这里新建一个环境 conda create -n sdwebui python=3.10 # 安装完毕后，激活该环境 conda activate sdwebui...
-
Stable Diffusion 商业变线与绘画大模型多场景实战讠果fx
Stable Diffusion 商业变现与绘画大模型多场景实战 扌并讠果：Ukoou·ㄷㅁΜ Stable Diffusion介绍 Stable Diffusion是2022年发布的深度学习文本到图像生成模型。 它主要用于根据文本的描述产生详细图像，尽...
-
stable diffusion模型微调方法
文章目录 embeddings 准备训练集 图片预处理 裁剪 打标签 点击生成运行程序 调节训练参数 训练嵌入式模型 使用微调模型进行生成 LoRA Kohya GUI 准备工作 收集训练集 图片预处理 设置训练参数 Dream...
-
文生图的基石CLIP模型的发展综述
CLIP的英文全称是Contrastive Language-Image Pre-training，即一种基于对比文本-图像对的预训练方法或者模型。CLIP是一种基于对比学习的多模态模型，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里...
-
一统所有目标感知任务，华科&字节提出目标感知基础模型GLEE
近年来，LLM 已经一统所有文本任务，展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力，其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务，目前...
-
全球首个基于大语言模型的自动驾驶语言控制模型
Arxiv论文链接：https://arxiv.org/abs/2312.03543项目主页：https://github.com/Petrichor625/Talk2car_CAVG 近年来，工业界和学术界都争先恐后地研发全自动驾驶汽车（AVs）。尽...
-
Stable Diffusion 3报告
报告链接：https://stability.ai/news/stable-diffusion-3-research-paper 文章目录 要点 表现 架构细节 通过重新加权改善整流流量 Scaling Rectified Flow Tr...
-
新智元 | Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
本文来源公众号“新智元”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？ 【新智元导读】Stability AI放出了号称能暴...
-
淘宝人生2的AIGC技术应用——虚拟人写真算法技术方案
近几个月，随着基于Stable Diffusion的相关技术发展，基于参考图的角色定制化技术[1,2, 3, 4, 7]受到相关行业以及学者的广泛关注。其中，人像定制化是指：给定任务角色（参考图），通过提示词控制生成多样新的图像，并且图像...
-
stable diffusion 1.5大模型炼制详细教程，几块钱即可炼制大模型
前言 之前已经讲过SDXL_LORA,SD1.5_LORA训练过程，基本说的比较清楚了，有兴趣可以去看看，下面我将讲解一下SD1.5大模型的炼制。 SDXL_LORA：https://tian-feng.blog.csdn.net/article/d...
-
与Sora同架构的Stable Diffusion 3.0 震撼发布
Stability AI 发布了 Stable Diffusion 3，这款图像生成 AI 模型再次刷新了人们的认知。 这款由 Stability AI 倾力打造的文本变图模型，可是迄今为止最强大的“黑科技”！无论你想生成多主题的奇幻场景，还是高精度的风...
-
上热榜了！抖音博主被曝用AI作品欺骗观众；看看Sora炸出来多少好东西；我帮你踩遍了AIGC创业的各种坑；图解 Stable Diffusion | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 抖音知名绘画博主被曝作品是AI制作的，然后道歉也是 ChatGPT 生成的？ 2月21日，抖音知名绘画博主 @曾bobi 发布了最新作品，是他们几...
-
Glyph-ByT5：确保AI绘画图片中文字渲染的准确性并自动排版
在当今的数字时代，图像生成任务的重要性日益凸显。然而，一个长期存在的问题是文本渲染的准确性。幸运的是，一个新的文本编码器——Glyph-ByT5，已经将这个问题解决了。 Glyph-ByT5是一个强大的工具，它可以显著提高图像生成中文本渲染的准确性。在实际...
-
Glyph-ByT5官网体验入口 AI文本编码器与图像生成工具在线使用地址
Glyph-ByT5是一种定制的文本编码器，旨在提高文本到图像生成模型中的视觉文本渲染准确性。它通过微调字符感知的ByT5 编码器并使用精心策划的成对字形文本数据集来实现。将Glyph-ByT5 与SDXL集成后，形成了Glyph-SDXL模型，使设计图像...
-
Stable Diffusion 3 技术论文解读：开源能赢得文生图竞赛吗？
在大语言模型领域，闭源模型正在赢得比赛，无论是 OpenAI 还是刚刚发布新模型的 Anthropic，都是闭源模型的代表。 但在文生图领域，开源模型却表现出了足够强的竞争力。 2 周前，开源模型的代表企业 Stability AI 发布了最新...
-
AIGC学习笔记——CLIP详解加推理
clip论文地址：https://arxiv.org/pdf/2103.00020.pdf clip代码地址：https://github.com/openai/CLIP 小辉问：能不能解释一下zero-shot? 小G答：零次学习（Zero...
-
LLM将成历史？开源bGPT或颠覆深度学习范式：直接模拟二进制，开启模拟数字世界新纪元！
微软亚洲研究院推出的最新成果bGPT，这种基于字节的Transformer模型，为我们探索数字世界开辟了新的大门。 与传统的基于词表的语言模型不同，bGPT的独特之处在于其对原始二进制数据的直接处理能力，不受特定格式或任务的限制，其目标是全面模拟数字世界...
-
stable diffusion使用相关
IP Adapter，我愿称之它为SD垫图 IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器，它的作用是将你输入的图像作为图像提示词，本质上就像MJ的垫图。 IP Adapter比reference的效果要好，而且会...
-
AIGC:语音克隆模型Bert-VITS2-2.3部署与实战
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transf...
-
Stable Diffusion中的Clip模型
基础介绍 Stable Diffusion 是一个文本到图像的生成模型，它能够根据用户输入的文本提示（prompt）生成相应的图像。在这个模型中，CLIP（Contrastive Language-Image Pre-training）模型扮演了一个关键...
-
stable diffusion 原理是什么？
“ 这篇文章主要介绍了Stable Diffusion，这是一种用于AI绘画的算法，它是由CompVis和Runway团队在2021年12月提出的“潜在扩散模型”（LDM/Latent Diffusion Model）的变体，基于201...
-
Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节
很快啊，“文生图新王”Stable Diffusion 3的技术报告，这就来了。 全文一共28页，诚意满满。 “老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力： 所以，SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
Stable Diffusion简介
Stable Diffusion是2022年发布的深度学习文本到图像生成模型，它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词（英语）指导下产生图生图的翻译。 根据维基百科的描述可以得知，Sta...
-
Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？
Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transformer）架构，一经发布就引起了不小的轰动。 与之前的版本相比，Stable Diffusion 3 生成...
-
Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
Stability AI在发布了Stable Diffusion 3之后，今天公布了详细的技术报告。 论文深入分析了Stable Diffusion 3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！ 报告地址： http...
-
Stability AI发布SD3技术报告 披露SD3更多细节
Stability AI 最近发布了他们最强的图片生成模型 Stable Diffusion3（SD3） 的技术报告，披露了 SD3的更多细节。据 Stability AI 所说，SD3在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，...
-
Stable diffusion webui部署及简单使用
文章目录 前言 一、Stable Diffusion WebUI部署 1.Stable diffusion 2.Linux 上的自动安装步骤如下： 1.安装依赖项： 2.切换到想要安装 WebUI 的目录并执行以下命令： 3.运行 webu...
-
AIGC应用：Stable diffusion webui基本使用技巧
文章目录 前言 一、Stable Diffusion Web UI 安装 二、泡泡玛特（prompt） 三、txt输入规则 四、交替渲染 五、Lora模型调用 六、Hypernetwork & Embeding 七、采样器（sample...
-
Stable Diffusion之最全详解图解
Stable Diffusion之最全详解图解 1. Stable Diffusion介绍 1.1 研究背景 1.2 学术名词 2.Stable Diffusion原理解析 2.1 技术架构 2.2 原理介绍 扩散过程 3.1 Diff...
-
超有趣的stable diffusion干货解读
超有趣的stable diffusion干货解读 智能时代：向量和模型构成一切(Vector and models rule it all ——朱嘉明 从老式电视机上的雪花引出diffusion Stable Diffusion 的组成 为...
-
Stable Diffusion——stable diffusion基础原理详解与安装秋叶整合包进行出图测试
前言 在2022年，人工智能创作内容（AIGC）成为了AI领域的热门话题之一。在ChatGPT问世之前，AI绘画以其独特的创意和便捷的创作工具迅速走红，引起了广泛关注。随着一系列以Stable Diffusion、Midjourney、NovelAI等...