-
图像生成模型浅析（Stable Diffusion、DALL-E、Imagen）
目录 前言 1. 速览图像生成模型 1.1 VAE 1.2 Flow-based Model 1.3 Diffusion Model 1.4 GAN 1.5 对比速览 2. Diffusion Model 3. Stable Diffusi...
-
AIGC系列之：DDPM原理解读（简单易懂版）
目录 DDPM基本原理 DDPM中的Unet模块 Unet模块介绍 Unet流程示意图 DownBlock和UpBlock MiddleBlock 文生图模型的一般公式 总结 本文部分内容参考文章：https://ju...
-
多模态预训练模型在 OPPO 端云场景的落地实践
一、端侧图文检索技术研究 1. 解决了什么问题？ 首先来介绍图文检索技术。以前在手机端相册搜索照片，都是基于标签来搜索。从 CLIP 模型出现后开始做自然语言搜索。目前正在解决端侧性能、搜索效果、安全等问题。技术难度并不大，重点在于提高搜索速度。并...
-
【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字？字体篇（上）
文字图像生成是什么？ “文字图像生成（Text-image generation）”即生成带有指定文字的图像。如下图所示，市面常见的通用文生图很难准确地生成带有指定文字的图像。文字图像生成也被称为文本渲染（Text rendering）。 为什么重要？...
-
模块化重构LLaVA，替换组件只需添加1-2个文件，开源TinyLLaVA Factory来了
TinyLLaVA 项目由清华大学电子系多媒体信号与智能信息处理实验室 (MSIIP 吴及教授团队和北京航空航天大学人工智能学院黄雷老师团队联袂打造。清华大学 MSIIP 实验室长期致力于智慧医疗、自然语言处理与知识发现、多模态等研究领域。北航团队长期...
-
手把手教你用LoRA训练自己的Stable Diffusion模型
目录 写在前面 一、准备数据 二、数据打标签 三、执行训练 四、执行推理 1.LoRA推理 2.全参数推理 写在前面 Stable Diffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用L...
-
AI绘画：利用ComfyUI进行文生图操作的完整指南
前言 ComfyUI作为一款基于Stable Diffusion的节点式操作界面，为用户提供了一个更加灵活和高效的文生图（文本生成图像）创作环境。本篇博客将详细介绍如何使用ComfyUI进行文生图操作，无论你是初学者还是有一定基础的用户，都能够通过本指南...
-
你想要的照片，AI都能帮你画出来：记录Stable Diffusion的力量
目录 前言 一、配置软件环境（可以跳过直接看第二部分效果图） 1.启动界面 二、解锁新功能 2.1 开源模型的获取 三、如何生成细节更加可控的内容呢？ 3.1 充分利用prompt: 3.2 词不达意时，充分使用lora 3.2 使用多个lo...
-
AIGC——ComfyUI工作流搭建、导入与常用工作流下载
工作流 ComfyUI工作流是一个基于图形节点编辑器的工作流程，通过拖拽各种节点到画布上，连接节点之间的关系，构建从加载模型到生成图像的流程。每个节点代表一个与Stable Diffusion相关的模型或功能，节点之间通过连线传递图片信息。工作流程始于...
-
运行stable-diffusion出现的问题
1、运行txt2img.py出现huggingface下载safety-cheaker问题 问题：OSError: We couldn't connect to 'https://huggingface.co' to load this model, c...
-
AIGC实战——多模态模型DALL.E 2
AIGC实战——多模态模型DALL.E 2 0. 前言 1. 模型架构 2. 文本编码器 3. CLIP 4. 先验模型 4.1 自回归先验模型 4.2 扩散先验模型...
-
stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法
这个是个普遍问题，例如：Windows平台安装stable-diffusion-webui-1.7.0解决少工具包clip-vit-large-patch14 - 知乎 Stable Diffusion WebUI linux部署问题_oserror:...
-
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
一、 Stable Diffusion简介 2022年作为AIGC（Artificial Intelligence Generated Content）时代的元年，各个领域的AIGC技术都有一个迅猛的发展，给工业界、学术界、投资界甚至竞赛...
-
Spring Boot爬虫：探索数据的新世界
在当今数据驱动的社会中，爬虫技术已成为获取和分析网络数据的重要手段。而Spring Boot，作为一个流行的Java开发框架，为我们开发高效稳定的爬虫应用提供了强大的支持。本文将深入探讨Spring Boot爬虫的原理、构建过程以及实际应用，带您领略爬虫技...
-
牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
自动驾驶第一性之纯视觉静态重建
本文经自动驾驶之心公众号授权转载，转载请联系出处。 纯视觉的标注方案，主要是利用视觉加上一些GPS、IMU和轮速计传感器的数据进行动静态标注。当然面向量产场景的话，不一定非要是纯视觉，有一些量产的车辆里面，会有像固态雷达（AT128）这样的传感器。如...
-
数据更多更好还是质量更高更好？这项研究能帮你做出选择
对基础模型进行 scaling 是指使用更多数据、计算和参数进行预训练，简单来说就是「规模扩展」。 虽然直接扩展模型规模看起来简单粗暴，但也确实为机器学习社区带来了不少表现卓越的模型。之前不少研究都认可扩大神经模型规模的做法，所谓量变引起质变，这种观点也...
-
GPT-4o 17人Omni金牌团队首揭秘！清北上交中科大6位华人领衔
几天前的发布会上，OpenAI再次向全世界证明，它永远走在AI领域的最前沿。 眼看着《Her》中的Samantha在自己眼前成真，那一刻，全世界为之振奋。 就在刚刚，GPT-4o的关键团队信息，也被公布了出来。 就是这个名为「omni」的团队，发挥出了不可...
-
GPT-4o 17人Omni金牌团队首揭秘！清北上交中科大六位华人领衔
几天前的发布会上，OpenAI再次向全世界证明，它永远走在AI领域的最前沿。 眼看着《Her》中的Samantha在自己眼前成真，那一刻，全世界为之振奋。 就在刚刚，GPT-4o的关键团队信息，也被公布了出来。 就是这个名为「omni」的团队，发挥出了不...
-
AI日报：OpenAI全能模型GPT-4o发布；阿里推自动化视频剪辑神器；AI作品会侵权吗？调研结果...;零一万物开源Yi-1.5模型
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、干翻所有语音助手！OpenAI...
-
美国教授用2岁女儿训AI模型登Science！人类幼崽头戴相机训练全新AI
【新智元导读】为训练AI模型，纽约州立大学的一名教授Brenden Lake，竟让自己不到2岁女儿头戴相机收集数据!要知道，Meta训Llama3直接用了15万亿个token，如果Lake真能让AI模型学习人类幼崽，从有限的输入中学习，那LLM的全球数据荒...
-
扩散模型与文生视频
一、快速发展的文生视频 在当前的人工智能领域，文生视频技术有着引人注目的进展。该技术的核心任务非常明确，就是利用文本指令来控制视频内容的生成。具体而言，用户可以输入特定文本，系统则根据这段文本生成相应的视觉画面。这一过程并不局限于单一的输出，相同的文本可...
-
MindSpore强化学习：使用PPO配合环境HalfCheetah-v2进行训练
本文分享自华为云社区《MindSpore强化学习：使用PPO配合环境HalfCheetah-v2进行训练》，作者： irrational。 半猎豹（Half Cheetah）是一个基于MuJoCo的强化学习环境，由P. Wawrzyński在“A Cat...
-
还在YOLO-World？DetCLIPv3出手！性能大幅度超出一众SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 现有的开词汇目标检测器通常需要用户预设一组类别，这大大限制了它们的应用场景。在本文中，作者介绍了DetCLIPv3，这是一种高性能检测器，不仅在开词汇目标检测方面表现出色，同时还能为检测到的目标生成...
-
新加坡国立大学 | 通过语言分割任何3D目标
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文研究了具有自由形式语言指令的开放词汇3D实例分割（OV-3DIS）。先前的作品只依赖于注释的基本类别进行训练，对看不见的长尾类别的泛化能力有限。最近的工作通过生成类...
-
等等我还没上车！LLM赋能端到端全新范式LeGo-Drive，车速拉满
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人理解 这篇论文介绍了一种名为LeGo-Drive的基于视觉语言模型的闭环端到端自动驾驶方法。该方法通过预测目标位置和可微分优化器规划轨迹，实现了从导航指令到目标位置的端到端闭...
-
VQAScore官网体验入口 AI文本到视觉生成评估工具使用地址
VQAScore是一种新的评估指标，旨在更好地评估复杂的文本到视觉生成效果。这一指标结合了CLIP-FlanT5 模型，能够在文本到图像/视频/3D生成评估中实现最佳性能，是评估和优化文本到视觉生成模型的强大工具。同时，VQAScore引入了GenAI-B...
-
多个SOTA ！OV-Uni3DETR：提高3D检测在类别、场景和模态之间的普遍性（清华&港大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 这篇论文聚焦于3D目标检测的领域，特别是Open-Vocabulary的3D目标检测。在传统的3D目标检测任务中，系统旨在预测真实场景中物体的定向3D边界框和语义类别标签，这通常依赖于点云或RGB图像...
-
陈巍：LLaMA-2的多模态版本架构与训练详解（收录于GPT-4/ChatGPT技术与产业分析）
陈巍：2023年9月，Meta的研究人员推出了AnyMAL（任意模态增强语言模型，Any-Modality Augmented Language Model）。该模型能够理解多种模态信号并生成文本回应，即多模态输入，单模态输出。输入的模态可包括图像、视频、...
-
ELLA官网体验入口 腾讯AI文本到图像语义对齐工具使用介绍
ELLA是一种轻量级方法，可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力，使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器，从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不...
-
AIGC-Stable Diffusion发展及原理总结
目录 一. AIGC介绍 1. 介绍 2. AIGC商业化方向 3. AIGC是技术集合 4. AIGC发展三要素 4.1 数据 4.2 算力 4.3 算法 4.3.1 多模态模型CLIP 4.3.2 图像生成模型 二. Stable...
-
北航联合港大发布全新文本引导矢量图形合成方法SVGDreamer
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 可缩放矢量图形（Scalable Vector Graphics，SVG）是用于描述二维图型和图型应用程序的基本元素；与传统的像素图形...
-
MiniGPT4-Video官网体验入口 视频理解多模态AI大模型使用地址
MiniGPT4-Video是什么？ MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。 点击前往MiniGPT4-Video官网体验入口 MiniGPT4-Video的主要特点...
-
AI绘画利器：Stable-Diffusion-ComfyUI保姆级教程
AI绘画在今天，已经发展到了炽手可热的地步，相比于过去，无论是从画面精细度，真实性，风格化，还是对于操作的易用性，都有了很大的提升。并且如今有众多的绘画工具可选择。今天我们主要来聊聊基于stable diffusion的comfyUI！ comfyU...
-
【AIGC】如何在Windows/Linux上部署stable diffusion
文章目录 整体安装步骤 windows10安装stable diffusion 环境要求 安装步骤 注意事项 参考博客 其他事项 安装显卡驱动 安装cuda 卸载cuda 安装对应版本pytorch 安装git上的python包 Q&...
-
stable-diffusion-webui踩坑指南
过年刷资讯AI的信息铺天盖地，准备研究研究。最后选择从AI绘画的stable diffusion入手。本地安装了最新的Python（13.12.2）然后直接克隆GitHub - Stability-AI/stablediffusion: High-Reso...
-
stable diffusion webui ubuntu 安装和教程
0.环境： cuda:11.8 gpu:p40 torch:2.2.0+cu118 python:3.10.12 1.git clone 下来 GitHub - AUTOMATIC1111/stable-diffusion-webui: St...
-
AI绘画24年最新的Stable Diffusion整合包安装教程，建议收藏！
1、背景信息 ▍Stable Diffusion 是什么？ Stable Diffusion（简称SD）是一种生成式人工智能，于2022年发布，主要用于根据文本描述生成详细图像，也可用于其他任务，如图像的修补、扩展和通过文本提示指导图像到图像的...
-
【讲解下如何Stable Diffusion本地部署】
🎥博主：程序员不想YY啊 💫CSDN优质创作者，CSDN实力新星，CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益，如有不足之处，欢迎在评论区提出指正，让我们共同学习、交流进步！ 目录 🎥前言 🎥前提条件 🎥步骤...
-
AIGC在广告创意上的实践
1 引言 1.1 背景 随着抖音、小红书等新媒体的快速崛起，新媒体广告需求日益增大。而新媒体广告投放的图片和文案创意占用了运营工作者大量的精力和时间。文案、图片、视频广告创意制作难度大、效率低、成本高、周期长的问题日益凸显。如何快速的完成广告创意，...
-
Stable Diffusion 推荐硬件配置和本地化布署
Stable Diffusion简介 Stable Diffusion是由Stability AI开发的一种强大的文本到图像(Text-to-Image 生成模型,它能够根据用户提供的文本描述,生成与之相关的高质量、高分辨率图像。下面我从原理、特点、应用...
-
20240203在Ubuntu20.04.6下配置stable-diffusion-webui.git
20240203在Ubuntu20.04.6下配置stable-diffusion-webui.git 2024/2/3 11:55 【结论：在Ubuntu20.04.6下，生成512x512分辨率的图像，大概需要11秒钟！】 前提条件，可以通过技术...
-
DALL·E 2（内含扩散模型介绍）【论文精读】Hierarchical Text-ConditionalImage Generation with CLIP Latents
1官方对模型的介绍 大家好，今天我们就一起来看一下两个月之前 OpenAI 刚放出来的一篇力作。DALL·E 2是 OpenAI 一系列文本图像生成工作的最新一篇。去年 1 月份他们先推出了Dolly，然后在年底的时候又推出了glide。...
-
文生图大模型三部曲：DDPM、LDM、SD 详细讲解！
1、引言 跨模态大模型是指能够在不同感官模态(如视觉、语言、音频等 之间进行信息转换的大规模语言模型。当前图文跨模态大模型主要有： 文生图大模型：如 Stable Diffusion系列、DALL-E系列、Imagen等 图文匹配大模型：如CLI...
-
【小白】一文读懂AIGC模型之Stable Diffusion模型
目录 模型简介 模型结构 VAE变分编码器 VAE结构 VAE模型训练与损失函数 U-Net结构 CLIP Text Encoder 模型工作流程 参考 模型简介 Stable Diffusion（SD）模型是一种基于...
-
【爬虫实战】使用Python获取花粉俱乐部中Mate60系列的用户发帖数据
🤵♂️ 个人主页：@艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏 📂加关注+ 目录 一、Python编写爬虫的优势 二、实验过程 2.1...
-
AIGC批量图生成的一些思考
从技术到先进生产力，从先进装备到作战能力，中间隔了一道GAP。现在AI技术进展很快，开源的模型大部分是单点或者一个模块单元的突破。如何把这些技术整装成作战单元，为业务带来实际的价值是我们必须要解决的一个问题。 消费侧技术点 中文clip： 这...
-
AIGC学习笔记——DALL-E2详解+测试
它主要包括三个部分：CLIP，先验模块prior和img decoder。其中CLIP又包含text encoder和img encoder。（在看DALL·E2之前强烈建议先搞懂CLIP模型的训练和运作机制,之前发过CLIP博客） 论文地址：https...
-
大模型创业淘汰潮开始了：这是第一个估值 10 亿美元的祭品
风雨飘摇中的Stability AI还能走多远? 近期，AI 绘画神器 Stable Diffusion 背后的开发公司 Stability AI 发生一系列变动，包括 CEO Emad Mostaque 在内的多名核心高管、技术人员离职，公司面临现金流危...
-
秋叶大佬24年最新的Stable Diffusion整合包V4.6.7来了～
！ 「 无套路！文末提供下载方式 」 要说今年绘画圈最大的新秀 那妥妥的就Stable Diffution V4升级版无需安装**，直接解压就能用 （在此要感谢秋葉aaaki大佬的分享！） 比之前推送的更加智能、快速和简单 有多简单呢？这么说...