-
FlashAttention2原理解析以及面向AIGC的加速实践
FlashAttention-2提出后，便得到了大量关注。本文将具体讲述FlashAttention-2的前世今生，包括FlashAttention1&2的原理解析、加速效果比较以及面向AIGC的加速实践，在这里将相关内容与大家分...
-
保姆级教程：从0到1搭建Stable Diffusion XL完整工作流进行AI绘画
Rocky Ding 公众号：WeThinkIn 写在前面 【人人都是算法专家】栏目专注于分享Rocky在AI行业中对业务/竞赛/研究/产品维度的思考与感悟。欢迎大家一起交流学习💪 大家好...
-
Stable Diffusion 硬核生存指南：WebUI 中的 VAE
本文使用「署名 4.0 国际 (CC BY 4.0 」许可协议，欢迎转载、或重新修改使用，但需要注明来源。 署名 4.0 国际 (CC BY 4.0 本文作者: 苏洋 创建时间: 2023年07月30日 统计字数: 11485字 阅读时间: 23分钟...
-
【扩散模型】12、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构
文章目录 一、什么是 Stable Diffusion 二、Diffusers 库 三、微调、引导、条件生成 3.1 微调 3.2 引导 3.3 条件生成 四、Stable Diffusion 4.1 以文本为条件生成 4.2 无分类器的...
-
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm 的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT 和依赖人类偏好的人类反馈强化学习(RLHF 。这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大...
-
多用户数据检索：LangChain技术指南与案例分析
作者 | 崔皓 审校 | 重楼 摘要 文章探讨了如何确保不同用户数据的隔离，并提供灵活的配置选项以适应各种检索需求。 文章首先介绍了多用户数据检索的背景和挑战，包括数据权限管理、检索系统灵活性和用户体验问题。接着进行了技术分析，特别强调了使用Pinec...
-
stable diffusion模型评价框架
GhostReview:全球第一套AI绘画ckpt评测框架代码 - 知乎大家好，我是_GhostInShell_，是全球AI绘画模型网站Civitai的All Time Highest Rated (全球历史最高评价 第二名的GhostMix的作者。在上...
-
LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。本文，我们将深入研究使用...
-
AIGC介绍篇
AIGC介绍篇 AIGC 最近横空出世，对社会产生了多冲击。AIGC 发展到现在，其实也就是最近几个月被 ChatGPT （22年11月推出的）带火的，ChatGPT 你可以理解为是所有 AIGC 的一个大脑，其他各种各样的 model 都是四肢，由 C...
-
剧透GPT-5，物色芯片厂，2024年的Sam Altman已经火力全开，只因不敢停下来
尽管如今的AI圈花样层出、新闻满天，但OpenAI的新动向仍然一直是人们最关注的话题之一。 最近， OpenAI首席执行官 Sam Altman就在参加达沃斯论坛时高调表示，公司目前的首要任务就是推出下一代大型语言模型，可能被称为GPT-5。 他还剧透了一...
-
基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)
基于LLaMA-Factory，用4个V100的GPU，如下命令训练ChatGLM3： deepspeed --num_gpus 4 --master_port=9901 src/train_bash.py \ --deepspeed ds_co...
-
扩散模型实战（十）：Stable Diffusion文本条件生成图像大模型
推荐阅读列表： 扩散模型实战（一）：基本原理介绍 扩散模型实战（二）：扩散模型的发展 扩散模型实战（三）：扩散模型的应用 扩散模型实战（四）：从零构建扩散模型 扩散模型实战（五）：采样过程 扩散模型实战（六）：Diffusers DDPM初探...
-
AIGC神器CLIP：技术详解及应用示例
编者按：上一期，我们介绍了Diffusion模型的发展历程、核心原理及其对AIGC发展的推动作用。本期，我们将共同走进另一项AI重要突破——CLIP，著名的DALLE和Stable Diffusion均采用了CLIP哦。 Nikos Kafrit...
-
人工智能实战：Stable Diffusion技术分享
背景 Stable Diffusion是计算机图形学和可视化领域中的一项重要技术。在这篇分 享中 ，我们将深入探讨稳定扩散的原理、关键要素和实施步骤 ，通过了解Stable Diffusion的流程化 ，我们可以提升自身的设计能力和创造力 ，为公司 和个...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
AI绘画创作，训练Lora模型绘制你心中的童年爱豆漫画
从零开始，教你如何塑造完美动漫人物Lora模型 1.整合包下载 首先是去秋叶大佬那里下载一键训练包，这样我们的训练就相当简单，解压包以后先更新，后启动。 秋叶大神百度网盘包：百度网盘 请输入提取码 提取码：p8uy 秋叶...
-
大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：llama-2-7b、llama-2-7b-chat（...
-
GPT-5被5万张H100卡脖子！Altman急筹数十亿美元，欲取代英伟达建起AI芯片帝国
Sam Altman正在筹集数十亿美元，建立一个全球性的半导体晶圆厂网络！ 这一事件背后的原因很可能就是，OpenAI已经无「芯」训练「GPT-5」了。 此前，据英国《金融时报》报道，OpenAI 正在开发一种新的AI模型，该模型将是 GPT-4 的「重...
-
AIGC专栏2——Stable Diffusion结构解析-以文本生成图像（文生图，txt2img）为例
AIGC专栏2——Stable Diffusion结构解析-以文本生成图像（文生图，txt2img）为例 学习前言 源码下载地址 网络构建 一、什么是Stable Diffusion（SD） 二、Stable Diffusion的组成 三、生...
-
奥特曼筹数十亿美元建全球晶圆厂网络，自造AI芯片
据彭博社消息，OpenAI CEO 萨姆・奥特曼（Sam Altman）近日再次为一家人工智能芯片企业筹集了数十亿美元的资金，希望建立一个范围覆盖全球的晶圆厂「企业网络(network of factories 」，并计划与未具名的顶级芯片制造商合作。 报...
-
LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
原文：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md 👋 加入我们的微信群。 [ English | 中文 ] LLaMA Board: 通过一站式网页界面快速上手...
-
Dreambooth Stable Diffusion始化训练环境（AutoDL）
以AutoDL为例 以下代码源自：赛博华佗——秋叶： Akegarasu 环境选择 Miniconda: Miniconda是一个轻量级的Conda环境管理系统。它包含了conda、Python和一些常用...
-
AIGC｜手把手教你进行ChatGLM模型部署实践
一、背景介绍 模型部署基本步骤分为模型选择、模型部署、运行，如果需要在特定的场景下定制化模型，则还需要进行数据集的选择、数据集格式转换、微调。 根据上述的步骤本教程选取如下的开源模型、数据集，来对医疗场景下进行定制化模型部署。当然模型部署对G...
-
Stable Diffusion API入门：简明教程
Stable Diffusion 是一个先进的深度学习模型，用于创造和修改图像。这个模型能够基于文本描述来生成图像，让机器理解和实现用户的创意。使用这项技术的关键在于掌握其 API，通过编程来操控图像生成的过程。 在探索 Stable Diffusion...
-
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
1.为什么要对Yuan2.0做微调？ Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yua...
-
Stable Diffusion 源码解析（1）
参考1：https://blog.csdn.net/Eric_1993/article/details/129393890 参考2：https://zhuanlan.zhihu.com/p/613337342 1.StableDiff...
-
奥特曼，10亿美元砸向AI芯片
Sam Altman（奥特曼），造芯依旧! 据彭博社消息，奥特曼再次为一家人工智能芯片企业筹集数十亿美元。 目的是利用这笔资金开发一个“工厂网络”（network of factories），用于制造，该网络将延伸到全球，并涉及与未透露名字的“顶级芯片制...
-
【多模态】14、Segment Anything | Meta 推出超强悍可分割一切的模型 SAM
文章目录 一、Intruduction 二、Segment Anything Task 三、Segment Anything Model 四、Segment Anything Data Engine 五、Segment Anything Dat...
-
文心一言使用分享
ChatGPT 和文心一言哪个更好用？ 一个直接可以用，一个还需要借助一些工具，还有可能账号会消失…… 没有可比性。 通用大模型用于特定功能的时候需要一些引导技巧。 import math import time def calc...
-
stable-diffusion打造自己的lora模型（使用lora-scripts）
1、训练图片收集 比如要训练一个自己头像的模型，就可以拍一些自己的照片（20-50张，最少15张），要求画质清晰，脸部轮廓清楚，背景较为简单的照片。 2、使用stable_diffusion的预处理功能进行图片的预处理 这里可以根据自己的情况设置...
-
使用代理时Stable Diffusion无法正常下载各类模型的解决办法
最近发现了 Stable Diffusion 这个好玩的ai绘画工具，不得不感叹现在ai工具已经进化到这么简单易用的程度，只要下载对应的模型就可以生成各种有意思的图片 就算你没有编程基础，跟着教程也能弄出来 不过使用过程中发现部分功能无法使用 查看...
-
大型语言模型中最大的瓶颈：速率限制
作者 | Matt Asay策划 | 言征 速率限制意味着每个人都在等待更好的计算资源或不同的生成人工智能模型。 大型语言模型（LLM），如OpenAI的GPT-4和Anthropic的Claude 2，凭借其生成类人文本的能力，吸引了公众的想象力。...
-
番外篇Diffusion&Stable Diffusion扩散模型与稳定扩散模型
文章目录 Diffusion&Stable Diffusion扩散模型与稳定扩散模型 摘要 Abstract Diffusion Model扩散模型 Forward Diffusion Process正向扩散过程 噪声图像的分布...
-
Stable-diffusion-WebUI 的API调用(内含文生图和图生图实例)
前情提要 在之前尝试使用Diffusers库来进行stable-diffusion的接口调用以及各种插件功能实现，但发现diffusers库中各复杂功能的添加较为麻烦，而且难以实现对采样器的添加，safetensors格式模型的读取。在官网上找到了web...
-
Data-Copilot: 大语言模型做你最贴心省事的数据助手
Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow 无需繁琐操作,只需要输入一句话, Data-Copilot自动帮你完成查数据,分析数据,管理数据,预测趋...
-
腾讯云AI绘画：探究AI创意与技术的新边界
目录 一、2023的“网红词汇”——AI绘画 二、智能文生图 1、智能文生图的应用场景 2、风格和配置的多样性 3、输入一段话，腾讯云AI绘画给你生成一张图 4、文本描述生成图像，惊艳全场 三、智能图生图：重新定义图像美学 1、智能图生图...
-
AIGC：使用生成对抗网络GAN实现MINST手写数字图像生成
1 生成对抗网络 生成对抗网络（Generative Adversarial Networks, GAN）是一种非常经典的生成式模型，它受到双人零和博弈的启发，让两个神经网络在相互博弈中进行学习，开创了生成式模型的新范式。从 2017 年以后，GAN相...
-
AIGC实战——像素卷积神经网络(PixelCNN)
AIGC实战——像素卷积神经网络 0. 前言 1. PixelCNN 工作原理 1.1 掩码卷积层 1.2 残差块 2. 训练 PixelCNN 3. PixelCNN 分析 4. 使用混合分布改进 PixelCNN 小结 系列链接...
-
2023年的深度学习入门指南(24) - 处理音频的大模型 OpenAI Whisper
2023年的深度学习入门指南(24 - 处理音频的大模型 OpenAI Whisper 在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whisper模型，它是一个处理音频的大模型。 Wh...
-
一文读懂大型语言模型参数高效微调：Prefix Tuning与LLaMA-Adapter
芝士AI吃鱼 在快速发展的人工智能领域中，高效、有效地使用大型语言模型变得日益重要，参数高效微调是这一追求的前沿技术，它允许研究人员和实践者在最小化计算和资源占用的同时，重复使用预训练模型。这还使我们能够在更广泛的硬件范围内训练...
-
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face 🤗 Transformers 在任意多语种语音识别 (ASR 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，...
-
【Stable diffusion inpaiting】训练自己数据集
https://github.com/advimman/lama/tree/7dee0e4a3cf5f73f86a820674bf471454f52b74f prepare your data: 1 Create masks named as `[...
-
【Stable Diffusion XL】huggingface diffusers 官方教程解读
文章目录 01 Tutorial Deconstruct a basic pipeline Deconstruct the Stable Diffusion pipeline Autopipeline Train a diffusion mo...
-
Tokenization 指南：字节对编码，WordPiece等方法Python代码详解
在2022年11月OpenAI的ChatGPT发布之后，大型语言模型(llm 变得非常受欢迎。从那时起，这些语言模型的使用得到了爆炸式的发展，这在一定程度上得益于HuggingFace的Transformer库和PyTorch等库。 计算机要处理语言，...
-
机器人领域首个开源视觉-语言操作大模型，RoboFlamingo框架激发开源VLMs更大潜能
近年来，大模型的研究正在加速推进，它逐渐在各类任务上展现出多模态的理解和时间空间上的推理能力。机器人的各类具身操作任务天然就对语言指令理解、场景感知和时空规划等能力有着很高的要求，这自然引申出一个问题：能不能充分利用大模型能力，将其迁移到机器人领域，直接...
-
复现问题记录 | Stable Diffusion(LDM) (in python3)（一）
复现 环境 代码 util.py 测试 Text-to-Image 直接使用网页生成 记录复现LDM遇到的问题 环境 conda env create -f environment.yaml 根据environment.ya...
-
【生成模型】Stable Diffusion原理+代码
文章目录 前言 一、Latent space 二、AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE： 三、Diffusion扩散模型 1.前向过程 2.逆向过程 四、多模态 cross attention 五...
-
本地搭建【文档助手】大模型版（LangChain+llama+Streamlit）
概述 本文的文档助手就是：我们上传一个文档，然后在对话框中输入问题，大模型会把问题的答案返回。 安装步骤 先下载代码到本地 LangChain调用llama模型的示例代码：https://github.com/afaqueumer/DocQA（代...
-
使用Gradio搭建Stable Diffusion模型生成图像：简单快捷的图像生成体验
目录 0 开发环境 1 介绍 1.1 Gradio简介 1.2 Stable Diffusion模型简介 2 使用Gradio搭建基本界面 2.1 安装依赖库 2.2 加载预训练模型 2.3 解析返回的数据 2.4 构建图像字幕应用程序...
-
LLaMA的解读与其微调：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2
前言 近期，除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇，100篇目录见此：ChatGPT相关技术必读论文100篇 ，还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节 ...