-
Datawhale AI夏令营第四期魔塔-AIGC文生图方向 task03笔记
目录 一、工具初探一ComfyUI应用场景探索 1.初识ComfyUI 2.20分钟速通安装ComfyUI 3.浅尝ComfyUI工作流 二、Lora微调 1.Lora简介 2.Lora详解 一、工具初探一ComfyUI应用场景...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 task 01笔记
简介 从零入门AI生图原理&实践，是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习 适用人群： 想入门并实践 AIGC文生图、工...
-
LORA模型在Stable Diffusion中的注意力机制优化
LORA模型在Stable Diffusion中的注意力机制优化 引言 1.1 Stable Diffusion在生成模型领域的地位和作用 1.2 介绍LORA模型及其在微调预训练模型时的效率和灵活性 1.3 强调注意力机制在LORA模型优化...
-
Datawhale X 魔搭 AI夏令营-AIGC Task 02 精读代码，实战进阶 --笔记
前言 Task 01 通过预训练模型的调用，在baseline上跑通模型，实现内容→图片。即，根据prompt中输入的文本描述，模型生成对应的图片。Task 02 深入学习。 目录 一、AI生图技术 1.1 基础点 1.2 技术难点 1.3...
-
Datawhale X 魔搭 AI夏令营 AIGC人物风格赛
工具初探一ComfyUI应用场景探索 什么是ComfyUI GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI 是GU...
-
Datawhale X 魔搭 AI0夏令营 魔搭-AIGC文生图方向 Tsak 2 震惊！！！AI小白竟然用AI生成这种图片......
本文为AI方向小白记录暑期参加魔搭夏令营-AIGC文生图方向的Task 01 报名赛事链接：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制 欢迎所有小白，大神前来交流学习。 一.问题的提...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-LoRA学习笔记
LoRA（Low-Rank Adaptation）是一种用于优化大规模预训练模型的微调技术，特别适用于在资源有限的情况下，对模型进行高效且低成本的微调。LoRA的核心思想是通过低秩分解方法，仅微调模型的少数参数，从而显著减少计算成本和内存占用。 1. 背...
-
Datawhale X 魔搭 AI夏令营 第四期 AIGC task3
part 1：认识comfyUI 1.初识ComfyUI 1.1什么是Comfy UI GUI是"Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。...
-
基于LORA的Stable Diffusion模型在虚拟试衣中的应用
基于LORA的Stable Diffusion模型在虚拟试衣中的应用 引言 1.1 简述虚拟试衣的市场背景和技术需求 1.2 介绍LORA与Stable Diffusion模型的结合在虚拟试衣领域的潜力 1.3 强调基于LORA的Stable...
-
Datawhale X 魔搭 AI夏令营(AIGC Task3)学习笔记
目录 认识ComfyUI 1. 什么是 ComfyUI 2. ComfyUI 核心部件 3. ComfyUI 图片生成流程 4. ComfyUI 的优势 使用ComfyUI 下载ComfyUI: 运行ComfyUI： 自我学习： LOR...
-
Stable Diffusion整合包与手动本地部署结合内网穿透远程AI绘画
文章目录 前言 1. 本地部署Stable Diffusion Web UI 1.1 整合包安装 1.2 手动安装Stable Diffusion Web UI 2. 安装Cpolar内网穿透 3. 实现公网访问Stable Diffusi...
-
ACM MM2024 | 网易伏羲多模态研究再获国际认可，推动特定领域跨模态理解新突破
近日，第32届ACM国际多媒体学术会议（ACM International Conference on Multimedia，简称ACM MM）公布论文接收结果，网易伏羲最新研究成果《Selection and Reconstruction of Key...
-
Datawhale X 魔搭 AI夏令营 - AIGC方向（task01笔记）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、基础知识 二、实现步骤 1.克隆存储库： 2. 安装环境，然后重启kernel 3. 调整prompt 总结 前言 赛题介绍...
-
Datawhale AI 夏令营 “AIGC”方向 Task1：从零入门AI生图原理&实践
Task1：从零入门AI生图原理&实践 提示：本文为对平台文档的解读注释和补充 Task1：从零入门AI生图原理&实践 Task1：从零入门AI生图原理&实践 文生图 LoRA 提示词 模型参数解读和测试...
-
用Ollama 和 Open WebUI本地部署Llama 3.1 8B
说明： 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B 简介 Ollama是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama 的主要功能是在Docker容器内部署和...
-
如何高效微调多模态Transformers模型：从入门到实践指南
多模态大模型（Multimodal Large Models）是能够处理多种类型数据（如文本、图像、音频等）的机器学习模型。transformers 是当前多模态大模型中的一种重要架构。 目录 Transformers简介 多模态Transforme...
-
Datawhale X 魔搭 AI夏令营 第四期 魔搭-AIGC方向 Task03笔记
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。 Datawhale官方的速通教程链接： Task 1...
-
Datawhale Al夏令营 AIGC方向 task2
1、代码解读 1.1、安装 Data-Juicer 和 DiffSynth-Studio # 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor # 安...
-
Llama中文大模型-模型微调
同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685 ”以及...
-
每天免费100万token，GPT-4o新增微调功能
OpenAI向所有开发者推出GPT-4o数据微调功能，可以使用自己的数据打造准确率、输出模式更好的个性化ChatGPT助手。 例如，韩国最大电信运营商SK Telecom通过OpenAI的数据微调功能，打造了特定的AI助手，使对话总结准确率提高了35%，意...
-
【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人
系列篇章? No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
论文阅读-Transformer Layers as Painters
1. 摘要 尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且...
-
Datawhale X 魔塔AI夏令营 ——从零入门AI生图原理&实践_task 1
一. 基础知识 1.1 文生图发展历史 1.2 文生图基础知识 文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。 1.2.1 文生图流程图 1. 输入提示词 ...
-
微调（一）
微调有两种办法， 一是模型全部参数的微调，二是少量参数高效的微调。前者由于参数多，需要的GPU多，并且全参数微调可能把模型带偏，后者只需要微调少量参数，需要的GPU少，还可能达到不错的效果，成为大家研究的重点，取了个专有名词Parameter-Effic...
-
尝试问AI：什么是AIGC？
本文内容为AI生成 介绍一下什么是AIGC Q： 介绍一下什么是AIGC A： AIGC，全称为Artificial Intelligence Generated Content（人工智能生成内容），是一种利用人工智能技术自动创造各种形式内...
-
运行Llama 2于本地CPU上的开源LLM推理指南
运行Llama 2于本地CPU上的开源LLM推理指南 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LLMs on CPU Inference Lo...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 学习笔记（一）
本期主要任务是了解AI文生图的原理并进行相关实践 下面是对baseline部分代码的功能介绍： 安装Data-juicere和DiffSynth-Studio !pip install simple-aesthetics-predictor !pip...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-task2知识总结
文生图背景 早期探索 （1960-1990） 最早出现于计算机视觉和图像处理。 早期图像生成技术主要依赖与规则和模板匹配，通过预定义的规则将文本转换为简单的图形。 受限于计算能力和算法，此阶段生成的图像质量较低，应用场景受限。 基于统计...
-
Datawhale X 魔搭 AI夏令营 “AIGC”方向 task1
一、任务要求 task1 的任务和上一期的类似，都是跑通给出的代码即可，没有太大难度。 具体要求是训练 Lora 模型，实现文生图，额外的要求是8张图片必须组成一个连贯的故事，需要一定的“写小作文”能力。 二、代码解析 下载数据集 这一步不用分析...
-
LLaMA-Factory全面指南：从训练到部署
项目背景与概述 LLaMA-Factory项目目标 LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。具体来说，LLaMA-F...
-
普通程序员必看！AIGC工程师岗位兴起，掌握AI技术成就高薪未来
随着人工智能技术的迅猛发展，AIGC（AI Generated Content）已成为行业的新热点。作为普通程序员，面对这一变革，我们需要不断学习和掌握新的AI技术，以适应时代的需要。AIGC工程师这一新兴岗位也应运而生。 什么是AIGC工程师？...
-
Datawhale X 魔搭 AI夏令营第四期AIGC文生图方向Task1笔记
目录 前置知识 生成对抗网络（GAN） 大规模预训练模型 LoRA baseline一站式实现过程 下载baseline文件 安装环境，然后重启kernel 调整prompt 总结 前置知识 指导手册里写得很详细，这里写一...
-
Datawhale X 魔搭 AI夏令营第四期AIGC task1
本期夏令营AIGC方向是通过参加可图Kolors-LoRA风格故事挑战赛https://tianchi.aliyun.com/competition/entrance/532254，学习并实践文生图AIGC、工作流搭建、LoRA微调等技术。 赛题内容...
-
怎么使用Stable diffusion中的models
Stable diffusion中的models Stable diffusion model也可以叫做checkpoint model，是预先训练好的Stable diffusion权重，用于生成特定风格的图像。模型生成的图像类型取决于训练图像。...
-
AI绘画；（Stable Diffusion进阶篇：模型训练）
前言 在上一篇笔记中学习了解了一部分关于Stable Diffusion的运行原理，今天就来接着学习下Stable Diffusion关于微调训练方面的知识点。 今天没多少废话，因为我下午要去玩PTCG！让我们冲冲冲 整理和输出教程属实不易，觉得这...
-
AI绘画Stable Diffusion 新手入门教程：万字长文解析Lora模型的使用，快速上手Lora模型！
大家好，我是设计师阿威 今天给大家讲解一下AI绘画Stable Diffusion 中的一个重要模型—Lora模型，如果还有小伙伴没有SD安装包的，可以看我往期入门教程2024最新超强AI绘画Stable Diffusion整合包安装教程，零基础入门必备...
-
LLaMA-Factory：手把手教你从零微调大模型！
引言 随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言处理（NLP）领域扮演着越来越重要的角色。然而，预训练的模型往往需要针对特定任务进行微调，以提高其在特定领域的性能。LLaMA-Factory作为一个高效、易用的微调工具，为广大开发者提...
-
Stable Diffusion的常用命令行介绍及示例
Stable Diffusion是一种基于扩散模型的深度学习技术，它特别适用于生成高质量的图像。通过命令行操作，用户可以灵活配置Stable Diffusion模型，以满足不同的图像生成需求。本文将详细介绍Stable Diffusion的常用命令行参数，...
-
大模型行业，根本没有什么“真”开源？
最近一段时间开源大模型市场非常热闹，先是苹果开源了 70 亿参数小模型DCLM，然后是重量级的Meta的Llama 3.1 和Mistral Large2 相继开源，在多项基准测试中Llama 3. 1 超过了闭源SOTA模型。 不过开源派和闭源派之间的争...
-
Llama 3.1要来啦？！测试性能战胜GPT-4o
哎呀，Meta声称将于今晚发布的Llama 3.1，数小时前就在Hugging Face上泄露出来了？泄露的人很有可能是Meta员工？ 还是先来看泄露出来的llama3.1吧。新的Llama 3.1模型包括8B、70B、405B三个版本。 而经...
-
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
上文介绍了如何对微调后的模型进行使用与简单评估。本文将介绍对微调后的模型进行导出的过程。 一、llama-3微调后的模型导出 首先进入虚拟环境，打开LLaMA-Factory的webui页面 conda activate GLM cd LLaMA-F...
-
AIGC助力ResNet分类任务：跃升10个百分点
目录 AIGC?缓解数据稀缺问题❓ 论文研究的动机✏️ 作者是怎么做的❓ 实验配置? 实验结果? 结论✅ 实践? 要增强的裂缝图片 按照论文中的参数在stable-diffusionv1-5上进行textual inversion微调...
-
AIGC生成式人工智能
AIGC生成式人工智能 什么是生成式AI，什么是AIGC？今天我们来详细的认识一下： 生成式人工智能AIGC（Artificial Intelligence Generated Content）是人工智能1.0时代进入2.0时代的重要标志。...
-
AI绘画软件Stable Diffusion的Lora模型详解与使用教程
一、引言 在AI绘画领域，Stable Diffusion作为一种强大的文本到图像的生成模型，已经吸引了众多艺术家和爱好者的关注。而Lora（Low-Rank Adaptation）模型作为Stable Diffusion的一个重要扩展，进一步提升了模...
-
开源语音转文本 Speech-to-Text 大模型实战之Whisper篇
前言 随着深度学习技术的不断发展，语音转文本（Speech-to-Text，STT）技术取得了显著的进步。开源社区涌现了许多高效的STT大模型，为开发者提供了强大的工具。本文将以OpenAI推出的Whisper模型为例，详细介绍如何使用该模型进行语音转文...
-
每日AIGC最新进展(36)：以色列Lightricks提出视频中眼镜擦除技术V-LASIK、史蒂文斯理工学院提出实时交互式数字头像框架RITA、清华大学提出神经残差扩散模型Neural-RDM
Diffusion Models专栏文章汇总：入门与实战 V-LASIK: Consistent Glasses-Removal from Videos Using Synthetic Data 本文介绍了一种名为V-LASIK的视频编辑技术，...
-
AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！
9次迭代后，模型开始出现诡异乱码，直接原地崩溃!就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法?那就是——更多使用人类数据! 用AI生成的数据训练AI，模型会崩溃? 牛津、剑桥、帝国理工、多...
-
快速微调 Whisper 模型：LoRA 加速版
快速微调 Whisper 模型：LoRA 加速版 简述 在当今的AI世界中，模型的大小和复杂性已成为性能的关键驱动力。然而，这也带来了新的挑战：如何在有限的资源下对大型模型进行有效且高效的微调？现在，借助开源项目——Faster Whisper Fine...
-
Stable Diffusion模型训练 — Embeddings（附Demo）
文本反演 提到文本反演你可能会比较陌生，但它产出的模型类型Embeddings（词嵌入）一定是你出图过程里经常会使用到的，它是一种轻量、小巧的微调模型格式，文件名后缀一般为.pt（或.safetensor），每个Embeddings文件的大小在几KB到几...
-
（5-5-01）金融市场情绪分析：使用Llama 2 大模型实现财经信息的情感分析微调（1）
5.5 使用Llama 2 大模型实现财经信息的情感分析微调 情感分析在金融和经济领域具有重要意义，可以帮助企业从市场洞察、风险管理和投资决策等方面获得有价值的信息。然而，在金融和经济文本方面的标注数据相对稀缺，因此需要使用自然语言处理技术和预训练模型...