-
Datawhale X 魔搭 AI夏令营-AIGC方向-LoRA学习笔记
LoRA（Low-Rank Adaptation）是一种用于优化大规模预训练模型的微调技术，特别适用于在资源有限的情况下，对模型进行高效且低成本的微调。LoRA的核心思想是通过低秩分解方法，仅微调模型的少数参数，从而显著减少计算成本和内存占用。 1. 背...
-
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
从早期的 GPT 模型到如今复杂的开放式 LLM，大型语言模型 (LLM 的发展已经取得了长足的进步。最初，LLM 训练过程仅侧重于预训练，但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和校准，这是由 ChatGPT 推广的。 自 Chat...
-
AI、AGI、AIGC与AIGC、NLP、LLM，ChatGPT区分
这些术语和技术都是人工智能（AI）领域的重要组成部分，它们之间有复杂的关系和相互交织的依存。以下是它们之间的关系和各自的定义： AI（人工智能）： 定义：AI是指能够执行通常需要人类智能才能完成的任务的系统。这包括感知、推理、学习、决策和自...
-
Datawhale X 魔搭 AI夏令营 第四期 AIGC task3
part 1：认识comfyUI 1.初识ComfyUI 1.1什么是Comfy UI GUI是"Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。...
-
LLAMA 3.1 论文的见解
这有什么大不了的？ LLAMA 3.1 的发布标志着 AI 开发的一个重要里程碑。开源模型首次接近领先的闭源模型的性能水平。这一转变预示着未来开源模型同样有效，任何人都可以灵活地修改和调整它们。马克·扎克伯格将此与 Linux 的开源性质进行了比较，...
-
Datawhale夏令营第四期——从零入门AI生图AIGC方向 task1笔记总结
#目录# 一、夏令营内容介绍 适宜学习人群 学习内容提要 二、挑战赛介绍 比赛要求 样例 三、跑通...
-
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三...
-
大模型算法必学，万字长文Llama-1到Llama-3详细拆解
导读 Llama系列的大语言模型在多个自然语言处理任务中表现出色，包括文本分类、情感分析和生成式问答，本质是使用 Transformer 架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3，值得读者点赞收藏！ 引言 在AI领域...
-
基于LORA的Stable Diffusion模型在虚拟试衣中的应用
基于LORA的Stable Diffusion模型在虚拟试衣中的应用 引言 1.1 简述虚拟试衣的市场背景和技术需求 1.2 介绍LORA与Stable Diffusion模型的结合在虚拟试衣领域的潜力 1.3 强调基于LORA的Stable...
-
Datawhale X 魔搭 AI夏令营(AIGC Task3)学习笔记
目录 认识ComfyUI 1. 什么是 ComfyUI 2. ComfyUI 核心部件 3. ComfyUI 图片生成流程 4. ComfyUI 的优势 使用ComfyUI 下载ComfyUI: 运行ComfyUI： 自我学习： LOR...
-
语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场
【新智元导读】就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了! Transformer...
-
“Datawhale X 魔搭” AI夏令营第四期：AIGC方向——Task2&Task3
背景介绍 AIGC技术 AIGC(AI-Generated Content 是指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。例如，通过输入关键词、描述或样本...
-
无需抠图！AI绘画直接文本生成透明底图层，设计师必看的ComfyUI透明图层生成工作流教程！（附插件模型）
大家好，我是画画的小强 AI 绘画自出现以来一直都在不断发展完善，实现了很多我们在实际应用中迫切需要的功能，比如生成正确的手指、指定的姿势、准确的文本内容等。上周，又一个重磅新功能在开源的 SD 生态内实现了——直接通过文本直接生成透明底图像和图层！这将...
-
英伟达最新技术分享：手把手教你用Llama 3.1合成数据改进模型！附代码
【导读】 适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。 Epoch AI上个月刚刚发文[预言数据墙」迫近，结果英伟达转头就甩出了340B开源巨兽Ne...
-
Datawhale X 魔搭 AI夏令营 AIGC Task2笔记
对于task2里的这几句话本人还是十分赞成的 定期关注AI生图的最新能力情况都十分重要： 对于普通人来说，可以避免被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图 对于创作者来说，通过AI生图的工具可以提效，快速制作自己所需要的内容 对...
-
【课程总结】day24（上）：大模型三阶段训练方法(LLaMa Factory)
前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低...
-
Stable Diffusion整合包与手动本地部署结合内网穿透远程AI绘画
文章目录 前言 1. 本地部署Stable Diffusion Web UI 1.1 整合包安装 1.2 手动安装Stable Diffusion Web UI 2. 安装Cpolar内网穿透 3. 实现公网访问Stable Diffusi...
-
探索法律智能的新高度：Lawyer LLaMA 项目深度解析
探索法律智能的新高度：Lawyer LLaMA 项目深度解析 lawyer-llama中文法律LLaMA (LLaMA for Chinese legel domain 项目地址:https://gitcode.com/gh_mirrors/la/la...
-
ACM MM2024 | 网易伏羲多模态研究再获国际认可，推动特定领域跨模态理解新突破
近日，第32届ACM国际多媒体学术会议（ACM International Conference on Multimedia，简称ACM MM）公布论文接收结果，网易伏羲最新研究成果《Selection and Reconstruction of Key...
-
Datawhale X 魔搭 AI夏令营 - AIGC方向（task01笔记）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、基础知识 二、实现步骤 1.克隆存储库： 2. 安装环境，然后重启kernel 3. 调整prompt 总结 前言 赛题介绍...
-
Datawhale AI 夏令营 “AIGC”方向 Task1：从零入门AI生图原理&实践
Task1：从零入门AI生图原理&实践 提示：本文为对平台文档的解读注释和补充 Task1：从零入门AI生图原理&实践 Task1：从零入门AI生图原理&实践 文生图 LoRA 提示词 模型参数解读和测试...
-
WhisperX 安装与使用指南
WhisperX 安装与使用指南 whisperXm-bain/whisperX: 是一个用于实现语音识别和语音合成的 JavaScript 库。适合在需要进行语音识别和语音合成的网页中使用。特点是提供了一种简单、易用的 API，支持多种语音识别和语音...
-
具身智能又进一步！卡内基梅隆&Meta&苏黎世联邦实现虚拟人超灵活抓取
论文链接：https://arxiv.org/pdf/2407.11385 github链接：https://www.zhengyiluo.com/Omnigrasp-Site/ 亮点直击 本文设计了一种灵巧且通用的人形机器人运动表示，这显...
-
GOLLIE : ANNOTATION GUIDELINES IMPROVE ZERO-SHOT INFORMATION-EXTRACTION
文章目录 题目 摘要 引言 方法 实验 消融研究 题目 Techgpt-2.0:解决知识图谱构建任务的大型语言模型项目 论文地址：https://arxiv.org/abs/2310.03668 摘要 大...
-
用Ollama 和 Open WebUI本地部署Llama 3.1 8B
说明： 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B 简介 Ollama是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama 的主要功能是在Docker容器内部署和...
-
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡（六）
一、前言 本篇文章将使用LLaMA-Factory去合并微调后的模型权重，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。 二、术语介绍 2.1. LoRA微调 LoRA (Low-Ra...
-
如何高效微调多模态Transformers模型：从入门到实践指南
多模态大模型（Multimodal Large Models）是能够处理多种类型数据（如文本、图像、音频等）的机器学习模型。transformers 是当前多模态大模型中的一种重要架构。 目录 Transformers简介 多模态Transforme...
-
Datawhale X 魔塔 AI夏令营 AIGC方向Task1
小白学习笔记，如有错误请各位大佬指正 一、跑通baseline教程 Datawhale 教程链接Datawhale 二、baseline代码分析 1.安装库 !pip install simple-aesthetics-predictor !p...
-
Datawhale X 魔搭 AI夏令营 第四期 魔搭-AIGC方向 Task03笔记
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。 Datawhale官方的速通教程链接： Task 1...
-
一文看懂llama2（原理&模型&训练）
Llama2（大型语言模型2） Llama2（大型语言模型2）主要基于近年来火爆的Transformer架构。下面是Llama2的几个核心原理： Transformer 架构: Llama2采用了Transformer网络，它通过自注意力机制来处理...
-
探索音乐的智慧：MU-LLaMA 模型引领文本到音乐生成新纪元
探索音乐的智慧：MU-LLaMA 模型引领文本到音乐生成新纪元 MU-LLaMAMU-LLaMA: Music Understanding Large Language Model项目地址:https://gitcode.com/gh_mirrors/...
-
Datawhale Al夏令营 AIGC方向 task2
1、代码解读 1.1、安装 Data-Juicer 和 DiffSynth-Studio # 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor # 安...
-
ComfyUI中的sam模型国内下载方法
was-node-suite-comfyui这个节点安装的时候，有它内部的config配置文件，里面其实给了一些下载地址，配置文件里是这么写的： "sam_model_vith_url": "https://dl.fbaipublicfiles.com/...
-
Llama中文大模型-模型微调
同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685 ”以及...
-
即刻体验 Llama3.1就在Amazon Bedrock!
引言 在人工智能的浪潮中，大型语言模型（LLMs）不断推动着技术边界的扩展。Meta 最新推出的 Llama 3.1 模型系列，以其卓越的性能和广泛的应用前景，引起了业界的广泛关注。现在，激动人心的消息来了——Llama3.1 已经在 Amazon Be...
-
每天免费100万token，GPT-4o新增微调功能
OpenAI向所有开发者推出GPT-4o数据微调功能，可以使用自己的数据打造准确率、输出模式更好的个性化ChatGPT助手。 例如，韩国最大电信运营商SK Telecom通过OpenAI的数据微调功能，打造了特定的AI助手，使对话总结准确率提高了35%，意...
-
【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人
系列篇章? No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
江大白 | 视觉Transformer与Mamba的创新改进，完美融合（附论文及源码）
本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满。 原文链接：视觉Transformer与Mamba的创新改进，完美融合（附论文及源码） 以下文章来源于微信公众号：AI视界引擎 作者：AI引擎 链接：https://mp.weixin.q...
-
Datawhale AI夏令营第四期魔搭- AIGC方向 task02笔记
大纲 一、前言 二、代码块解读 2.1 依赖包安装 2.2 数据集下载 2.3 metadata.jsonl文件生成（图片及对应标签） 2.4 设置data-juicer 配置文件并执行，处理metadata.jsonl文件生成result....
-
论文阅读-Transformer Layers as Painters
1. 摘要 尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且...
-
Post-Training有多重要？AI2研究员长文详解前沿模型的后训练秘籍
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。 随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（...
-
最强模型Llama 3.1 405B正式发布，扎克伯格：开源引领新时代
刚刚，大家期待已久的 Llama 3.1 官方正式发布了！ Meta 官方发出了「开源引领新时代」的声音。 在官方博客中，Meta 表示：「直到今天，开源大语言模型在功能和性能方面大多落后于封闭模型。现在，我们正在迎来一个开源引领的新时代。我们公开...
-
【最新最热】开源引领未来：Llama 3.1震撼发布，405B参数超越闭源GPT-4，扎克伯格宣告AI分水岭到来
刚刚，备受瞩目的LIama 3.1震撼问世，荣耀加冕为大模型领域的最新王者！ 在横跨150余项基准测试的挑战中，LIama 3.1的405B版本以其卓越性能，不仅与当前顶尖的SOTA模型——GPT-4o及Claude 3.5 Sonnet并驾齐驱，更在多...
-
Datawhale X 魔塔AI夏令营 ——从零入门AI生图原理&实践_task 1
一. 基础知识 1.1 文生图发展历史 1.2 文生图基础知识 文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。 1.2.1 文生图流程图 1. 输入提示词 ...
-
微调（一）
微调有两种办法， 一是模型全部参数的微调，二是少量参数高效的微调。前者由于参数多，需要的GPU多，并且全参数微调可能把模型带偏，后者只需要微调少量参数，需要的GPU少，还可能达到不错的效果，成为大家研究的重点，取了个专有名词Parameter-Effic...
-
尝试问AI：什么是AIGC？
本文内容为AI生成 介绍一下什么是AIGC Q： 介绍一下什么是AIGC A： AIGC，全称为Artificial Intelligence Generated Content（人工智能生成内容），是一种利用人工智能技术自动创造各种形式内...
-
【已解决】报错“copying a param with shape torch.Size([1280, 1280]) from checkpoint”
在使用SDXL时，报错“copying a param with shape torch.Size([1280, 1280] from checkpoint, the shape in current model is torch.Size([1280,...
-
运行Llama 2于本地CPU上的开源LLM推理指南
运行Llama 2于本地CPU上的开源LLM推理指南 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LLMs on CPU Inference Lo...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 学习笔记（一）
本期主要任务是了解AI文生图的原理并进行相关实践 下面是对baseline部分代码的功能介绍： 安装Data-juicere和DiffSynth-Studio !pip install simple-aesthetics-predictor !pip...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-task2知识总结
文生图背景 早期探索 （1960-1990） 最早出现于计算机视觉和图像处理。 早期图像生成技术主要依赖与规则和模板匹配，通过预定义的规则将文本转换为简单的图形。 受限于计算能力和算法，此阶段生成的图像质量较低，应用场景受限。 基于统计...