-
Code Llama使用手册
Code Llama 是 Llama 2 的一系列最先进的开放访问版本,专门用于代码任务,我们很高兴发布与 Hugging Face 生态系统的集成! Code Llama 已使用与 Llama 2 相同的宽松社区许可证发布,并且可用于商业用途。 今天,...
-
LLaMA Factory微调Llama3模型
LLaMA Factory是一款开源低代码大模型微调框架,集成了业界最广泛使用的微调技术,支持通过Web UI界面零代码微调大模型,目前已经成为开源社区内最受欢迎的微调框架。 💥GPU推荐使用24GB显存的A10(ecs.gn7i-c8g1.2xlar...
-
Datawhale X 魔搭 AI夏令营第四期 | AIGC文生图——进阶上分 实战优化 Task3笔记
Hi,大家好,我是半亩花海。在上一个任务中,我们逐行精读baseline,掌握了利用AI工具提升学习效率,并制作了话剧连环画,初步了解Secpter WebUI。今天,我们将深入探讨微调的基本原理及其参数,旨在优化效果。同时,介绍文生图工作流平台Comfy...
-
Datawhale AI夏令营第四期 AIGC方向 task02学习笔记
探探前沿:了解一下 AI生图技术 的能力&局限 今天我们的任务是对baseline的代码有一个更加细致的理解,然后我们会学习如何借助AI来提升我们的自学习能力,从而帮助大家在后面的学习工作中如何从容迎接各种挑战。授人以鱼不如授人以渔,你可以...
-
#Datawhale AI夏令营第4期#AIGC方向 文生图 Task2
Task2任务:对baseline的代码有一个更加细致的理解,然后学习如何借助AI来提升我们的自学习能力. 前沿知识:了解一下 AI生图技术 的能力&局限 AI生图技术,通常指的是使用人工智能(尤其是深度学习)来生成图像的技术。这类技术可以用于...
-
Datawhale夏令营第四期——从零入门AI生图AIGC方向 task1笔记总结
#目录# 一、夏令营内容介绍 适宜学习人群 学习内容提要 二、挑战赛介绍 比赛要求 样例 三、跑通...
-
Datawhale X 魔搭AI夏令营 第四期-AIGC文生图lora方向 Task2笔记
继task01跑通baseline之后,有时候回想起实例中那些自己摸不着头脑的代码片段,确实有些好奇,task2正好用借助通用大语言模型工具精读了一下这些代码片段,并进行了实战演练一一基于话剧的连环画制作。 (这里学习文档给出的大语言模型...
-
解锁黑科技!百度AppBuilder助你秒变开发者,轻松实现文心一言
在数字化浪潮席卷全球的今天,人工智能(AI)和大模型技术正以前所未有的速度改变着我们的世界。从自然语言处理到图像识别,从智能推荐到自动化决策,大模型以其强大的数据处理能力和学习能力,正成为推动科技创新的核心动力。 然而,对于许多开发者而言,如何高效、便捷...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 task02 精读代码,实战进阶
今天我们的任务是对baseline的代码有一个更加细致的理解,然后我们会学习如何借助AI来提升我们的自学习能力,从而帮助大家在后面的学习工作中如何从容迎接各种挑战。授人以鱼不如授人以渔,你可以从中学大模型的提问技巧来实现快速学习,学会如何制作一个话剧连环画...
-
“Datawhale X 魔搭” AI夏令营第四期:AIGC方向——Task2&Task3
背景介绍 AIGC技术 AIGC(AI-Generated Content 是指基于生成对抗网络、大型预训练模型等人工智能的技术方法,通过已有数据的学习和识别,以适当的泛化能力生成相关内容的技术。例如,通过输入关键词、描述或样本...
-
Datawhale X 魔搭 AI夏令营 AIGC Task2笔记
对于task2里的这几句话本人还是十分赞成的 定期关注AI生图的最新能力情况都十分重要: 对于普通人来说,可以避免被常见的AI生图场景欺骗,偶尔也可以通过相关工具绘图 对于创作者来说,通过AI生图的工具可以提效,快速制作自己所需要的内容 对...
-
【课程总结】day24(上):大模型三阶段训练方法(LLaMa Factory)
前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段,包括:预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码,实战进阶 笔记
在夏令营第四期Task1时,我们已经跑通了baseline,本期目的是对baseline的代码有一个更加细致的理解,学习如何借助AI来提升我们的自学习能力,理解每行代码的意思,从大模型提问技巧来实现自主学习,并学习如何制作一个连环画。 首先认识大语言模型...
-
Datawhale AI 夏令营 “AIGC”方向 Task1:从零入门AI生图原理&实践
Task1:从零入门AI生图原理&实践 提示:本文为对平台文档的解读注释和补充 Task1:从零入门AI生图原理&实践 Task1:从零入门AI生图原理&实践 文生图 LoRA 提示词 模型参数解读和测试...
-
Llama改进之——分组查询注意力
引言 今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA 1。 Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。多查询注意力2通过共享单个key和value头,同...
-
Llama-2-Open-Source-LLM-CPU-Inference 使用教程
Llama-2-Open-Source-LLM-CPU-Inference 使用教程 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LLMs on...
-
使用Python和Pillow创建照片马赛克应用
在这篇博客中,我们将探讨如何使用Python创建一个简单而有趣的桌面应用程序。我们的目标是构建一个应用,允许用户选择一张照片,然后在照片的右下角添加马赛克效果。这个项目将展示如何结合使用wxPython来创建图形用户界面(GUI 和Pillow库来处理图像...
-
Stable Diffusion | Gradio界面设计及webUI API调用
本文基于webUI API编写了类似于webUI的Gradio交互式界面,支持文生图/图生图(SD1.x,SD2.x,SDXL),Embedding,Lora,X/Y/Z Plot,ADetailer、ControlNet,超分放大(Extras),图片信...
-
1张Nvidia A100 80G部署Lamma3 70b 4bit的性能测试
这里写自定义目录标题 硬件 部署模型 硬件性能监控工具 GPU监控工具 CPU和系统内存监控工具 部署框架 命令 测试脚本与结果 输出定量token测试 prompt 脚本 Test Result 输入定量token测试 prom...
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码,实战进阶
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码,实战进阶 Part1:磨刀准备一一认识通义千问 会用ChatGpt就行 Part2:精读baseline——从零入门AI生图 1. 代码的主体架构...
-
Xinference安装及部署大模型
1. Xinference 介绍 Xorbits Inference (Xinference 是一个开源平台,用于简化各种 AI 模型的运行和集成。借助 Xinference,您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理...
-
Datawhale X 魔搭 AI夏令营-第四期 AIGC-Task 2
目录 认识AI助手——通义千问 操作指南 主要功能模块 精读baseline代码 分析代码的主体架构 逐行解释代码 其他疑问-向AI追问 进行实战——基于话剧的连环画制作 提示词准备 执行Task1的30分钟速通Baseline 修改...
-
Datawhale X 魔搭 AI夏令营 AIGC方向 Task02
参考教程:Docshttps://datawhaler.feishu.cn/wiki/KxI2wIeAJiRQWhkRt9dcqlNVnFR?from=from_copylink 精读baseline 代码整理 使用通义千问辅助理解baseline代...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 task02笔记
AI工具使用 1. baseline 代码 2. 使用通义千问理解代码 2.1 工作流程 2.2 逐行释意 3. 使用通义千问生成 Prompt 3.1 生成的 Prompt 3.1 根据 Prompt 生成的图片 1. b...
-
vllm 聊天模板
vllm 聊天模板 背景 如何使用chat template generation prompt & add_generation_prompt chat templates的额外输入 工具使用 / 函数调用 Chat Template...
-
Stable Diffusion最新XL版发布,最简单的一键安装包也升级了
7月初,Stable Diffusion发布了XL版及两个模型,当时仅有个别图形界面工具支持,如ComfyUI,操作不便,且很多常用插件无法使用。 最常用的WebUI并未第一时间支持。 前几天,WebUI在开发者模式支持XL的模型,很多绘画爱好者一拥而...
-
Datawhale Al夏令营 AIGC方向 task2
1、代码解读 1.1、安装 Data-Juicer 和 DiffSynth-Studio # 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor # 安...
-
Datawhale 魔搭 AI夏令营 第四期 AIGC方向 Tesk2 可图Kolors-LoRA模型进阶学习
AI生图的能力与局限 AI生图的原理 AI利用 深度学习技术来训练神经网络,训练过程中,神经网络会学习到真实图像中的纹理、结构、颜色等特征,并将这些特征应用于生成新的图像。从而生成具有高保真度的图像。训练后,通过输入关键提示词来让模型...
-
使用llama factory对语言模型微调,重塑自我认知,并部署于ollama上
本文记录了从环境部署到微调模型、效果测试并部署的全过程。 一 环境 如果使用autodl租赁服务器则不需要如下步骤,但是请注意llama_factory需要python、cuda等版本满足: 首先请确报你已经安装好了conda工具...
-
【Qwen2部署实战】Qwen2初体验:用Transformers打造智能聊天机器人
系列篇章💥 No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat:阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验:用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
Datawhale AI夏令营第四期魔搭- AIGC方向 task02笔记
大纲 一、前言 二、代码块解读 2.1 依赖包安装 2.2 数据集下载 2.3 metadata.jsonl文件生成(图片及对应标签) 2.4 设置data-juicer 配置文件并执行,处理metadata.jsonl文件生成result....
-
小白教程:Unsloth 打造属于自己的中文版Llama3
在定制化业务场景中,如果利用专属数据集,经过微调的大模型能够在多种任务上与GPT-4媲美,并支持本地部署,保护隐私,同时还能降低运算成本。最新推出的Llama3,作为当前性能最强的开源基础大模型,非常适用于自然语言处理、机器翻译、文本生成、问答系统、聊天机...
-
使用diffusers来训练自己的Stable Diffusion 3大模型
基于diffusers的Stable diffusion训练代码 这里给大家介绍一个基于diffusers库来训练stable diffusion相关模型的训练代码,包含Lora、ControlNet、IP-adapter、Animatediff,以及...
-
Datawhale X 魔搭 AI夏令营---AIGC Task2
目录 Datawhale X 魔搭 AI夏令营第四期-AIGC文生图方向 Task2:精读代码,实战进阶 0.0 一些link 0.1 任务内容 0.2 AI生图 0.3 **Kolors(可图)模型** 1.1 精读baseline——从...
-
从头开始微调Llama 3.1模型
在今天的科技专栏中,我们将深入探讨如何微调Llama 3.1模型,以使其更好地适应您的特定领域数据。微调大型语言模型(如Llama)的主要目的是为了在特定领域的数据上表现更好,从而生成更符合您需求的输出。以下是我们将要介绍的五个主要步骤: 安装必要的软...
-
Golang httputil 包深度解析:HTTP请求与响应的操控艺术
标题:Golang httputil 包深度解析:HTTP请求与响应的操控艺术 引言 在Go语言的丰富标准库中,net/http/httputil包是一个强大的工具集,它提供了操作HTTP请求和响应的高级功能。从创建自定义的HTTP代理到调试HTT...
-
Datawhale X 魔搭 AI夏令营 AIGC方向 task2笔记
纯小白,自学!从零入门AI生图(AIGC方向)基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展实践学习。#Datawhale X 魔搭 AI夏令营# 一、利用AI精读baseline学习代码 task2的目的是精读bas...
-
AIGC新手炼丹师快速生成属于自己的lora--示范样例:北条时行(出自:擅长逃跑的殿下)
目录 一.准备工作:安装stable-diffusion和sd-trainer 二.准备数据集 2.1确定你想要的数据集 2.2准备数据集 2.2.1对于人物类的数据集 2.2.2数据集的处理 2.2.3数据集所在文件夹参考位置(出于方便...
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task02笔记
一、探探前沿:了解一下 AI生图技术 的能力&局限 1. 为什么要了解AI生图前沿? AIGC(AI-Generated Content 是通过人工智能技术自动生成内容的生产方式,很早就有专家指出,AIGC将是未来人工智能的重点方向,也将改造相...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 task02笔记
1:精读baseline 这里我使用了ChatGPT 4o对吧baseline文件代码进行了解析(不知道为啥我的通义千问无法使用 。 GPT代码解析结果如下: 1. 环境设置与依赖安装 !pip install simple-aest...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task 1笔记
引言 本笔记可以作为学习手册的扩充版本,也是一份快速上手的指南。灰色的备注部分包含了关于步骤的详细解释和扩展内容,建议你可以先跳过这些备注,等完成所有步骤后再回头查阅。 第一步:搭建代码环境 1.1 申请阿里云PAI-DSW 阿里云PAI-D...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-task2知识总结
文生图背景 早期探索 (1960-1990) 最早出现于计算机视觉和图像处理。 早期图像生成技术主要依赖与规则和模板匹配,通过预定义的规则将文本转换为简单的图形。 受限于计算能力和算法,此阶段生成的图像质量较低,应用场景受限。 基于统计...
-
Datawhale AI夏令营第四期 AIGC方向 task02 初学者笔记
一、Prompt工程介绍:1、概念: Prompt工程,也称为提示工程或指令工程,是在自然语言处理(NLP)领域中一种重要的技术和方法。它主要用于指导预训练的大规模语言模型(Large Language Models, LLMs)生成高质量、准确且有针对...
-
Datawhale X 魔搭 AI夏令营–AIGC Task1
Datawhale X 魔搭 AI夏令营–AIGC Task1 文章目录 Datawhale X 魔搭 AI夏令营--AIGC Task1 赛事介绍 文生图基础知识介绍 实践操作 step0:开通阿里云PAI-DSW试用 step1...
-
llama-factory源码详解——以DPO为例
本文记录了我在学习 llama-factory过程中对代码运行过程的梳理 代码入口——src/train.py from llamafactory.train.tuner import run_exp def main( : run_exp...
-
多语言声音克隆,CosyVoice模型最强部署
CosyVoice是由阿里通义实验室开源的一款多语言语音理解模型,它主要聚焦于高质量的语音合成,能够生成自然且逼真的语音。 CosyVoice模型经过超过15万小时的数据训练,支持中文、英语、日语、粤语和韩语多种语言的合成,且在多语言语音生成、零样本语音...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 Task01笔记
第一次任务比较简单,只需要配置好环境,简单运行一次 项目背景 赛题任务 可图Kolors-LoRA风格故事挑战赛 1.参赛者需在可图Kolors 模型的基础上训练LoRA 模型,生成无限风格,如水墨画风格、水彩风格、赛博朋克风格、日漫风格........
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向 Task01笔记分享
目标:跑通baseline 目录 第一步-搭建代码所需环境 第二步-报名赛事 第三步-在魔塔世界创建免费PAI实例(实例使用完后记得关闭哦 第四步-使用阿里云免费算力 第五步-提交结果 第六步-美学分数 赛事链接:可图Kolors-Lo...
-
Datawhale X 魔搭 AI夏令营 “AIGC”方向 task1
一、任务要求 task1 的任务和上一期的类似,都是跑通给出的代码即可,没有太大难度。 具体要求是训练 Lora 模型,实现文生图,额外的要求是8张图片必须组成一个连贯的故事,需要一定的“写小作文”能力。 二、代码解析 下载数据集 这一步不用分析...
-
ComfyUI搭建教程
ComfyUI是一个功能丰富、高度可定制的Stable Diffusion操作界面,适合需要精细控制和高度自定义的用户。通过其模块化、低内存需求和快速启动等特点,ComfyUI为图像生成、AI研究、游戏开发等领域提供了强大的支持。 下载(需要科学上...