-
使用LLaMA-Factory微调大模型
使用LLaMA-Factory微调大模型 github 地址https://github.com/hiyouga/LLaMA-Factory 搭建环境 git clone --depth 1 https://github.com/hiyouga/...
-
自动炼丹基于Llama-factory改写--学习记录
最近在使用llama-factory微调LLM，但是一个个手动修改基本的学习率，学习轮次有太麻烦了。在寻找有没有什么自动调参的办法，在github上看到Llama-factory支持Weights & Biases 记录实验数据自动微调，尝试了一下...
-
llama-factory微调工具使用入门
一、定义 环境配置 案例： https://zhuanlan.zhihu.com/p/695287607 chatglm3 案例 多卡训练deepspeed llama factory 案例Qwen1.5 报错 二、实现 环境配置 git cl...
-
LLaMA-Factory：开源的低代码大模型训练框架
LLaMA-Factory 是一个由零隙智能（SeamLessAI）开源的低代码大模型训练框架，它集成了业界最广泛使用的微调方法和优化技术，并支持众多开源模型的微调和二次训练。 一、功能特点 支持多种开源模型：LLaMA-Factory支持包括...
-
本地私有化部署开源大模型完整教程：LangChain + Streamlit+ Llama 【LLM大模型】
在过去的几个月里，大型语言模型(llm 获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm 是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使...
-
新手必看！Stable Diffusion 模型推荐，强烈建议收藏！
大家好！我是AI绘画安琪 最近有很多小伙伴说，刚接触Stable Diffusion想尝试AI绘图，但是打开C站面对这么多的模型不知道从何下手，而且模型内存还不小，外网下载速度也慢，一旦选择的模型不符合需求，就需要重新挑选和下载，折腾着一天的时间就过去了...
-
AIGC专栏13——ComfyUI 插件编写细节解析-以EasyAnimateV3为例
AIGC专栏13——ComfyUI 插件编写细节解析-以EasyAnimateV3为例 学习前言 什么是ComfyUI 相关地址汇总 ComfyUI EasyAnimateV3 节点例子 复杂例子-以EasyAnimateV3为例 节点文...
-
LLama Factory微调模型全流程，与peft库调用训练的adapter
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 LLama Factory微调流程 一、准备微调的数据集和模型 二、读取模型和数据进行训练 1.使用web ui 2.修改官方脚本（推荐） 第三，加载与推...
-
一键进阶ComfyUI！懂AI的设计师现在都在用的节点式Stable Diffusion！内附安装包
大家好，我是设计师阿威 目前使用 Stable Diffusion 进行创作的工具主要有两个：WebUI 和 ComfyUI。而更晚出现的ComfyUI凭借超高的可定制性和复现性迅速火遍全球。有设计师表示SD发布了XL1.0后，ComfyUI用它优秀的底...
-
【进阶】Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制）
Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本，发布了 14 个优化模型，并新增了多个预处理器，让它的功能比之前更加好用了，最近几天又连续更新了 3 个新 Reference 预处理器，可以直接根...
-
Llama-factory源码详细解读
微调 采用逐行调试的方法，细节来看SFT代码 AutoModelForCausalLM...
-
LLAma-Factory框架详细使用方法-0.8.3版本
一、安装 LLaMA Factory git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git #拉取代码到本地 cd LLaMA-Factory #进入...
-
强烈推荐！12 组超惊艳的 Midjourney 风格提示词！
前言 Midjourney 的 --sref random 随机风格功能推出之后，出现了很多对不同代码生成效果的探索。今天就为大家推荐 12 组我觉得非常惊艳的风格代码，将它们添加在提示词中，不需要写复杂的关键词就能得到高质量的指定风格，并且效果非常稳...
-
【AIGC绘画】Midjourney关键词分享（一）：场景关键词汇总
前言 Midjourney 是一个人工智能绘图工具，它可以根据用户提供的关键词自动生成图像。 Midjourney 关键词是指用于 Midjourney 这个 AI 绘画工具的文本提示，关键词的选择对于生成的图像至关重要，因为它们直接影响到AI对图像...
-
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
一，项目简介 LLama-Factory，大模型训练框架，支持多种模型，多种训练方式， 项目github地址：link 项目特色 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baic...
-
【Python】科研代码学习：十六 Model架构的代码细节，附架构图：Llama 为例 （v4.28.0）
【Python】科研代码学习：十六 Model与网络架构 的代码细节：Llama 为例（v4.28.0） 前言 导入依赖 `LlamaRMSNorm`：改进的 层正则化 `LlamaRotaryEmbedding`：旋转式位置编码 `Llama...
-
stable diffusion-v2.1-pytorch以文生图推理模型
Stable Diffusion Version 2 论文 DENOISING DIFFUSION IMPLICIT MODELS https://arxiv.org/pdf/2010.02502 模型结构 通过串联或更通用的交叉注意机制来调节LD...
-
llama factory 增量预训练代码解析 & .yaml文件传参和sh的不同 examples/train_lora/llama3_lora_pretrain.yaml
新版本(2024年后 的llama factory，改用了.yaml文件传参的方式，请问和原始的.sh传参方式有什么不同？ 新版本的 llama factory 框架使用 .yaml 文件来传递参数，相较于原始的 .sh 脚本传参方式，有一些显著的不...
-
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
什么是lora微调 LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。 环境准备 这次使用到的微调框架是llama-factory。这个框架集成了对多种模型进行各种训练的代码，少...
-
一键进阶ComfyUI！懂AI的设计师现在都在用的节点式Stable Diffusion
前言 _ 万字教程！奶奶看了都会的 ComfyUI 入门教程 推荐阅读 一、川言川语 大家好，我是言川。 阅读文章 > ](https://www.uisdc.com/comfyui-3 目前使用 Stable Diffusion...
-
Llama 3 超级课堂 作业
1.web demo部署 环境配置 conda create -n llama3 python=3.10 conda activate llama3 conda install pytorch==2.1.2 torchvision==0.16.2...
-
使用LLaMA-Factory微调Llama3大模型
一、基础模型下载 本文的背景是微调一个基于Llama3的中文版模型Llama3-8B-Chinese-Chat，用于中文指定领域的问答下游任务 1、HuggingFace官网直接下载 官网地址：https://huggingface.co/mo...
-
Amuse .NET application for stable diffusion
Amuse github地址：https://github.com/tianleiwu/Amuse .NET application for stable diffusion, Leveraging OnnxStack, Amuse seamlessl...
-
超简单！用AWS的Bedrock对Llama进行微调
哎，微调？听起来超难的！ 对吧。不过，用Amazon Bedrock的话，其实挺简单的。 Customize models in Amazon Bedrock with your own data using fine-tuning and conti...
-
AI绘画入门教学：ComfyUI工作流安装教程
ComfyUI 是专为 Stable Diffusion 打造的图形用户界面（GUI），采用了基于节点的操作方式。用户可以通过连接不同的模块（即节点）来创建复杂的图像生成流程。这些节点涵盖了多样的功能，包括加载检查点模型、输入提示文本、选择采样算法等。...
-
基于 Paimon 的袋鼠云实时湖仓入湖实战剖析
在当今数据驱动的时代，企业对数据的实施性能力提出了前所未有的高要求。为了应对这一挑战，构建高效、灵活且可扩展的实时湖仓成为数字化转型的关键。本文将深入探讨袋鼠云数栈如何通过三大核心实践------ChunJun 融合 Flink CDC、MySQL 一键入...
-
llama-factory训练RLHF-PPO模型
理论上RLHF（强化学习）效果比sft好，也更难训练。ppo有采用阶段,步骤比较多,训练速度很慢. 记录下工作中使用llama-factory调试rlhf-ppo算法流程及参数配置,希望对大家有所帮助. llama-factory版本: 0.8.2...
-
如何使用共享GPU平台搭建LLAMA3环境（LLaMA-Factory）
0. 简介 最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的[Compshare](https://www.compshare.cn/? ytag=GPU_lovelyyoshino_Lcsdn_...
-
LlamaFactory-Ollama-Langchain大模型训练-部署一条龙
前言 近些日子，大模型火的一塌糊涂，那么现在就有义务要学习一套好用的、从 dataset --> train --> deploy 的一整套流程，好拿来装逼。话不多说，进入正题 Train 框架 目前好用的框架太多，如BELLE, C...
-
【AIGC】HF-Mirror 使用说明（MacOS 版）
今天这篇文章主要是记录 HF-Mirror 的使用过程，官网上提供了 Linux 和 Windows 的使用方式。本人作为 MacOS 用户也将自己的使用办法记录一下，希望能够帮助到其他人。 HF-Mirror 是什么？ HF-Mirror 是大神...
-
本地搭建LLaMA-Factory环境进行大模型调优
LLaMA Factory LLaMA Factory快速对大模型进行快速调优，本文看一下如何本地搭建环境并调优，本文使用 ModelScope 社区中的模型，模型在国内，下载速度非常友好。 下载最新代码 ## LLaMA Factory官方 git...
-
快速部署stable diffusion@Ubuntu
Stable Diffusion可以根据文本描述生成相关的图像，是当前最热门的文生图模型。 在Ubuntu下，可以选择快速安装，或者手动一步步安装。 快速安装 使用文档中的方法，先下载一个sh文件，然后执行这个文件，就自动安装依赖，自动启动服务了...
-
AI绘画ComfyUI工作流安装教程，新手入门安装部署教程
ComfyUI 是专为 Stable Diffusion 打造的图形用户界面（GUI），采用了基于节点的操作方式。用户可以通过连接不同的模块（即节点）来创建复杂的图像生成流程。这些节点涵盖了多样的功能，包括加载检查点模型、输入提示文本、选择采样算法等。...
-
LLaMA-Factory微调多模态大语言模型教程
本文旨在结合笔者自身的实践经历，详细介绍如何使用 LLaMA-Factory 来微调多模态大语言模型。目前仓库已支持若干流行的MLLM比如LLaVA-1.5，Yi-VL，Paligemma等。 2024.5.29 注：本文后续不再更新，如果想了解更新的特...
-
在Windows下搭建Stable Diffusion环境中途出错咋弄？
在Windows下搭建Stable Diffusion环境需要以下几个步骤： 安装Git和Anaconda 首先，确保你的计算机上已经安装了Git和Anaconda。如果没有安装，可以分别访问官方网站进行下载和安装： Git: https://git...
-
LLM记录：五一 Llama 3 超级课堂
LLM记录：五一 Llama 3 超级课堂 想玩大模型，自己又没那个环境，参加五一 Llama 3 超级课堂，简单记录一下llama3-8b的相关体验，实在是邀请不到人，还好后面开放了24G显存，好歹模型能跑起来了，只能说感谢大佬！ Llama 3...
-
Python - 深度学习系列30 - 使用LLaMA-Factory微调模型
说明 最实用的一种利用大语言模型的方式是进行微调。预训练模型与我们的使用场景一定会存在一些差异，而我们又不可能重头训练。 微调的原理并不复杂，载入模型，灌新的数据，然后运行再训练，保留checkpoints。但是不同项目的代码真的不太一样，每一个都要...
-
Midjourney 控图王炸：局部重绘
你是不是也遇到过，明明想要一个白色的兔耳朵偏偏给我红色的兔耳朵，在尝试了修改权重后还是无果。 你是不是也遇到过，终于经过 28 次刷新发送生成了一张老板满意的图片，老板突然说能不能把这个沙发换个颜色？ 恭喜你，这个时候不用打开 PS，直接继续 midj...
-
2024年10大最强AI绘画工具，四步完成在线免费AI绘画！
随着人工智能技术的快速发展，AI绘画已经成为艺术创作领域的一个重大突破。2024年，我们见证了多个AI绘画网站如雨后春笋般涌现，它们提供了强大的工具，让艺术家和爱好者们能够在线免费创作出令人惊叹的艺术品。 本文整理了10款最强AI绘画工具，不需要很懂程序...
-
Llama 3 Web Demo 部署- XTuner 小助手微调- LMDeploy 部署 Llama 3
1 Llama 3 Web Demo 部署 本博客为基于机智流、Datawhale、ModelScope：Llama3-Tutorial（Llama 3 超级课堂）的作业。 1.1 环境部署 使用VSCode远程连接InterStudio开发机，并配...
-
Meta-Llama-3-8B-Instruct本地推理
Meta-Llama-3-8B-Instruct 本地推理 基础环境信息（wsl2安装Ubuntu22.04 + miniconda） 使用miniconda搭建环境 (base :~$ conda create --name pyto...
-
Spring Boot后端调用文心一言响应式问答
Spring Boot后端调用文心一言响应式问答 1.获取文心服务 要在我们的后端服务中接入文心一言，就要获取文心的服务，首先我们要进入百度智能云中注册一个账号：https://console.bce.baidu.com/qianfan/ais/...
-
transformers 阅读：Llama 模型
正文 学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。 层归一化 LlamaRMSNorm transformers 中对于 Llam...
-
diffusers flask streamlit或gradio 简洁可视化AIGC文生图页面
参考： https://python-bloggers.com/2022/12/stable-diffusion-application-with-streamlit/ https://github.com/LowinLi/stable-diffusion...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
【AI绘画/作图】风景背景类关键词模板参考
因为ds官网被墙,所以翻了IDE的源码整理了下stablestudio里的官方模板，顺便每个模板生成了一份…不知道怎么写关键词的可以参考 Stunning sunset over a futuristic city, with towering skys...
-
Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理
原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch 了解在 CPU 上部署 Meta* Llama 3 时如何减少模型延迟 2024 年 4 月 19 日 万...
-
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（十） 使用 LoRA 微调常见问题答疑
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
Stable Diffusion ComfyUI 基础教程 ComfyUI安装与常用插件
前言： 相信大家玩 Stable Diffusion（以下简称SD）都是用的 web UI 操作界面吧，不知道有没有小伙伴听说过 ComfyUI。 ComfyUI 是 一个基于节点流程的 Stable Diffusion 操作界面，可以通过流程，...
-
一文教你在MindSpore中实现A2C算法训练
本文分享自华为云社区《MindSpore A2C 强化学习》，作者：irrational。 Advantage Actor-Critic (A2C 算法是一个强化学习算法，它结合了策略梯度（Actor）和价值函数（Critic）的方法。A2C算法在许多强...