-
Llama-factory源码详细解读
微调 采用逐行调试的方法，细节来看SFT代码 AutoModelForCausalLM...
-
Chinese-LLaMA-Alpaca-2模型量化部署&测试
简介 Chinese-LLaMA-Alpaca-2基于Meta发布的可商用大模型Llama-2开发, 是中文LLaMA&Alpaca大模型的第二期项目. 量化 模型的下载还是应用脚本 bash hfd.sh hfl/chinese-al...
-
Llama 3 模型微调的步骤
环境准备 操作系统：Ubuntu 22.04.5 LTS Anaconda3：Miniconda3-latest-Linux-x86_64 GPU： NVIDIA GeForce RTX 4090 24G Step 1. 准备conda环境 创...
-
Mistral AI 发布 Codestral-22B，精通 80+ 编程语言，22B 参数超越 70B Code Llama
前言 大型语言模型 (LLM 在代码生成领域展现出巨大的潜力，但现有的模型在支持的编程语言数量、生成速度和代码质量方面仍存在局限性。法国 AI 独角兽 Mistral AI 近期发布了其首款代码生成模型 Codestral-22B，宣称在多项指标上超越...
-
[AIGC] 深入理解 Crontab：定时任务的艺术
在 Unix 或者 Linux 环境下，有一种被广泛使用的工具可以帮助我们自动执行定时任务，那就是 crontab。本篇文章将带你详细了解 crontab 的相关知识。 文章目录 1. 什么是 Crontab 2. Crontab...
-
stable diffusion-v2.1-pytorch以文生图推理模型
Stable Diffusion Version 2 论文 DENOISING DIFFUSION IMPLICIT MODELS https://arxiv.org/pdf/2010.02502 模型结构 通过串联或更通用的交叉注意机制来调节LD...
-
llama factory 增量预训练代码解析 & .yaml文件传参和sh的不同 examples/train_lora/llama3_lora_pretrain.yaml
新版本(2024年后 的llama factory，改用了.yaml文件传参的方式，请问和原始的.sh传参方式有什么不同？ 新版本的 llama factory 框架使用 .yaml 文件来传递参数，相较于原始的 .sh 脚本传参方式，有一些显著的不...
-
whisper.cpp 学习笔记
whisper.cpp whisper.cpp 学习笔记 whisper 介绍 源码下载 源码编译 支持的模型 优化/加速 生成库文件 使用 whispe.cpp 的 demo 参考文献 whisper.cpp 学习笔记...
-
本地部署Stable Diffusion记录
环境：Windows10 1.安装python 3.10.6，不要装3.11，安装完后，设置python环境变量 Index of python-local/3.10.6 2.安装Git Git 3.clone web-ui 这步骤是下载sta...
-
使用LMDeploy部署和量化Llama 3模型
## 引言 在人工智能领域，大型语言模型（LLMs）正变得越来越重要，它们在各种自然语言处理任务中发挥着关键作用。Llama 3是近期发布的一款具有8B和70B参数量的模型，它在性能和效率方面都取得了显著的进步。为了简化Llama 3的部署和量化过程，lm...
-
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-...
-
【AIGC】HF-Mirror 使用说明（MacOS 版）
今天这篇文章主要是记录 HF-Mirror 的使用过程，官网上提供了 Linux 和 Windows 的使用方式。本人作为 MacOS 用户也将自己的使用办法记录一下，希望能够帮助到其他人。 HF-Mirror 是什么？ HF-Mirror 是大神...
-
Stable Diffusion安装记录II
文章目录 前言 0 更改python路径（跳过） 1 Torch is not able to use GPU 1.1 确认显卡 1.2 安装nvdia驱动 1.3 检查CUDA 1.4更改启动脚本 2 依赖安装 2.1 pip inst...
-
Stable Diffusion Mjdjourney新手超详细安装教程，亲测有效
安装 Stable Diffusion 需要一定的技术基础和系统配置。以下是基本的安装方法，适用于 Windows 系统。 前提条件 兼容的 GPU：建议使用支持 CUDA 的 NVIDIA GPU。 Python 3.7+：确保已安装 Pytho...
-
基于LLaMA-Factory微调Llama3
本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程 环境配置 # 1. 安装py3.10虚拟环境 conda create -n py3.10-torch2.2 python=3.10 source activate c...
-
大模型之路3：趟到了Llama-Factory，大神们请指点
各种AI工具和框架层出不穷，为开发者和研究者提供了前所未有的便利。当然了，也有困扰。尤其是对于动手能力越来越弱的中年油腻老程序员来说，更是难上加难。据说，嗯，据师弟说，说LlamaFactory凭借其独特的功能和优势，在AI领域（他所下载的代码和工具里），...
-
llama-factory-0.7.0微调llama3-8B-Instruct-262k
1.摘要 用llama-factory-0.7.0微调Llama-3-8B-Instruct-262k,微调数据是1.5k的论文审稿。 GPU配置是A40. 用llama-factory的0.7.1版本微调Llama-3-8B-Instruct-26...
-
stable diffusion生成图片权限报错，PermissionError: [Errno 13] Permission denied: ‘/tmp/gradio/tmpidsfdagq.png
因为我这边用的是远程服务器，我没有管理员权限，所以网上其他人说的sudo什么的方法对我都没有用，我又去找了其他的方法，在https://blog.csdn.net/wandererXX/article/details/136935596 这篇博客里面说到了...
-
ubuntu的stable-diffusion-webui安装和大模型使用
需要显卡基于Ubuntu20.04安装输入nvidia-smi有输出，可以查看cuda的版本 一.安装miniconda 1.下载最新的安装文件。在命令行中输入以下命令即可： wget https://repo.anaconda.com/minico...
-
mac安装Stable Diffusion
昨天帮别人安装Stable Diffusion，按照别人的文档设置发现一直报错，最后发现是需要先把模型下载好了放置到模型的文件夹后再运行安装。今天就写下整个安装过程。 1、安装Homebrew 复制到终端直接回车运行如下： /bin/bash -c...
-
『SD』Stable Diffusion WebUI 安装插件（以汉化为例）
theme: smartblue 本文简介 点赞 + 关注 + 收藏 = 学会了 Stable Diffusion WebUI 是允许用户自行安装插件的，插件的种类有很多，有将页面翻译成中文的插件，也有提示词补全插件，也有精细控制出图的...
-
在嵌入式处理器Jetson Orin上使用Whisper做语音内容识别（3）
1、简介 Nvidia的GPU+CUDA架构在大算力时代遥遥领先毫无疑问了，其通用的硬件特性使得它不再是以往的“显卡”，算力强大并且支持各种AI，软件生态的应用方式基本可以照搬PC端。相比于特定的核心NPU，它显得更加灵活，系统和显存的共用在带宽上有明显...
-
vim copilot插件安装使用
copilot简介 在使用不熟悉的开发语言或函数库进行开发工作时，虽然可以通过阅读开发文档或示例代码的方式学习开发，但这种方式学习成本较高、效率较低，且后续不一定会用上。 GitHub Copilot是一个由GitHub开发的机器学习工具，可以为开发者...
-
【Linux】详解core dump文件的作用以及用法&&ubuntu20.04下无法形成core dump文件的解决办法
说明 从第三大点开始讲解ubuntu20.04下无法形成core dump文件的解决办法。 一、core与term的区别 在之前讲过的信号中，终止进程的信号的动作分为两种，一种是core，一种是term。term（全称...
-
申请 meta llama 模型权重（超详细）
文章目录 1、github访问meta的llama项目 2、查看github项目下的README.md 3、填写申请信息（注意邮箱要与huggingface账户邮箱一致） 4、查看邮箱的邮件并了解下载教程（方案一） 5、Meta website...
-
【保姆级教程】Linux上部署Stable Diffusion WebUI和LoRA训练，拥有你的专属图片生成模型
0 写在前面 Stable Diffusion 是当前最火热的图像生成模型之一，目前已经广泛应用于艺术创作、游戏开发、设计模拟等领域，因其开源生态和易于使用而受到创作者的广泛关注，相比 Midjourney 而言，其最大的优势是完全免费，且拥有庞大的社...
-
Llama-Factory 简介 二， 脚本详解 LLaMA-Factory/src/train_bash.py LLaMA-Factory/src/llmtuner/train/pt/workfl
examples/ ├── lora_single_gpu/ │ ├── pretrain.sh: 基于 LoRA 进行增量预训练 │ ├── sft.sh: 基于 LoRA 进行指令监督微调 │ ├── reward.sh: 基于 LoRA...
-
llama_factory微调QWen1.5
GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMsUnify Efficient Fine-Tuning of 100+ LLMs. Contribute to...
-
安装部署Stable Diffusion WebUI实现AI绘画
Stable Diffusion WebUI 安装部署 环境准备 下载代码 启动webu.sh 访问WebUI 其他异常 其他设置 开启VAE和CLIP 部分参数说明 安装插件 中文汉化插件 安装civitai插件 提示词插件 ol...
-
AIGC、LLM 加持下的地图特征笔记内容生产系统架构设计
文章目录 背景 构建自动化内容生产平台 系统架构设计 架构详细设计 流程介绍 笔记来源 笔记抓取干预 笔记 AIGC 赋能 笔记 Rule 改写 笔记特征库构建 附录 Bash Cron 定时任务 Golang 与 Pyhon AIG...
-
AIGC: 4 IT从业者如何构建自己的AI知识体系
图片是我使用dall.e模型生成的图片， 提示词： 程序员系统学习OpenAI开发者平台系统学习。 我按照SCQA模型，来开始今天的内容。 S 场景 今天是2024年3月23日，我在深圳，从事IT行业，每个人从事的行业各不相同， 但是都在被AI冲...
-
速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型
对标 OpenAI 的法国 AI 独角兽 Mistral AI 有了新动作：首个代码大模型 Codestral 诞生了。 作为一个专为代码生成任务设计的开放式生成 AI 模型，Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码...
-
Mistral AI推首个代码生成模型Codestral 支持多种编程语言
Mistral AI 推出了其首个代码生成模型 Codestral，这是一个功能强大的工具，旨在帮助开发者提高编码效率和质量。 以下是 Codestral 的一些关键特性和优势: 支持多种编程语言: Codestral 能够支持超过80种编程语言，包括当...
-
Meta Llama 3本地部署
感谢阅读 环境安装 收尾 环境安装 项目文件 下载完后在根目录进入命令终端（windows下cmd、linux下终端、conda的话activate） 运行 pip install -e . 不要控制台，因为还要下载模型。这...
-
llama-factory SFT系列教程 (三)，chatglm3-6B 大模型命名实体识别实战
文章目录 文章列表： 简介 装包 数据集 lora 微调 API 部署 大模型预测 评估 缺少数据集 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与使用 llama-factory SFT...
-
llama_factory微调踩坑(自用)
环境配置 torch>=1.13.0已经不在支持CUDA11.3以下的版本了，CUDA版本必须升级，可以查看 nvidia-smi 在conda虚拟环境中安装的cuda版本必须<=CUDA Version 多GPU跑 c...
-
LLaMA-Factory微调LLama2
LLaMA-Factory(0.6.2版本 微调LLama2 1.下载安装 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e...
-
【Stable Diffusion系列】（一）：AI绘画本地部署教程
目录 一、总览 二、本地部署 1、安装cuda 2、安装python 3、安装git 4、方法一 1）获取安装包 2）update 3）run 5、方法二 1）git clone 2）双击webui-user.bat 3）更...
-
Llama模型下载
最近llama模型下载的方式又又变了，所以今天简单更新一篇文章，关于下载的，首先上官网，不管在哪里下载你都要去官网登记一下信息：https://llama.meta.com/llama2 然后会出现下面的信息登记网页： 我这里因为待业所以or...
-
1panel+MaxKB+Ollama+Llama Linux部署指南
目录 1.1panel安装 2.MaxKB 1.MaxKB登录 3.Ollama（gpu）安装 1.安装英伟达容器安装包 1.配置apt源 2.更新源 3.安装工具包 2.使用GPU运行...
-
轻薄本没有独立显卡如何运行stable diffusion
众所周知，Stable Diffusion WebUI 使用 GPU 模式运行。 一：检查自己显卡 打开任务管理器或者win+R 输入dxdiag 查看自己显卡状态 很明显一般轻薄本只会带有集显，不能满足stable diffusion要求所以我...
-
llama-factory SFT系列教程 (一)，大模型 API 部署与使用
文章目录 背景 简介 难点 前置条件 1. 大模型 api 部署 下一步阅读 背景 本来今天没有计划学 llama-factory，逐步跟着github的文档走，发现这框架确实挺方便，逐渐掌握了一些。 最近想使用 SFT 微调大模...
-
Stable Diffusion的安装和问题解决（附安装包和大模型）
小时候比较喜欢画画，如今AI盛行，各种绘画工具层出不穷，网上也看了很多，stable diffusion（sd）和midjunery（mj）算是主流，国内的文心、天工、甚至抖音什么的，我也尝试过，但是总的来说，跟sd和mj相比真的不好用。后来我找了网上一些...
-
MindSpore强化学习：使用PPO配合环境HalfCheetah-v2进行训练
本文分享自华为云社区《MindSpore强化学习：使用PPO配合环境HalfCheetah-v2进行训练》，作者： irrational。 半猎豹（Half Cheetah）是一个基于MuJoCo的强化学习环境，由P. Wawrzyński在“A Cat...
-
Ascend C 自定义PRelu算子
本文分享自华为云社区《Ascend C 自定义PRelu算子》，作者： jackwangcumt。 1 PRelu算子概述 PReLU是 Parametric Rectified Linear Unit的缩写，首次由何凯明团队提出，和LeakyRe...
-
Ascend C 自定义算子 Kernel Launch调用入门
本文分享自华为云社区《Ascend C 自定义算子 Kernel Launch调用入门》，作者： jackwangcumt。 1 Kernel Launch概述 根据官方说明文档的介绍，Ascend C对外开放核函数的基础调用（Kernel Lau...
-
stable diffusion webui ubuntu 安装和教程
0.环境： cuda:11.8 gpu:p40 torch:2.2.0+cu118 python:3.10.12 1.git clone 下来 GitHub - AUTOMATIC1111/stable-diffusion-webui: St...
-
20240203在Ubuntu20.04.6下配置stable-diffusion-webui.git
20240203在Ubuntu20.04.6下配置stable-diffusion-webui.git 2024/2/3 11:55 【结论：在Ubuntu20.04.6下，生成512x512分辨率的图像，大概需要11秒钟！】 前提条件，可以通过技术...
-
whisper、whisper.cpp、faster-whisper的比较
让我们比较一下当前的whisper、whisper.cpp和faster-whisper。 OpenAI / Whisper 自发布以来，似乎在各个方面都发生了变化，例如在 2022 年 12 月增加了 large-v2 模型和各种版本升级。 whis...
-
Ubuntu 22.04 LTS AIGC GPU环境搭建（NVIDIA 550.67+CUDA 12.4+cuDNN）
Ubuntu 22.04 LTS AIGC GPU环境搭建（NVIDIA+CUDA+cuDNN） 一、服务器信息 1.1 硬件配置 服务器名称 CPU（Intel® Xeon® W-2245） 显卡（NVIDIA Quadro RTX 60...