-
使用QLoRA对Llama 2进行微调的详细笔记
使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的，大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。 导入库...
-
如何创建 LoRA 并应用到 Stable Diffusion WebUI 里
本着觉知此事要躬行的态度，笔者没有去看任何国内的教程，依靠着纯粹在 Github 上翻阅原版代码仓库，找到了解决方案 准备数据集 LoRA 的特点就是几张图就够，并且不需要复杂的文本注释。 所以，你的数据集，就是一堆散装照片，缩放到正确的尺寸 (5...
-
Whisper + NemoASR + ChatGPT 实现语言转文字、说话人识别、内容总结等功能
引言 2023年，IT领域的焦点无疑是ChatGPT，然而，同属OpenAI的开源产品Whisper似乎鲜少引起足够的注意。 Whisper是一款自动语音识别系统，可以识别来自99种不同语言的语音并将其转录为文字。 如果说ChatGPT为计算机赋予了...
-
LLaMA-2论文阅读
1. 基本介绍 LLaMA-2是2023年7月24日Meta发布的LLaMA第二代，跟LLaMA-1几个显著区别: 免费可商用版本的大模型 context上下文增加了一倍，从2K变为了4K 训练的总token数从1.0T/1.4T增加为2.0T(...
-
使用gradio部署自己的AI应用 AI对话 和 AI绘画
gradio部署自己的 AI应用 AI对话（chatglm） 和 AI绘画（stable diffusion） 前言 提前准备： 开始 1，飞浆操作 2，部署 对话 和 绘画 3，natapp操作 4，api方式启动sd和glm 5，编写gr...
-
whisper语音识别部署及WER评价
1.whisper部署 详细过程可以参照：? 创建项目文件夹 mkdir whisper cd whisper conda创建虚拟环境 conda create -n py310 python=3.10 -c conda-forge...
-
星火大模型AI接口Spring中项目中使用【星火、AIGC】
星火大模型AI接口使用 讯飞的星火大模型是有免费版本赠送200万个Token，就个人学习来说完全够用了。 免费申请过后，到控制台，两个红色方框是最要紧的。 星火认知大模型Web文档 | 讯飞开放平台文档中心 (xfyun.cn 这是官方文档...
-
2023年的深度学习入门指南(20) - LLaMA 2模型解析
2023年的深度学习入门指南(20 - LLaMA 2模型解析 上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA 2的模型部分。 这一部分需要一些深度神经网络的...
-
Java对接百度文心一言，Java发送POST请求,类似前端AJAX
这是项目中使用的对接百度文心一言后端代码 public class BaiduChatApi { private static String CHAT_URL = "https://aip.baidubce.com/rpc/2.0/ai_cus...
-
在中文LLaMA模型上进行精调
最近在开源项目ymcui/Chinese-LLaMA-Alpaca的基础上完成了自己的中文模型精调工作，形成了两个工具共享给大家。ymcui/Chinese-LLaMA-Alpaca 构建指令形式的精调文件 如果用于精调，首先要准备精调数据，目标用途如...
-
用diffuser代码方式打造Ai作画流水线（1）
背景： stablediffusion已经成为作画人的标配，通过sd的ps插件，或者通过SD webui就可以快速的构建出一套属于自己的Ai作画环境。这种可视化的界面确实方便也是更好艺术家个代码工程师协同合作的模式，可视化界面方便艺术家创造，需要...
-
【A卡，Windows】stable diffusion webui下载安装避坑指南
观前提醒 本文内容都是本人亲身经历的，一个一个安装下载测试所感，当然如果你更想用傻瓜式集成包的，那还是跳过这篇文章吧。 当然我不推荐这篇文章的操作，因为我用了差不多1h才有一副图，有N卡，就用N卡，这只是无奈之举而已，方便那些像我一样暂时没有换机子打...
-
微调 Code Llama 完整指南
一、前言 今天这篇文章将向大家详细介绍如何对 Code Llama 进行微调，让它变成适合 SQL 开发的有利工具。对于编程开发任务，经过适当微调后的 Code Llama 的性能通常都会比普通的 Llama 强很多，特别是当我们针对具体任务进行优化时:...
-
LLaMA 2: Open Foundation and Fine-Tuned Chat Models
LLaMA 2: Open Foundation and Fine-Tuned Chat Models Pre-training Fine-tuning Reward model RLHF 参考 Pre-training 数据层面...
-
Debug Stable Diffusion webui
文章目录 SD 前期预备 一些惊喜 TorchHijackForUnet Txt2Img 搭配 Lora 使用 单独运行 txt2img.py 获取所有资源 代码地址 参数 sd model 主程序 代码地址 参数(同上 模型Infe...
-
新的生图模型DeepFloyd IF来了，可以拳打Stable Diffusion，脚踢Dall-E？
简介： Stability AI与它的多模式AI研究实验室DeepFloyd共同宣布研究版本DeepFloyd IF的发布,这是一款强大的文text-to-image级联像素扩散模型（cascaded pixel diffusion model），复现了...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
计算机视觉中目标检测的数据预处理
本文涵盖了在解决计算机视觉中的目标检测问题时，对图像数据执行的预处理步骤。 首先，让我们从计算机视觉中为目标检测选择正确的数据开始。在选择计算机视觉中的目标检测最佳图像时，您需要选择那些在训练强大且准确的模型方面提供最大价值的图像。在选择最佳图像时，考...
-
AI绘画stable-diffusion-webui指定GPU运行
在cmd_args.py文件中，进行运行参数的设定，其中可以指定gpu信息 import argparse import os from modules.paths_internal import models_path, script_path, da...
-
逐行对比LLaMA2和LLaMA模型源代码
几个小时前（2023年7月18日），Meta发布了允许商用的开源模型LLaMA2。笔者逐行对比了LLaMA2模型源代码，和LLaMA相比，几乎没有改动，细节如下： 是否改动 LLaMA2 LLaMA 模型整体构架 无 Transformer T...
-
Stable Diffusion中人物生成相关的negative prompts
下面是常用的negative prompt，在使用stable Diffusion webui等工具生成时可以填入。 bad anatomy, bad proportions, blurry, cloned face, deformed, disfigur...
-
大模型微调踩坑记录 - 基于Alpaca-LLaMa+Lora
前言 为了使用开放权重的LLM(大语言模型 ，基于自己的训练集，微调模型，会涉及到如下一些技术要点： 配置运行环境 下载、加载基础模型 收集语料、微调训练 检验训练效果 在实施过程中，遇到不少困难，因此写下这篇文档，做为记录。 环境配置...
-
ubuntu使用whisper和funASR-语者分离-二值化
文章目录 一、选择系统 1.1 更新环境 二、安装使用whisper 2.1 创建环境 2.1 安装 2.1.1安装基础包 2.1.2安装依赖 3测试1 3测试2 语着分离 创建代码 `报错ModuleNotFoundError: N...
-
在Kaggle上使用Stable Diffusion进行AI绘图
前言 因为使用Stable Diffusion进行AI绘图需要GPU，这让其应用得到了限制 本文介绍如何在Kaggle中部署Stable Diffusion，并使用免费的P100 GPU进行推理（每周可免费使用30小时），部署好后可以在任意移动端使用...
-
图像相似度比较之 CLIP or DINOv2
在人工智能领域，计算机视觉的两大巨头是CLIP和DINOv2。CLIP改变了图像理解的方式，而DINOv2为自监督学习带来了新的方法。在本文中，我们将探索定义CLIP和DINOv2的强项和微妙之处的旅程。我们旨在发现这些模型中哪一个在图像相似度任务的世界...
-
Ubuntu llama 2搭建及部署，同时附问题与解决方案
本机环境： AMD Ryzen7480 OH with Radeon Graphics(16 CPUs ,~2.9GHz Card name: NVIDIA GeForce RTX 2060 虚拟机环境： 内存：4G 存储：100G 一、搭建...
-
OpenAI大洗牌？创始人Sam Altman 加入 Microsoft ？ChatGPT或许成为开源项目?
就在科技界因 OpenAI 创始人兼首席执行官被解雇的惊人消息而震动两天后，又传来了另一个重磅炸弹：萨姆·奥尔特曼 (Sam Altman 和格雷格·布罗克曼 (Greg Brockman 决定加入微软。虽然我觉得这个决定无异于搬起石头砸自己的脚。在...
-
gpt crawler：从URL爬取网站生成结构化知识，创建定制GPT
gpt crawler是一款强大的工具，能够将网站内容全面地爬取下来，并将其转换成结构化知识，为GPTs的学习提供了有力支持。 这个工具的应用场景广泛，比如，如果你想打造一个数字人分身，可以先将自己在社交媒体或个人博客上的内容抓取下来，然后提交给ChatG...
-
用检索增强生成让大模型更强大，这里有个手把手的Python实现
本文首先将关注 RAG 的概念和理论。然后将展示可以如何使用用于编排（orchestration）的 LangChain、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG。 检索增强生成是什么？ 检索增强生成（RAG）这一...
-
基于llama模型进行增量预训练
目录 1、llama模型转换(pytorch格式转换为HuggingFace格式 1.1、拉取Chinese-LLaMA-Alpaca项目 1.2、准备文件夹 1.3、下载llama官方原始模型 1.4、移动文件到指定位置 1.5、执行转换脚...
-
whisper执行ffmpeg时，报错： hp, ht, pid, tid = _winapi.CreateProcess(executable, args, 系统找不到指定的文件。
最近在用openai/whisper-small进行语音转文字任务时，想着自己下载模型在本地离线跑，但是遇到了一下问题： import whisper import wave import numpy as np download_root = r"\...
-
深入理解LLaMA, Alpaca, ColossalChat 系列模型
知乎：紫气东来https://zhuanlan.zhihu.com/p/618695885 一、从 LLaMA 到 Alpaca：大模型的小训练 1.1 LLaMA 概要与实践 LLaMA(Large Language Mo...
-
Upscayl：开源AI图像放大增强工具 | AIGC实践
连续写了两篇比较理论的文章——一篇行业思考，一篇技术讨论——可能劝退了很多不明真相的人民群众，一看后台数据，好么…… 马上周末了，今天分享一篇轻松小文，介绍一款开源免费、成熟度高、操作简单、效果显著的开源AI图像放大增强工具——Upscayl。...
-
计算机行业AIGC算力时代系列报告-ChatGPT芯片算力：研究框架
报告下载： 计算机行业AIGC算力时代系列报告-ChatGPT芯片算力：研究框架 简介 “AI算力时代已经来临，计算机行业正在经历着一场前所未有的变革！” 这是一个充满活力和兴奋的时代，人工智能（AI）已经成为了计算机行业中最为炙手可热的话题。随...
-
大语言模型-中文chatGLM-LLAMA微调
微调大语言模型-ChatGLM-Tuning大语言模型-微调chatglm6b大语言模型-中文chatGLM-LLAMA微调大语言模型-alpaca-lora 本地知识库大语言模型2-document ai解读大语言模型-DocumentSearch解...
-
大语言模型之七- Llama-2单GPU微调SFT
（T4 16G）模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb 在上一篇博客提到两种改进预训练模型性能的方法Retrieval-Augmented Gener...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
Omniverse Replicator环境配置和使用说明
Omniverse Replicator使用说明 本教程将介绍Omniverse Replicator的环境配置和使用说明, 参加Sky Hackathon的同学可以参考本教程来合成训练数据集. 文章目录 Omniverse Repl...
-
Stable Diffusion系列（一）：古早显卡上最新版 WebUI 安装及简单操作
文章目录 Stable Diffusion安装 AnimateDiff插件适配 sdxl模型适配 Stable Diffusion使用 插件安装 界面设置 基础文生图 加入lora的文生图 Stable Diffusion安...
-
被开48小时后，「访客」Sam Altman重返OpenAI总部，马斯克呼吁披露真相
在这场 OpenAI 的「宫斗剧」中，谁会是最大的赢家和输家，一切只有等尘埃落定才能知晓。 自上周六早晨被 OpenAI 开除过去了48个小时，Sam Altman 回到了 OpenAI 旧金山总部。不过这次他是以「访客」的身份回公司的。他在 X 上表示，...
-
Altman王者归来！强势要求解散董事会，OpenAI终极宫斗一触即发
从被扫地出门到王者回归，乔布斯用了12年，而Sam Altman，仅仅用了两天。 现在，Altman已经以胜利者的姿态重返OpenAI探讨自己的去留问题，并且对董事会提出了新的要求—— 「更换现有的董事会成员，并且得到证明自己并无过错的声明。」 简单来说...
-
揭秘百度文心一言大模型：设计、应用与实战
导言 在当今的深度学习领域，大型预训练模型如GPT、BERT等已经取得了显著的进展。而百度公司的文心一言大模型，作为一款基于Transformer结构的巨型模型，也在自然语言处理领域产生了重大影响。本文将详细介绍文心一言大模型的设计原理、特点以及应用场...
-
用 7 行代码在本地运行 Llama 2！（苹果silicon-mac m1 m2）项目源码含模型
总而言之： xcode-select --install # Make sure git & clang are installed git clone https://github.com/ggerganov/llama.cpp.git cd...
-
Stable Diffusion - API和微服务开发
Stable Diffusion 是一种尖端的开源工具，用于从文本生成图像。 Stable Diffusion Web UI 通过 API 和交互式 UI 打开了许多这些功能。 我们将首先介绍如何使用此 API，然后设置一个示例，将其用作隐私保护微服务以从...
-
BeautifulPrompt：PAI 推出自研 Prompt 美化器，赋能 AIGC一键出美图
背景 Stable Diffusion（SD）是一种流行的AI生成内容（AI Generated Content，AIGC）模型，能在文字输入的基础上生成各种风格多样的图像。在目前的AIGC方向，SD是开源社区最热门的模型。然而，SD能够生成高颜值的图像...
-
百度文心一言接入教程-Java版
原文链接 前言 前段时间由于种种原因我的AI BOT网站停运了数天，后来申请了百度的文心一言和阿里的通义千问开放接口，文心一言的接口很快就通过了，但是文心一言至今杳无音讯。文心一言通过审之后，很快将AI BOT的AI能力接入了文心一言，这里记录一下具...
-
AIGC：【LLM（一）】——LoRA微调加速技术
文章目录 一.微调方法 1.1 Instruct微调 1.2 LoRA微调 二.LoRA原理 三.LoRA使用 一.微调方法 Instruct微调和LoRA微调是两种不同的技术。 1.1 Instruct微调 Instr...
-
Stable Diffusion8
也写到第八了 ~~ 这次还是和mac相关哦~~ 先吹吹,苹果亲自下场优化，在iPhone、iPad、Mac等设备上以惊人的速度运行Stable Diffusion就是这么简单。 输入一句话就能生成图像的 Stable Diffusion 已经火爆数月...
-
动手做个mini智能助理--数据准备（2）
背景： 这部分会介绍如何准备自己的数据，利用chatgpt的self-instruct的方式批量的生成平行语料对。chatgpt有超强的生成能力，并且chatgpt的生成结果有经过harmless、种族歧视、不和法规的过审过滤。所以我们可以考虑是...
-
Stable diffusion安装踩坑(win&Mac&iOS)
今天Apple官方支持了这个库，所以特意下载下来试试看，效果还不错，M芯片在深度学习领域第一次给人惊喜了。https://machinelearning.apple.com/research/stable-diffusion-coreml-apple-si...