-
语言模型：GPT与HuggingFace的应用
本文分享自华为云社区《大语言模型底层原理你都知道吗？大语言模型底层架构之二GPT实现》，作者：码上开花_Lancer 。 受到计算机视觉领域采用ImageNet对模型进行一次预训练，使得模型可以通过海量图像充分学习如何提取特征，然后再根据任务目标进行模型...
-
强大到离谱！硬核解读Stable Diffusion（完整版）
原文链接： 硬核解读Stable Diffusion（完整版） 2022年可谓是AIGC（AI Generated Content）元年，上半年有文生图大模型DALL-E2和Stable Diffusion，下半年有OpenAI的文本对话大模型Ch...
-
【AI作画】stable diffusion webui Linux虚拟机 Centos 详细部署教程
部署环境： 环境：虚拟机Centos7、6处理器、8G内存+10G交换内存、没有GPU使用CPU硬解windows版本的可以直接使用整合包：看评论的转载链接自行下载，解压即可用 安装Git 2.15.1 提示：这里可能source后版本是1.8...
-
【深度学习】AIGC ，ControlNet 论文，原理，训练，部署，实战，教程（三）
文章目录 源码资源下载 Python环境 试玩controlnet 训练 数据准备 选一个Stable diffusion模型 开始训练 第一篇：https://qq742971636.blog.csdn.net/article/...
-
国内AI顶会CPAL论文录用结果放出！共计30篇Oral和60篇Spotlight
大家可能还记得，今年五月份公布的，将由国内大佬马毅和沈向洋牵头办的全新首届AI学术会议CPAL。 这里我们再介绍一下CPAL到底是个什么会，以防有的读者时间太久有遗忘—— CPAL（Conference on Parsimony and Learning...
-
Stable Diffusion - Stable Diffusion WebUI 图像生成工具的环境配置
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131528224 Stable Diffusion WebUI 是...
-
Stable Diffusion 让4090满血复活的方法 30+it/s
AI绘画的生成速度会受到以下因素的制约：torch版本、transformers版本、CUDA版本和cuDNN版本。 非40系显卡用户应使用最新的整合包以获得最佳速度。v3版整合包已经更新到torch 1.13.1、CUDA 11.7和transform...
-
教你文本生成图片——stablediffusion
今天来点轻松的话题，带大家玩一个用文字生成图片的模型。 相信大家如果关注AIGC领域，对文本生成图片，对Stablefiffusion、DEALL.E应该不陌生。今天给大家介绍的就是基于SD2 finetune出来的一个模型（） 这篇文章不会...
-
AI实战营：生成模型+底层视觉+AIGC多模态 算法库MMagic
目录 环境安装 黑白照片上色 文生图-Stable Diffusion 文生图-Dreambooth 图生图-ControlNet-Canny 图生图-ControlNet-Pose 图生图-ControlNet Animation 训...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
优化 Stable Diffusion --opt-sdp-attention
CUDA 12.1 + cuDNN 8.8 到 NVIDIA 官网下载这两个包。 把 cuDNN 中的 bin\*.dll，覆盖到 venv\Lib\site-packages\torch\lib。 cuda 包里面解压出来 cublas64_12....
-
Stable Diffusion Web UI + Anaconda环境 + 本地Windows系统部署
Stable Diffusion Web UI + Anaconda环境 + 本地Windows系统部署 最近的很多AIGC模型层出不穷，Stable Diffusion 模型作为一个开源的热门生成式模型，或许对未来的各行各业都能产生深远的影响，了解这...
-
在本地使用CPU运行Llama 2模型来实现文档Q&A
第三方商业大型语言模型（LLM）提供商，如OpenAI的GPT4，通过简单的API调用使LLM的使用更加容易。然而，由于数据隐私和合规等各种原因，我们可能仍需要在企业内部部署或私有模型推理。 开源LLM的普及让我们私有化部署大语言模型称为可能，从而减少了...
-
Stable Diffusion（Huggingface的方式安装）
Huggingface的方式安装 在Huggingface个人目录下有一个token号，这个tokens号要在服务器登陆的过程中进行添加； 1，在服务器登陆要输入huggingface登陆： huggingface-cli login # READ...
-
Meta教你5步学会用Llama2：我见过最简单的大模型教学
在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。 Meta 开源的 L...
-
AIGC时代，大模型微调如何发挥最大作用？
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是，训练一个大模型需要巨大的计算资源和时间，为了减少这种资源的浪费，微调已经成为一种流行的技术。微调是指在预训练模型的基础上，通过在小数据集上的训练来适应新的任...
-
【深度学习】Stable Diffusion AI 绘画项目搭建详解，并运行案例
文章目录 前言 1.安装环境 1.1 基础环境 1.2 权重文件 2.牛刀小试 2.1 用法在这里 3.封装api 总结 前言 先把人家的git放过来：https://github.com/CompVis/stable-dif...
-
AI绘画本地部署Stable Diffusion web UI
AI绘画本地部署Stable Diffusion web UI 一 、项目介绍 A browser interface based on Gradio library for Stable Diffusion. 项目地址：GitHub - AUTOM...
-
Meta语言模型LLaMA解读：模型的下载部署与运行代码
文章目录 llama2 体验地址 模型下载 下载步骤 准备工作 什么是Git LFS 下载huggingface模型 模型运行代码 llama2 Meta最新语言模型LLaMA解读，LLaMA是Facebook AI Re...
-
Linux 中的机器学习：Whisper——自动语音识别系统
Whisper 是一种自动语音识别 (ASR 系统，使用从网络收集的 680000 小时多语言和多任务数据进行训练，Whisper 由深度学习和神经网络提供支持，是一种基于 PyTorch 构建的自然语言处理系统，这是免费的开源软件。 安装Whisp...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
Ubuntu 20.04 LTS x86_64 安装 stable-diffusion-webui
官网 Stable Diffusion官网 Stability AI 官方github GitHub - Stability-AI/stablediffusion: High-Resolution Image Synthesis with L...
-
本地部署LLaMA-中文LoRA部署详细说明
在Ubuntu18.04 部署中文LLaMA模型 环境准备 硬件环境 AMD 5950X 128GB RAM RTX 3090(24G VRAM 操作系统 Ubuntu 18.04 编译环境(可选 llama...
-
简单尝试：ChatGLM-6B + Stable diffusion管道连接
核心思想是： 1. 抛去算法设计方面，仅从工程角度考虑的话，Stable diffusion的潜力挖掘几乎完全受输入文字影响。 2. BLIP2所代表的一类多模态模型走的路线是"扩展赋能LLM模型"，思路简单清晰，收益明显。LLM + Stable d...
-
stable-diffusion-webui的安装教程 ubuntu
自动安装 先clone代码： git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui 要在不创建虚拟环境的情况下通过 pip 安装所需的包，运行： python launc...
-
Window下部署使用Stable Diffusion AI开源项目绘图
Window下部署使用Stable Diffusion AI开源项目绘图 前言 前提条件 相关介绍 Stable Diffusion AI绘图 下载项目 环境要求 环境下载 运行项目 打开网址，即可体验 文字生成图像（txt2img） 庐山瀑...
-
大模型部署手记（12）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+text-gen+中文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：https://github.com/facebookresearch/llama 模型：chinese-alpaca-2-7b-hf 下载：使用百度网盘下载 硬件环境：暗影精灵7Plu...
-
百度商业AI 技术创新大赛赛道二：AIGC推理性能优化TOP10之经验分享
朋友们，AIGC性能优化大赛已经结束了，看新闻很多队员已经完成了答辩和领奖环节，我根据内幕人了解到，比赛的最终代码及结果是不会分享出来的，因为办比赛的目的就是吸引最优秀的代码然后给公司节省自己开发的成本，相当于外包出去了，应该是不会公开的。抱着技术共享及开...
-
用上这个工具包，大模型推理性能加速达40倍
英特尔® Extension for Transformer是什么？ 英特尔® Extension for Transformers[1]是英特尔推出的一个创新工具包，可基于英特尔® 架构平台，尤其是第四代英特尔® 至强® 可扩展处理器（代号Sapp...
-
英特尔推Extension for Transformers工具包 大模型推理性能提升40倍
在当前技术发展的背景下，英特尔公司推出的Extension for Transformers工具包成为一个重要创新，实现了在CPU上对大型语言模型（LLM）推理性能的显著加速。该工具包通过LLM Runtime技术，优化了内核，支持多种量化选择，提供更优的...
-
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm 已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工...
-
LLM-LLaMA：手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式；Step 2: 合并LoRA权重，生成全量模型权重】
准备工作 运行前确保拉取仓库最新版代码：git pull 确保机器有足够的内存加载完整模型（例如7B模型需要13-15G）以进行合并模型操作。 务必确认基模型和下载的LoRA模型完整性，检查是否与SHA256.md所示的值一致，否则无法进行合并...
-
使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA
由于LLaMA没有使用RLHF，后来有一个初创公司 Nebuly AI使用LangChain agent生成的数据集对LLaMA模型使用了RLHF进行学习，得到了ChatLLaMA模型，详情请参考：Meta开源的LLaMA性能真如论文所述吗？如果增加RLH...
-
【AI作画】使用stable-diffusion-webui搭建AI作画平台
一、安装配置Anaconda 进入官网下载安装包https://www.anaconda.com/并安装，然后将Anaconda配置到环境变量中。 打开命令行，依次通过如下命令创建Python运行虚拟环境。 conda env create n...
-
LLaMA 的学习笔记
LLaMA 是一种用于自然语言处理的深度学习模型，它的全称是 Language Learning with Adaptive Multi-task Architecture。它的主要特点是能够根据不同的任务自适应地调整模型结构和参数，从而提高模型的泛化能力...
-
Llama 2 来袭 - 在 Hugging Face 上玩转它
? 宝子们可以戳 阅读原文 查看文中所有的外部链接哟！ 引言 今天，Meta 发布了 Llama 2，其包含了一系列最先进的开放大语言模型，我们很高兴能够将其全面集成入 Hugging Face，并全力支持其发布。Llama 2...
-
大模型部署实战（一）——Ziya-LLaMA-13B
❤️觉得内容不错的话，欢迎点赞收藏加关注???，后续会继续输入更多优质内容❤️ ?有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）? 博主原文链接：https://www.yo...
-
服务器CentOS 7 安装 Stable Diffusion WebUI ，并映射到本地浏览器
目录 配置环境 下载安装Stable Diffusion WebUI 解决安装过程的报错 报错一： Couldn't checkout {name}'s hash: {commithash} 报错二：Couldn't determine St...
-
stable-diffusion-webui部署
Stable Diffusion于2022-08-23开源，点击体验 扩散模型的定义与采样方法 扩散模型通过定义一个不断加噪声的前向过程来将图片逐步变为高斯噪声，再通过定义了一个逆向过程将高斯噪声逐步去噪变为清晰图片以得到采样。 在采样过程中，根据是...
-
stable diffusion v1及v2版本 本地部署方法、踩坑
v1版本： 确保你至少有12G显存 git: GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion modelhttps://github.com/CompVis/s...
-
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身...
-
Peft库使用技巧（一）：合并基座模型与Lora模型【使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型】
使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型 # Copyright 2023 Rohan Taori, Ishaan Gulrajani, Tianyi Z...
-
decapoda-research/llama-7b-hf 的踩坑记录
使用transformers加载decapoda-research/llama-7b-hf的踩坑记录。 ValueError: Tokenizer class LLaMATokenizer does not exist or is not curre...
-
AIGC Stable Diffusion WebUI windows安装指南
安装电脑配置要求： NVIDIA显卡 显存>=4G（越大越好） 安装需要软件： git python cuda stable-diffusion-webui 梯子（魔法上网） 安装步骤： git安装 下载地...
-
在少样本学习中，用SetFit进行文本分类
译者 | 陈峻 审校 | 重楼 在本文中，我将向您介绍“少样本（Few-shot）学习”的相关概念，并重点讨论被广泛应用于文本分类的SetFit方法。 传统的机器学习（ML） 在监督（Supervised）机器学习中，大量数据集被用于模型训练，以便...
-
Llama 及 中文Alpaca模型部署测试
环境： Xeon E5-2680v4 16C 40G RAM WinServer 2019 Standard Edition Python 3.10 依赖库: accelerate==0.18.0 anyio==3.5.0 argon2-c...
-
使用stable diffusion生成图片
准备 硬件：有GPU的主机，显存6G+ 系统：windows10 或者 ubuntu 20.04 软件: anaconda 1.下载安装anaconda wget https://repo.anaconda.com/a...
-
在GPU云服务器中部署Stable Diffusion web UI
在GPU云服务器中部署Stable Diffusion web UI 1. 前言 2. 关于云服务器的选择 3. 关于机器的选择 4. 部署Stable Diffusion Python和CUDA 检查pip源 下载Stable Diffus...
-
如何使用GPTQ量化使LLM更轻
译者 | 李睿 审校 | 重楼 大型语言模型(LLM 应用的一大挑战是其耗费巨大的内存和计算需求，通常需要数十GB的GPU内存。这使得它们不仅昂贵而且难以运行。 为了缓解这些问题，研究人员开发了几种LLM压缩技术，其中包括“量化”。量化通过改变参数的存...
-
如何本地部署基于stable-diffusion的AI绘画（jupyter，python实现，详细，附代码）
基于stable - diffusion 的本地部署AI绘画教程 自从Stable Diffusion 1.0模型发布以来，“AI文本图片生成”真正的变成普通人也能使用的技术。同时各种国内外AI绘图软件，也不断频繁更新，AI绘画的关注度也越来越高...