-
LLaMA-Factory使用V100微调ChatGLM2报错 RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘
微调命令 CUDA_VISIBLE_DEVICES=0 python /aaa/LLaMA-Factory/src/train_bash.py \ --stage sft \ --model_name_or_path /aaa/LLaMA...
-
llama.cpp部署通义千问Qwen-14B
llama.cpp是当前最火热的大模型开源推理框架之一，支持了非常多的LLM的量化推理，生态比较完善，是个人学习和使用的首选。最近阿里开源了通义千问大语言模型，在众多榜单上刷榜了，是当前最炙手可热的开源中文大语言模型。今天在github上看到前几天llam...
-
Colab Stable Diffusion使用教程
使用网址链接： https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb 记录一下跟的网上的教程遇...
-
MiniGPT-4 and LLaMA 权重下载
MiniGPT-4 权重文件下载 权重文件下载 官方下载 https://huggingface.co/docs/transformers/main/model_doc/llama 填写表单，等待申请 磁力下载 磁力 magnet:...
-
夸张！EMNLP投稿近5000篇，奖项出炉：北大、腾讯摘最佳长论文
EMNLP 是自然语言处理领域的顶级会议之一，EMNLP 2023 于 12 月 6 日 - 10 日在新加坡举行。 因为今年 ChatGPT 的爆火带动大模型、NLP 概念，EMNLP 2023 的投稿论文数量也达到近 5000 篇，甚至略高于 AC...
-
LLM-SFT，新微调数据集-MWP-Instruct(多步计算 + 一、二元方程)，微调Bloom, ChatGLM, LlaMA(支持QLoRA, TensorBoardX)
LLM-SFT 中文大模型微调(LLM-SFT , 支持模型(ChatGLM, LlaMA, Bloom , 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX , 支持(微调, 推理, 测评, 接口 等. 项目...
-
linux部署stable diffusion
模型地址：https://github.com/CompVis/stable-diffusion 下载代码库 git clone https://github.com/CompVis/stable-diffusion.git 2.创建虚拟环境 #...
-
导出LLaMA ChatGlm2等LLM模型为onnx
通过onnx模型可以在支持onnx推理的推理引擎上进行推理，从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖，获得更好的性能等优势。 这篇博客（大模型LLaMa及周边项目（二） - 知乎）进行了llama导出onnx的开创性...
-
【AI绘画】AI绘画乐趣：稳定增强扩散技术展现
目录 前言 一、Stable Diffusion是什么？ 二、安装stable-diffusion-webui 1. python安装 2. 下载模型 3. 开始安装： 4. 汉化： 5. 模型使用： 6. 下载新模型： 7. 基础玩法 三...
-
使用Stable Diffusion进行Ai+艺术设计(以智慧灯杆为例)
目录 一. 安装环境 二. 配置模型 2.1 stable diffusion v1 2.2 运行并测试生成效果 Stable Diffusion 是一种以 CLIP ViT-L/14 文本编码器的（非池化）文本嵌入为条件的潜在扩散...
-
stable-diffusion-webui 安装
一、安装 https://blog.csdn.net/weixin_72056722/article/details/126651703 卸载cpu版本的torch并离线安装对应的gpu版本 1、安装gpu ，速度从一小时加速到3分钟 torch...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
AI作画，国风油画风随心定制~ Stable Diffusion模型使用，三步就上手
前言 最近，AIGC（即AI Generated Content，是指利用人工智能技术来生成内容）真的是火出了天际。除了被挤到服务器满负荷的chatGPT，另一个也颇受瞩目的领域当属AI作画了。利用开源的一类“扩散（diffusion）”模型，你可...
-
安装stable-diffusion
安装流程： 下载stable-diffusion源码 <https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/tag/v1.2.1> 安装python &l...
-
在 Mac M1 上运行 Llama 2 并进行训练
在 Mac M1 上运行 Llama 2 并进行训练 Llama 2 是由领先的人工智能研究公司 Meta （前Facebook）开发并发布的下一代大型语言模型 (LLM 。 它基于 2 万亿个公共数据 token 进行了预训练，旨在帮助开发人员和...
-
语言模型：GPT与HuggingFace的应用
本文分享自华为云社区《大语言模型底层原理你都知道吗？大语言模型底层架构之二GPT实现》，作者：码上开花_Lancer 。 受到计算机视觉领域采用ImageNet对模型进行一次预训练，使得模型可以通过海量图像充分学习如何提取特征，然后再根据任务目标进行模型...
-
强大到离谱！硬核解读Stable Diffusion（完整版）
原文链接： 硬核解读Stable Diffusion（完整版） 2022年可谓是AIGC（AI Generated Content）元年，上半年有文生图大模型DALL-E2和Stable Diffusion，下半年有OpenAI的文本对话大模型Ch...
-
【AI作画】stable diffusion webui Linux虚拟机 Centos 详细部署教程
部署环境： 环境：虚拟机Centos7、6处理器、8G内存+10G交换内存、没有GPU使用CPU硬解windows版本的可以直接使用整合包：看评论的转载链接自行下载，解压即可用 安装Git 2.15.1 提示：这里可能source后版本是1.8...
-
【深度学习】AIGC ，ControlNet 论文，原理，训练，部署，实战，教程（三）
文章目录 源码资源下载 Python环境 试玩controlnet 训练 数据准备 选一个Stable diffusion模型 开始训练 第一篇：https://qq742971636.blog.csdn.net/article/...
-
国内AI顶会CPAL论文录用结果放出！共计30篇Oral和60篇Spotlight
大家可能还记得，今年五月份公布的，将由国内大佬马毅和沈向洋牵头办的全新首届AI学术会议CPAL。 这里我们再介绍一下CPAL到底是个什么会，以防有的读者时间太久有遗忘—— CPAL（Conference on Parsimony and Learning...
-
Stable Diffusion - Stable Diffusion WebUI 图像生成工具的环境配置
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131528224 Stable Diffusion WebUI 是...
-
Stable Diffusion 让4090满血复活的方法 30+it/s
AI绘画的生成速度会受到以下因素的制约：torch版本、transformers版本、CUDA版本和cuDNN版本。 非40系显卡用户应使用最新的整合包以获得最佳速度。v3版整合包已经更新到torch 1.13.1、CUDA 11.7和transform...
-
教你文本生成图片——stablediffusion
今天来点轻松的话题，带大家玩一个用文字生成图片的模型。 相信大家如果关注AIGC领域，对文本生成图片，对Stablefiffusion、DEALL.E应该不陌生。今天给大家介绍的就是基于SD2 finetune出来的一个模型（） 这篇文章不会...
-
AI实战营：生成模型+底层视觉+AIGC多模态 算法库MMagic
目录 环境安装 黑白照片上色 文生图-Stable Diffusion 文生图-Dreambooth 图生图-ControlNet-Canny 图生图-ControlNet-Pose 图生图-ControlNet Animation 训...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
优化 Stable Diffusion --opt-sdp-attention
CUDA 12.1 + cuDNN 8.8 到 NVIDIA 官网下载这两个包。 把 cuDNN 中的 bin\*.dll，覆盖到 venv\Lib\site-packages\torch\lib。 cuda 包里面解压出来 cublas64_12....
-
Stable Diffusion Web UI + Anaconda环境 + 本地Windows系统部署
Stable Diffusion Web UI + Anaconda环境 + 本地Windows系统部署 最近的很多AIGC模型层出不穷，Stable Diffusion 模型作为一个开源的热门生成式模型，或许对未来的各行各业都能产生深远的影响，了解这...
-
在本地使用CPU运行Llama 2模型来实现文档Q&A
第三方商业大型语言模型（LLM）提供商，如OpenAI的GPT4，通过简单的API调用使LLM的使用更加容易。然而，由于数据隐私和合规等各种原因，我们可能仍需要在企业内部部署或私有模型推理。 开源LLM的普及让我们私有化部署大语言模型称为可能，从而减少了...
-
Stable Diffusion（Huggingface的方式安装）
Huggingface的方式安装 在Huggingface个人目录下有一个token号，这个tokens号要在服务器登陆的过程中进行添加； 1，在服务器登陆要输入huggingface登陆： huggingface-cli login # READ...
-
Meta教你5步学会用Llama2：我见过最简单的大模型教学
在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。 Meta 开源的 L...
-
AIGC时代，大模型微调如何发挥最大作用？
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是，训练一个大模型需要巨大的计算资源和时间，为了减少这种资源的浪费，微调已经成为一种流行的技术。微调是指在预训练模型的基础上，通过在小数据集上的训练来适应新的任...
-
【深度学习】Stable Diffusion AI 绘画项目搭建详解，并运行案例
文章目录 前言 1.安装环境 1.1 基础环境 1.2 权重文件 2.牛刀小试 2.1 用法在这里 3.封装api 总结 前言 先把人家的git放过来：https://github.com/CompVis/stable-dif...
-
AI绘画本地部署Stable Diffusion web UI
AI绘画本地部署Stable Diffusion web UI 一 、项目介绍 A browser interface based on Gradio library for Stable Diffusion. 项目地址：GitHub - AUTOM...
-
Meta语言模型LLaMA解读：模型的下载部署与运行代码
文章目录 llama2 体验地址 模型下载 下载步骤 准备工作 什么是Git LFS 下载huggingface模型 模型运行代码 llama2 Meta最新语言模型LLaMA解读，LLaMA是Facebook AI Re...
-
Linux 中的机器学习：Whisper——自动语音识别系统
Whisper 是一种自动语音识别 (ASR 系统，使用从网络收集的 680000 小时多语言和多任务数据进行训练，Whisper 由深度学习和神经网络提供支持，是一种基于 PyTorch 构建的自然语言处理系统，这是免费的开源软件。 安装Whisp...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
Ubuntu 20.04 LTS x86_64 安装 stable-diffusion-webui
官网 Stable Diffusion官网 Stability AI 官方github GitHub - Stability-AI/stablediffusion: High-Resolution Image Synthesis with L...
-
本地部署LLaMA-中文LoRA部署详细说明
在Ubuntu18.04 部署中文LLaMA模型 环境准备 硬件环境 AMD 5950X 128GB RAM RTX 3090(24G VRAM 操作系统 Ubuntu 18.04 编译环境(可选 llama...
-
简单尝试：ChatGLM-6B + Stable diffusion管道连接
核心思想是： 1. 抛去算法设计方面，仅从工程角度考虑的话，Stable diffusion的潜力挖掘几乎完全受输入文字影响。 2. BLIP2所代表的一类多模态模型走的路线是"扩展赋能LLM模型"，思路简单清晰，收益明显。LLM + Stable d...
-
stable-diffusion-webui的安装教程 ubuntu
自动安装 先clone代码： git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui 要在不创建虚拟环境的情况下通过 pip 安装所需的包，运行： python launc...
-
Window下部署使用Stable Diffusion AI开源项目绘图
Window下部署使用Stable Diffusion AI开源项目绘图 前言 前提条件 相关介绍 Stable Diffusion AI绘图 下载项目 环境要求 环境下载 运行项目 打开网址，即可体验 文字生成图像（txt2img） 庐山瀑...
-
大模型部署手记（12）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+text-gen+中文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：https://github.com/facebookresearch/llama 模型：chinese-alpaca-2-7b-hf 下载：使用百度网盘下载 硬件环境：暗影精灵7Plu...
-
百度商业AI 技术创新大赛赛道二：AIGC推理性能优化TOP10之经验分享
朋友们，AIGC性能优化大赛已经结束了，看新闻很多队员已经完成了答辩和领奖环节，我根据内幕人了解到，比赛的最终代码及结果是不会分享出来的，因为办比赛的目的就是吸引最优秀的代码然后给公司节省自己开发的成本，相当于外包出去了，应该是不会公开的。抱着技术共享及开...
-
用上这个工具包，大模型推理性能加速达40倍
英特尔® Extension for Transformer是什么？ 英特尔® Extension for Transformers[1]是英特尔推出的一个创新工具包，可基于英特尔® 架构平台，尤其是第四代英特尔® 至强® 可扩展处理器（代号Sapp...
-
英特尔推Extension for Transformers工具包 大模型推理性能提升40倍
在当前技术发展的背景下，英特尔公司推出的Extension for Transformers工具包成为一个重要创新，实现了在CPU上对大型语言模型（LLM）推理性能的显著加速。该工具包通过LLM Runtime技术，优化了内核，支持多种量化选择，提供更优的...
-
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm 已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工...
-
LLM-LLaMA：手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式；Step 2: 合并LoRA权重，生成全量模型权重】
准备工作 运行前确保拉取仓库最新版代码：git pull 确保机器有足够的内存加载完整模型（例如7B模型需要13-15G）以进行合并模型操作。 务必确认基模型和下载的LoRA模型完整性，检查是否与SHA256.md所示的值一致，否则无法进行合并...
-
使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA
由于LLaMA没有使用RLHF，后来有一个初创公司 Nebuly AI使用LangChain agent生成的数据集对LLaMA模型使用了RLHF进行学习，得到了ChatLLaMA模型，详情请参考：Meta开源的LLaMA性能真如论文所述吗？如果增加RLH...
-
【AI作画】使用stable-diffusion-webui搭建AI作画平台
一、安装配置Anaconda 进入官网下载安装包https://www.anaconda.com/并安装，然后将Anaconda配置到环境变量中。 打开命令行，依次通过如下命令创建Python运行虚拟环境。 conda env create n...
-
LLaMA 的学习笔记
LLaMA 是一种用于自然语言处理的深度学习模型，它的全称是 Language Learning with Adaptive Multi-task Architecture。它的主要特点是能够根据不同的任务自适应地调整模型结构和参数，从而提高模型的泛化能力...