-
Llama-factory源码详细解读
微调 采用逐行调试的方法，细节来看SFT代码 AutoModelForCausalLM...
-
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
一，项目简介 LLama-Factory，大模型训练框架，支持多种模型，多种训练方式， 项目github地址：link 项目特色 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baic...
-
OpenAI之Whisper实时语音分析转文字
1.安装ffmpeg 2.安装python3.11 3.安装whisper pip install whisper conda环境安装whisper conda install whisper 命令行安装openai-whisper...
-
关于AI绘画的模型、开源项目、工具、技巧的学习
目录 一、AI绘画的大模型有哪些？ 二、Stable Diffusion是一个流行的AI绘画开源项目。 三、AI绘画的开源工具有哪些？ 四、AI绘画的技巧 五、最简单的实践 一、AI绘画的大模型有哪些？ AI绘画领域中存...
-
llama factory 增量预训练代码解析 & .yaml文件传参和sh的不同 examples/train_lora/llama3_lora_pretrain.yaml
新版本(2024年后 的llama factory，改用了.yaml文件传参的方式，请问和原始的.sh传参方式有什么不同？ 新版本的 llama factory 框架使用 .yaml 文件来传递参数，相较于原始的 .sh 脚本传参方式，有一些显著的不...
-
Llama 3 超级课堂 作业
1.web demo部署 环境配置 conda create -n llama3 python=3.10 conda activate llama3 conda install pytorch==2.1.2 torchvision==0.16.2...
-
语音识别教程：Whisper
语音识别教程：Whisper 一、前言 最近看国外教学视频的需求，有些不是很适应，找了找AI字幕效果也不是很好，遂打算基于Whisper和GPT做一个AI字幕给自己。 二、具体步骤 1、安装FFmpeg Windows: 进入 ht...
-
本地部署Stable Diffusion记录
环境：Windows10 1.安装python 3.10.6，不要装3.11，安装完后，设置python环境变量 Index of python-local/3.10.6 2.安装Git Git 3.clone web-ui 这步骤是下载sta...
-
4步生成高质量图像，Stable Diffusion WebUI 1.9.0来了！
上周Stable Diffusion WebUI正式发布了1.9.0版本，我也第一时间把AutoDL镜像升级到了最新版本，有几个比较重要的更新再和大家同步下。 1、为SDXL-Lightning模型使用SGM统一调度器 SDXL-Lightning由字...
-
[AIGC] 深入了解标准与异常重定向输出
在操作系统和编程环境下，有时我们需要更加精细地控制程序的输入或输出过程，这就涉及到了标准输入输出流，以及重定向的概念。接下来，我们将详细介绍标准输出、标准错误输出，以及如何进行输出重定向。 文章目录 1. 标准输出和标准错误输出...
-
【小沐学AI】Python实现语音识别（faster-whisper）
文章目录 1、简介 1.1 CTranslate2 1.2 Intel MKL 1.3 cuDNN 1.4 Transformer 2、下载和安装 2.1 命令行 2.2 代码 3、模型下载 3.1 在线测试 3.1.1 tiny...
-
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
win10手动安装stable-diffusion-webui
目录 1.python下载安装 2.git下载安装 3.stable-diffusion-webui下载 4.安装s-d-webui的依赖包（用国内镜像提速） 5.git下载的stable-diffusion-webui，依赖包提示已安装，但运行...
-
stable-diffusion-webui安装教程（非常详细）从零基础入门到精通，看完这一篇就够了_stable diffusion webui
写在最后 在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市...
-
Stable Diffusion Web UI 安装教程（保姆级教程） 有问题留在评论区一起讨论
Stable Diffusion Web UI 安装教程 Stable Diffusion安装 gitHub仓库地址 安装手顺 常见的问题 怎样才算安装成功 报错一 Command: "git" clone "A" "B" 报错二 Com...
-
Llama 3大模型学习
基础部分学习： 1、 Llama 3 Web Demo 部署 streamlit run ***.py(网页演示py文件路径） ***(下载好的大模型参数路径 注意点：在vscode中要对上面命令产生的External URL的最后四位端口号，在...
-
技术突破：llamafile一键部署大模型，释放AI潜力
目录 一、引言 二、什么是llamafile？ 1、设计目标 2、技术构成 3、与传统部署方式的对比 4、一键部署的优势 三、核心特性 1、一键部署的便捷性 2、跨平台支持 3、独立可执行文件 4、简化的分发流程 5、技术细节 6、用户体...
-
Llama3-Tutorial（Llama 3 超级课堂） 学习笔记
课程资料 五一 Llama 3 超级课堂 | 第二节 Llama 3 微调个人小助手认知（XTuner版）_哔哩哔哩_bilibili SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XT...
-
让AI听话的一种办法（Stable Diffusion进阶篇：SVD 3）
动态内容在上一篇笔记里学会了参数以及文生图生视频的操作，可能还是会有小伙伴觉得进行一些参数的改动或者就目前的产出结果还不到自己的预期。 例如像是动作幅度太小，眼睛不够有神等，而也是SVD的一个缺点，它所产出的动态内容某种程度上是不可控的。 就现阶段...
-
Stable Diffusion WebUI v1.9.0重大更新！
继上次v1.8.0更新后的一个月，Stable Diffusion WebUI 又更新啦，这次是v1.9.0。我们来看看这次更新了哪些内容。 总共104项更新 特性更新（Features）：总共5项； 次要更新（Minor）：总共18项；...
-
安装stable diffusion，加载模型报错：AttributeError: ‘NoneType‘ object has no attribute ‘lowvram‘ 的解决办法
Windows中安装stable diffusion流程（使用原始方法、非整合包快捷安装）： 实验机器配置： OS：Win10 64bit；CPU：i5 4.1GHz 12核；内存32G；显卡NVIDIA Quadro P1000 4G显存 参考...
-
Stable Diffusion：Roop换脸插件安装
一、简介 今天给大家分享Stable Diffusion：Roop换脸插件安装，之前在B站上看了很多教程都不太全面，现在出一版最全的Roop换脸插件安装操作流程，希望能帮大家解决安装roop插件过程遇到的各种问题，下面我会把Roop换脸插件安装操作过程和...
-
Intel Arc显卡安装Stable Diffusion
StableDiffusion是一种基于深度学习的文本到图像生成模型，于2022年发布。它主要用于根据文本描述生成详细图像，也可应用于其他任务，如内补绘制、外补绘制和在提示词指导下生成图像翻译。通过给定文本提示词，该模型会输出一张匹配提示词的图片。...
-
Stable Diffusion安装记录II
文章目录 前言 0 更改python路径（跳过） 1 Torch is not able to use GPU 1.1 确认显卡 1.2 安装nvdia驱动 1.3 检查CUDA 1.4更改启动脚本 2 依赖安装 2.1 pip inst...
-
Stable Diffusion WebUI安装简单教程
这里先提前说明一下，如果只是完成Stable Diffusion安装，那只提供命令行方式，加载模型并提供基础的文本分析、特征提取、图片生成这些核心功能，但自身是没有可视化UI的。我们通常看到的页面是Stable Diffusion WebUI提供的功能。所...
-
如何用 Llama 3 免费本地 AI 分析数据和可视化？
帮助你消除调用大模型 API 带来的数据安全烦恼。 模型 今天我们来探讨一个有趣的话题 —— 如何使用 Llama 3 免费地进行数据分析和可视化。 Meta 团队在 2024 年 4 月发布了两款 Llama 3 新模型，一款是...
-
Llama 3超级课堂作业笔记
文章目录 基础作业 完成 Llama 3 Web Demo 部署 环境配置 下载模型 Web Demo 部署 对话截图 使用 XTuner 完成小助手认知微调 Web Demo 部署 自我认知训练数据集准备 训练模型 推理验证 使用...
-
Python使用百度文心一言AI方法
第一步：注册账号，开通服务 进入百度智能云千帆大模型平台，注册账号 首次使用会获得20元代金券，可以让你免费体验一下 在平台左边找到在线服务选项，开通你想要的服务，服务都是按量付费的，也就是说你不用，就不花钱，所以你可以全部开通(我是这么做的 至...
-
AI初识--LLM、ollama、llama都是些个啥？
LLM全称（large language model）也就是大语言模型 什么是Ollama，它与Llama是什么关系？ Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者...
-
whisper使用
whisper使用 1. 直接调用 语音识别 2. 语种识别 whisper.detect_language( 和whisper.decode( 3. 指定要识别的语种做语音识别 **whisper 源码的transcribe函数** 函数解...
-
聊聊大模型：开源LLaMA背后的底层逻辑与赚钱之道？大模型的发展瓶颈？如何一键部署LLaMA3？
如果我们相信未来比今天更好，坚信自己生活在一个好地方，所要做的便是认识到未来时代的特征和规律。把握住一些不变的道理，使用正确的方法，做那些能够不断让自己获得可叠加式进步的事情，这样便能立于不败之地。—吴军 最近关注两个方向，也是公司重点发展和投资的两个方...
-
五分钟上手IoT小程序
五分钟上手IoT小程序 IoT小程序框架 搭建开发环境 首先安装NodeJs 安装NodeJs 验证安装成功 安装cnpm 安装VSCode 开发IDE 下载开发IDE 安装开发IDE 安装框架脚手架 下载模拟器 创建工程项目 应用...
-
SD-Trainer和Stable diffusion一线牵
SD-Trainer和Stable diffusion一线牵 感谢秋叶大神提供的SD-Trainer和Stable diffusion绘世启动器，让一众爱美的小伙伴能以最快的速度入门AI绘画。 但真正训练LORA和测试的时候，小伙...
-
在线教程｜零门槛部署 Llama 3，70B 版本只占 1.07G 存储空间，新用户免费体验 8B 版本
4 月 18 日，Meta 宣布开源 Llama 3，这个号称「迄今为止最好的开源大模型」一经发布，立刻引爆科技圈！ 发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日，作为 AI 开源倡导者，他激动地发文表示：这是我收到过最好的生日礼物，谢谢...
-
ubuntu的stable-diffusion-webui安装和大模型使用
需要显卡基于Ubuntu20.04安装输入nvidia-smi有输出，可以查看cuda的版本 一.安装miniconda 1.下载最新的安装文件。在命令行中输入以下命令即可： wget https://repo.anaconda.com/minico...
-
Stable Diffusion Webui--安装与使用
最近进行的课程汇报，学习了2023年的CVPR文章《DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation》，因此尝试使用了几种方法对这篇文章...
-
Windows部署语音转文字项目_Whisper
Windows部署语音转文字项目_Whisper 一、前置安装准备 Github源仓库，Whisper 下载安装whisper及其依赖项 官方有两种部署方法，一种是通过默认pip源拉取安装： 以管理员身份运行powershell，输入如下命令p...
-
安装Stable Diffusion webui-forge环境出现ImportError: cannot import name ‘Undefined‘ from ‘pydantic.fields‘
在装Stable Diffusion环境的时候出现了一个错误，在翻看许多资料也没找到解决办法，于是从github上找到了个文章，从讨论中找到了解决办法。 链接地址： https://github.com/AUTOMATIC1111/st...
-
LLMs之Llama3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-
LLMs之Llama3：基于Colab平台(免费T4-GPU 利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】 对llama-3-8b-Instruct-bnb-4bit模型采用alpa...
-
Stable Diffusion详细教程
目录 🐋引言 🐋Stable Diffusion基本概念 🦈潜在扩散模型 🦈图像生成原理 🐋Stable Diffusion安装部署 🦈环境要求 🦈安装步骤 🐋Stable Diffusion阶段 🦈准备阶段 🦈训练阶段 🦈评估阶...
-
- 使用 LMDeploy部署Llama 3
一.环境，模型准备 # 如果你是InternStudio 可以直接使用 # studio-conda -t lmdeploy -o pytorch-2.1.2 # 初始化环境 conda create -n lmdeploy python=3.10 co...
-
运行stable-diffusion-webui-directml时报RuntimeError: Torch is not able to use GPU的错误解决办法
问题描述 进入stable-diffusion-webui-directml，双击打开webui-user.bat后，显示如下图片提示。 原因分析： 这个错误表明你在尝试使用PyTorch框架在GPU上运行代码，但是PyTorch没有检...
-
排查 stable-diffusion-webui 局域网访问问题：详细解析配置步骤
排查 stable-diffusion-webui 局域网访问问题：详细解析配置步骤 引言： 在部署 stable-diffusion-webui 后，确保其在局域网内可访问是使用该工具的关键一步。如果您遇到了局域网无法访问的问题，本文将帮助您详细检查...
-
【AI应用开发全流程】使用AscendCL开发板完成模型推理
给开发者套件上电后 Step4 登录开发者套件 通过PC共享网络联网（Windows）： 控制面板 -> 网络和共享中心 -> 更改适配器设置 -> 右键“WLAN” -> 属性 ->...
-
【AI】本地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma
【背景】 还是继续致力于实践可以保护数据隐私的本地化LLM部署。 这次用的是Llama 2 + GPT4All + Chroma实现RAG。 【概念】 基于LangChain模板的各个部分的作用： Llama2-》语言模型管理 GPT4AL...
-
太兴奋了！Stable Diffusion WebUI v1.9.0它来了~重大更新！超详细讲解！
大家好，我是程序员晓晓 距上次 WebUI v1.8的更新发布刚刚过去一个多月，Stable Diffusion WebUI 这次又又又更新了，老徐关注到Stable Diffusion WebUI作者UTOMATIC1111就在前几天在GitHub...
-
[AIGC] redis 持久化相关的几道面试题
文章目录 1. 什么是Redis持久化？ 2. Redis 的持久化机制是什么？各自的优缺点？ 2.1 RDB（Redis DataBase），快照 2.2 AOF（Append Only File），日志 3. 优缺点是什么？ 4. 如何...
-
ollama部署体验Chinese-LLaMA-Alpaca-3大模型项目
前言 书接上回：快速评测已有的中文llama-3开源模型（4月25日更新）_llama3-chinese-novel-CSDN博客 虽然Llama-3大模型发布以后，中文适配模型也出了一大堆，但效果都不尽人意，参差不齐。近期，Chinese-LLaMA...
-
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。 书生...
-
Llama-Factory 简介 二， 脚本详解 LLaMA-Factory/src/train_bash.py LLaMA-Factory/src/llmtuner/train/pt/workfl
examples/ ├── lora_single_gpu/ │ ├── pretrain.sh: 基于 LoRA 进行增量预训练 │ ├── sft.sh: 基于 LoRA 进行指令监督微调 │ ├── reward.sh: 基于 LoRA...