-
北航发布LlamaFactory，零代码大模型微调平台，一键快速实现大模型训练/微调/评估
“LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models” 在大模型发展如火如荼的今天，训练和微调一个大模型对于绝大部分普通工程师来说仍然是一个难题。为了降低大模型训练、...
-
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码 合并多个PEFT模型(LoRA技术 将LLaMA-3扩展到100万/1048k上下文——解析...
-
仅用250美元，Hugging Face技术主管手把手教你微调Llama 3
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 大语言模型的微...
-
自定义数据集使用llama_factory微调模型并导入ollama
本文所有操作均在linux系统下完成 llama_factory安装 参考github的安装命令 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama...
-
微调llama 3 — PEFT微调和全量微调
1. llama 3 微调基础 1.1 llama 3 简介 官方blog llama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。 meta-llama/Meta-Llama-3-...
-
Stable Diffusion【ControlNet】：ControlNet的IP-Adapter预处理器：SD垫图实现
大家好，今天我们来详细介绍一下ControlNet的预处理器IP-Adapter。简单来说它就是一个垫图的功能，我们在ControlNet插件上传一张图片，然后经过这个预处理器，我们的图片就会在这张上传的图片的基础上进行生成。该预处理器提供的垫图功能，让S...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
受AI等推动，英特尔第一季度营收127亿美元、增长9%
英特尔公司在其新的财务架构模式下宣布了第一季度的业绩，旨在确立自己作为人工智能硬件领域的领导者。该公司今天报告的第一季度营收为127亿美元，同比增长9%。预测第二季度2024年的营收为125至135亿美元。 尽管第一季度超出了分析师的预期，但公司的第二季度...
-
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调 文章原始地址：https://onlyar.site/2024/01/14/NLP-LLaMA-Factory-web-tuning/ 引言 大语...
-
全面综述！大模型到底微调个啥？或者说技术含量到底有多大？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大型模型代表了多个应用领域的突破性进展，能够在各种任务中取得显著成就。然而，它们前所未有的规模带来了巨大的计算成本。这些模型通常由数十亿个参数组成，需要大量的计算资源才...
-
llama factory学习笔记
模型 模型名 模型大小 默认模块 Template Baichuan2 7B/13B W_pack baichuan2 BLOOM 560M/1.1B/1.7B/3B/7.1B/176B query_key_value - BLOOM...
-
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
项目地址 https://github.com/hiyouga/LLaMA-Factory 模型层参数 这段代码是使用Python的dataclasses模块定义的一个数据类ModelArguments，用于管理和存储与模型微调相关的参数。这个类的设计是...
-
使用 QLoRA 进行微调Llama 2 和 Mistral的初学者指南
本指南适用于任何想要为自己的项目定制强大的语言模型（如 Llama 2 和 Mistral）的人。使用 QLoRA，我们将逐步完成...
-
在 Kubernetes 中优化 AI 和机器学习工作负载
Kubernetes 非常适合各种类型的容器化工作负载，从服务到作业再到有状态应用程序。但是 AI 和需要 GPU 的机器学习工作负载呢?是的，Kubernetes 也支持这些，但有很多细微差别。 译自Optimizing AI and Machine...
-
AI绘画专栏之 终于来了！4步 webui使用Stableforge实现SVD文生视频
以前我们分享的SVD不管是文生视频还是长视频还是图生视频，都是在Comfyui中实现的，但是大多数的用户还是在webui中使用的，那么forge它来了，A111点赞的实现SVD的整合方式。 与原始 WebUI（用于 1024px 的 SDXL 推理）相比...
-
【复现】FreeU以及结合stable diffusion
code：GitHub - ChenyangSi/FreeU: FreeU: Free Lunch in Diffusion U-Net 目录 代码分析 模型复现 问题 效果 总结 FreeU + Diffusers 才发现Ani...
-
ResAdapter官网体验入口 Stable Diffusion AI图片生成风格一致性工具免费使用地址
ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理...
-
Stable Diffusion——基础模型、VAE、LORA、Embedding各个模型的介绍与使用方法
前言 Stable Diffusion（稳定扩散）是一种生成模型，基于扩散过程来生成高质量的图像。它通过一个渐进过程，从一个简单的噪声开始，逐步转变成目标图像，生成高保真度的图像。这个模型的基础版本是基于扩散过程的，但也有一些改进版本，包括基于变分自动...
-
北大具身智能成果入选CVPR'24：只需一张图一个指令，就能让大模型玩转机械臂
只靠一张物体图片，大语言模型就能控制机械臂完成各种日常物体操作吗？ 北大最新具身大模型研究成果ManipLLM将这一愿景变成了现实： 在提示词的引导下，大语言模型在物体图像上直接预测机械臂的操作点和方向。 进而，得以操控机械臂直接玩转各项具体的任务： 例...
-
windows安装stable-diffusion-webui教程
整合包对非技术出身的同学比较友好，因为秋叶大佬把相关的东西已经都整合好了，只需要点点点就行了。当然懂编程的同学就更没有问题了。 准备 为了保证AI绘画的效率，建议在本机安装Nvidia独立显卡，也就是俗称的N卡，并且显存要达到6G以...
-
英伟达最强通用大模型Nemotron-4登场！15B击败62B，目标单张A100/H100可跑
最近，英伟达团队推出了全新的模型Nemotron-4，150亿参数，在8T token上完成了训练。 值得一提的是，Nemotron-4在英语、多语言和编码任务方面令人印象深刻。 论文地址：https://arxiv.org/abs/2402.1681...
-
VSP-LLM官网体验入口 视觉语音处理AI模型免费使用下载地址
VSP-LLM是一个结合视觉语音处理与大型语言模型的框架，旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务，通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低...
-
Stable Diffusion【基础篇】：降噪强度（denoising strength）
大家好，我是程序员晓晓。 提到降噪强度（denoising strength），大家一定不会陌生，这个参数是图生图中最关键的参数之一。今天在Stable Diffusion Art网站看到一篇介绍降噪强度（denoising strength）的文章（地...
-
【AIGC】Stable Diffusion的ControlNet参数入门
Stable Diffusion 中的 ControlNet 是一种用于控制图像生成过程的技术，它可以指导模型生成特定风格、内容或属性的图像。下面是关于 ControlNet 的界面参数的详细解释： 低显存模式 是一种在深度学习任务中用于处理显存...
-
AI绘画专栏之Comfyui之AnimateDiffLCM更快效果更佳工作流分享
AnimateLCM能够在很少的步骤中生成高质量的视频。相比直接在原始视频数据集上应用一致性学习，该项目提出了一种解耦的一致性学习策略，分别对图像生成的基础知识和运动生成的基础知识进行提炼。这种策略提高了训练效率并提升了生成视频的视觉质量。 那么关于两个...
-
两步生成25帧高质量动画，计算为SVD的8% | 在线可玩
耗费的计算资源仅为传统Stable Video Diffusion（SVD）模型的2/25！ AnimateLCM-SVD-xt发布，一改视频扩散模型进行重复去噪，既耗时又需大量计算的问题。 先来看一波生成的动画效果。 赛博朋克风轻松驾驭，男孩头戴耳机，...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
llama.cpp中main函数参数
使模型类gpt式交互： ./main -m .\models\llama-2-7b-chat\ggml-model-q4_0.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompt...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
AI绘画优秀开源项目推荐
AI绘画优秀开源项目推荐 stable-diffusion-webui：基于 Gradio 库的 Stable Diffusion 浏览器界面 InvokeAI：InvokeAI是稳定扩散模型的领先创意引擎，使专业人员、艺术家和爱好者能够使用最...
-
玩LLM和StableDiffusion常说的LoRA到底是什么
论文地址：LoRA: Low-Rank Adaptation of Large Language Models LoRA是一种用于adapters和大模型迁移的技术,全称为Low-Rank Adaptation of Large Language M...
-
AIGC内容分享(五十三)：AIGC｜深入浅出一个完整的视频生成系统「VGen」核心基础知识
目录 一、VGen整体架构 二、VGen核心基础内容 三、快速上手使用VGen进行视频生成 四、VGen与SVD的比较 一、VGen整体架构 「VGen」是一个基于扩散模型的视频生成系统，提供以视频生成扩散模型为中心的强大代码库，具有先进...
-
AIGC面经大全（持续更新）
目录 DDPM算法原理部分： DDIM算法原理部分： ⾼阶采样⽅案： 特征编码篇： Stable Diffusion篇： SDXL篇： ⼤模型微调篇： 控制模型篇： 适配器篇： DDPM算法原理部分： 简述DDP...
-
基于LLaMA Factory，单卡3小时训练专属大模型 Agent
大家好，今天给大家带来一篇 Agent 微调实战文章 Agent（智能体）是当今 LLM（大模型）应用的热门话题 [1]，通过任务分解（task planning）、工具调用（tool using）和多智能体协作（multi-agent cooperat...
-
【AIGC-图片生成视频系列-5】I2V-Adapter：一种用于视频扩散模型的通用图像生成视频适配器
目录 一. 项目与贡献概述 二. 方法详解 a. 整体框架图 b. 帧相似性先验 三. 一般化图像生成动画结果 四. 基于个性化 T2I 模型的动画结果 五. 结合ControlNet动画结果 六. 项目论文和代码 七. 个人思考与总结...
-
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
QLoRA 提出内存高效的微调方法！降低 LLaMA 模型微调内存占用，仅需数小时追赶 ChatGPT 引言：大模型微调的新时代 随着人工智能技术的飞速发展，大型语言模型（Large Language Models，LLMs）已成为自然语言处理领域的重...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型
具身智能，是大模型未来应用的一个重要方向。 现在，大模型加持下的智能体，能够参与3D环境，不仅有了听觉视觉，还有了触觉等多种感官能力。 卧室里有什么物体，一眼辨认。 听到门铃响了，LLM便会告诉你家里来客人了。 大模型加持的NPC，在触摸桌子的香蕉后，...
-
用通俗易懂的方式讲解大模型：一个强大的 LLM 微调工具 LLaMA Factory
LLM（大语言模型）微调一直都是老大难问题，不仅因为微调需要大量的计算资源，而且微调的方法也很多，要去尝试每种方法的效果，需要安装大量的第三方库和依赖，甚至要接入一些框架，可能在还没开始微调就已经因为环境配置而放弃了。 今天我们来介绍一个可以帮助大家快速...
-
AIGC原理：扩散模型diffusion综述一：面向视觉计算的扩散模型研究进展
论文地址：State of the Art on Diffusion Models for Visual Computing ? 贴一幅SGM（Score-based Generative Model）的原因是宋飏博士将他2019年提出的SMLD模型和20...
-
llama.cpp模型推理之界面篇
目录 前言 一、llama.cpp 目录结构 二、llama.cpp 之 server 学习 1. 介绍 2. 编译部署 3. 启动服务 4、扩展或构建其他的 Web 前端 5、其他 前言 在《基于llama.cpp学习开源LL...
-
最佳开源模型刷新多项SOTA，首次超越Mixtral Instruct！「开源版GPT-4」家族迎来大爆发
Mixtral 8x7B开源模型的诞生，正如Llama一样，为开源社区了带来曙光。 前段时间，Mixtral刚刚发布了8x7B模型的论文。在基准测试结果中，其性能达到或超过 Llama 2-70B和GPT-3.5。 甚至，Mixtral在数学、代码生成和...
-
马毅LeCun谢赛宁曝出多模态LLM重大缺陷！开创性研究显著增强视觉理解能力
Sam Altman在各种场合都提到，大语言模型的多模态能力，是未来AI技术能够造福人类的最亟待突破的领域。 那么现在在多模态大模型的视觉功能能否达到与语言功能匹配的水平？ 当前多模态模型取得的进步很大程度上归功于大语言模型（LLM）的推理能力。但在视...
-
【AIGC】Controlnet:基于扩散模型的文生图的可控性
前言 controlnet可以让stable diffusion的生图变得可控。 文章连接：https://arxiv.org/pdf/2302.05543.pdf 摘要 冻结了stable diffusion的预训练模型并重用它的预训练...
-
【AIGC】IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型
前言 IPAdapter能够通过图像给Stable Diffusion模型以内容提示，让其生成参考该图像画风，可以免去Lora的训练，达到参考画风人物的生成效果。 摘要 通过文本提示词生成的图像，往往需要设置复杂的提示...
-
LLama Factory 实操记录（一）
1. api端口参数说明： src/api -h, --help 显示帮助信息并退出 --model_name_or_path MODEL_NAME_OR_PATH 模型权重的路径或标识...
-
AI视野：阿里推ReplaceAnything框架；OpenAI取消军用禁令；Pika推视频画面扩充功能；SD推图生视频插件I2V-Adapter
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ????聚焦开发者 阿里推Rep...
-
精确指出特定事件发生时间！字节&复旦大学多模态大模型解读视频太香了
字节&复旦大学多模态理解大模型来了： 可以精确定位到视频中特定事件的发生时间。 比如在下面这个视频中： 狗子转身看镜头时的时间戳是多少？ 什么时候用爪子推开滑板？ 在这里，视频中的宝宝什么时候推起眼镜、舒展了一下身体？又是什么时候翻的书？ 对...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
即插即用，完美兼容：SD社区的图生视频插件I2V-Adapter来了
图像到视频生成（I2V）任务旨在将静态图像转化为动态视频，这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息，同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一...