-
老黄亲自上门送超算！OpenAI奥特曼签收后到斯坦福演讲GPT-5
皮衣老黄亲自上门送货！OpenAI收到世界上第一台DGX H200超算。 致推进人工智能、计算和人类发展。 图片 这下呼吁快发布GPT-5的声音更高了。 图片 在OpenAI负责模型微调的员工Steven Heidel开玩笑说：“老黄签过名上了Buff的...
-
Claude 3 横空出世，亚马逊云科技携手Anthropic引领企业级生成式 AI 新纪元
2024 年 3 月，OpenAI 的主要竞争对手之一 Anthropic 推出最新的 Claude 3 大语言模型系列：Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。自从 GPT-3.5 推出以来，业界对...
-
快速理解AIGC图像控制利器ControlNet和Lora的架构原理
作者公众号 大数据与AI杂谈 （TalkCheap），转载请标明出处 ControlNet以及Lora是什么，玩过stable diffusion AI图像生成的同学应该都不陌生。 一般来说，如果你用以SD 或 SDXL为基础的模型来生成图像，产出的图...
-
孟子3-13B大模型正式开源
澜舟科技近日宣布，其研发的孟子3-13B大模型正式开源，并向学术研究领域全面开放，同时支持免费商用。这一轻量化大模型在多项基准测试中展现了优异的性能，特别是在参数量20B以内的模型中，其中英文语言能力尤为突出，数学和编程能力也位于行业前列。 孟子3-13B...
-
0门槛免费商用！孟子3-13B大模型正式开源，万亿token数据训练
澜舟科技官宣：孟子3-13B大模型正式开源！ 这一主打高性价比的轻量化大模型，面向学术研究完全开放，并支持免费商用。 在MMLU、GSM8K、HUMAN-EVAL等各项基准测评估中，孟子3-13B都表现出了不错的性能。 尤其在参数量20B以内的轻量化大模...
-
比LoRA还快50%的微调方法来了！一张3090性能超越全参调优，UIUC联合LMFlow团队提出LISA
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2...
-
从零开始的LLaMA-Factory的指令增量微调
大模型相关目录 大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容从0起步，扬帆起航。 大模型应用向开发路径及一点个人思考 大模型应用开发实用开源项目汇总 大模型问答...
-
LLaMA-Factory参数的解答
打开LLaMA-Factory的web页面会有一堆参数 ，但不知道怎么选，选哪个，这个文章详细解读一下，每个参数到底是什么含义这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数不对请反馈一下，或者有补充的也可以！谢谢（后续该文章可能会持续更新）...
-
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
项目地址 https://github.com/hiyouga/LLaMA-Factory 模型层参数 这段代码是使用Python的dataclasses模块定义的一个数据类ModelArguments，用于管理和存储与模型微调相关的参数。这个类的设计是...
-
如何从头开始编写LoRA代码，这有一份教程
LoRA（Low-Rank Adaptation）作为一种用于微调 LLM（大语言模型）的流行技术，最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。不同于其...
-
华为天才少年谢凌曦：关于视觉识别领域发展的个人观点！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，我参加了几个高强度的学术活动，包括CCF计算机视觉专委会的闭门研讨会和VALSE线下大会。经过与其他学者的交流，我产生了许多想法，千头万绪，便希望把它们整理下来，供自己和同行们参考。当然，受限于...
-
【AIGC调研系列】大模型的system prompt破解方法汇总
本文不提供具体方法，只汇总！！！ 大模型的system prompt破解方法主要包括提示注入（prompt injection）、命令注入、提示自动迭代精炼（Prompt Automatic Iterative Refinement, PAIR）等技术。...
-
【深度学习】风格迁移，转换，Stable Diffusion，FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion
论文：https://arxiv.org/abs/2401.15636 代码：https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而，大多数当...
-
关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答
文章目录 关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答 先总结一下 Q：LLM模型预训练前与提示词关系，LLM模型预训练后与提示词关系 Q：预训练用的数据集与提示词有什么异同 Q：为什么我看到的数据集结构和提示词结...
-
新王Claude 3实测！各项能力给跪，打麻将也会，确实比GPT-4好用
OpenAI不可战胜的神话，已经被打破了。 随着Claude 3（支持中文）一夜登陆，榜单性能跑分全面超越GPT-4，成为首个全面超越GPT-4的产品，也坐上了全球最强大模型新王座。 而且多版本发布后，“中杯”（Sonnet）直接免费体验，“大杯”（O...
-
【AIGC】Stable Diffusion的模型微调
为什么要做模型微调 模型微调可以在现有模型的基础上，让AI懂得如何更精确生成/生成特定的风格、概念、角色、姿势、对象。Stable Diffusion 模型的微调方法通常依赖于您要微调的具体任务和数据。 下面是一个通用的微调过程的概述： 准备数据集：...
-
huggingface学习|用dreambooth和lora对stable diffusion模型进行微调
目录 用dreambooth对stable-diffusion-v1-5模型进行微调 （一）模型下载和环境配置 （二）数据集准备 （三）模型微调 （四）运行微调后的模型 用lora对stable-diffusion-v1-5模型进行微调...
-
【AIGC】Stable Diffusion之模型微调工具
推荐一款好用的模型微调工具，cybertron furnace 是一个lora训练整合包，提供训练 lora 模型的工具集或环境。集成环境包括必要的依赖项和配置文件、预训练脚本，支持人物、二次元、画风、自定义lora的训练，以简化用户训练 lora 模型...
-
英伟达NeMo框架在AI领域的综合应用与优势总结
一、NeMo 框架介绍 NVIDIA NeMo 是基于 PyTorch 和 PyTorch Lightning 的一个开源训练框架，源代码完全公开在 GitHub 上。NeMo 的主要目标是使 AI 开发者能够快速构建对话式 AI 模型并开发相关应用。...
-
基于LLaMA-Factory的微调记录
文章目录 数据模型准备 基于网页的简单微调 基于网页的简单评测 基于网页的简单聊天 基于网页的模型合并 微调问题测试与解决 问题测试 模板修改 强化训练 持续训练 单数据集训练 微调总结 LLaMA-Factory是一个非常好用的无代...
-
使用Kohya_ss训练Stable Diffusion Lora
Stable Diffusion模型微调方法 Stable Diffusion主要有 4 种方式：Dreambooth, LoRA, Textual Inversion, Hypernetworks。 Textual Inversion （也称为 Em...
-
文心一言4.0API接入指南
概述 文心一言是百度打造出来的人工智能大语言模型，具备跨模态、跨语言的深度语义理解与生成能力，文心一言有五大能力，文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成，其在搜索问答、内容创作生成、智能办公等众多领域都有更广阔的想象空间。文心一言企业...
-
（新人免费）基于PAI-EAS对Stable diffusion进行LoRA模型微调|阿里云
基于PAI-EAS对Stable diffusion进行微调|阿里云 前提条件 已开通EAS并创建默认工作空间 部署Kohya服务 PAI-EAS控制台>部署服务>新建服务>服务名称自定义>部署方式：镜像部署AI-We...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
AIGC从入门到精通
目录 1. 概述 2. 一键起飞 2.1 webui 2.2 基础用法 2.3 必装插件 2.4 Fooocus 2.5 diffusers 3 LoRA 3.1 原理 3.2 训练流程和准备 3.3 上手训练...
-
香港金融科技周2023：AIGC重塑金融形态
10月31日，由香港财经事务及库务局与投资推广署主办的“香港金融科技周2023大湾区专场”盛大启幕。中国AI决策领先企业萨摩耶云科技集团创始人、董事长兼 CEO林建明受邀参加圆桌会议，与中国内地、香港以及全球金融科技行业顶尖人才、创新企业、监管机构和政府代...
-
三个Agent顶个GPT-4，基于开源小模型的那种
真·“三个臭皮匠，顶个诸葛亮”—— 基于开源小模型的三个Agent协作，比肩GPT-4的工具调用效果！ 话不多说，直接来看两个系统执行记录。 用户表示自己是一个音乐爱好者，想探索不同的音乐流派以及音乐家。于是指定模型使用Deezer和Shazam的API...
-
大语言模型之LlaMA系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型，此外...
-
比OpenAI官方提示词指南更全，这26条黄金准则让LLM性能飙升50%以上
论文地址: https://arxiv.org/abs/2312.16171 Github地址: https://github.com/VILA-Lab/ATLAS 论文标题：Principled Instructions Are All You...
-
AIGC面经大全（持续更新）
目录 DDPM算法原理部分： DDIM算法原理部分： ⾼阶采样⽅案： 特征编码篇： Stable Diffusion篇： SDXL篇： ⼤模型微调篇： 控制模型篇： 适配器篇： DDPM算法原理部分： 简述DDP...
-
基于LLaMA Factory，单卡3小时训练专属大模型 Agent
大家好，今天给大家带来一篇 Agent 微调实战文章 Agent（智能体）是当今 LLM（大模型）应用的热门话题 [1]，通过任务分解（task planning）、工具调用（tool using）和多智能体协作（multi-agent cooperat...
-
大模型也有小偷？为保护你的参数，上交大给大模型制作「人类可读指纹」
大模型的预训练需要耗费巨量的计算资源和数据，因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而，不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用，对预训练模型参数盗用的判断存在以下两方面的新问题： 1） 预训练模型的...
-
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
QLoRA 提出内存高效的微调方法！降低 LLaMA 模型微调内存占用，仅需数小时追赶 ChatGPT 引言：大模型微调的新时代 随着人工智能技术的飞速发展，大型语言模型（Large Language Models，LLMs）已成为自然语言处理领域的重...
-
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比...
-
一文教会你使用AI绘画利器Stable Diffusion！这可能是CSDN最全的AI绘画使用教程，建议收藏！
大家好，我是程序员晓晓 随着 stable-diffusion 的开源，让更多人有机会直接参与到 AI 绘画的创作中，相关的教程也如雨后春笋般的出现。可是目前我看到的教程同质性较高，通常只能称作为"使用流程讲解"，但是通常没有对其原理和逻辑进行深入说明。...
-
米塔体验入口 AI社区平台创作工具软件教程使用地址
米塔是一个连接全球创作者的AI社区平台，为作家、设计师、编剧、诗人等创意工作者以及对AI创作感兴趣的普通用户提供创作工具。通过米文、米画等功能，用户只需输入文字提示，即可利用AI技术生成小说大纲、文章、画作等创意内容。米塔不仅具有写作辅助、图像生成、智能对...
-
用通俗易懂的方式讲解：Stable Diffusion WebUI 从零基础到入门
本文主要介绍 Stable Diffusion WebUI 的实际操作方法，涵盖prompt推导、lora模型、vae模型和controlNet应用等内容，并给出了可操作的文生图、图生图实战示例。适合对Stable Diffusion感兴趣，但又对Stab...
-
AIGC｜手把手教你进行ChatGLM模型部署实践
一、背景介绍 模型部署基本步骤分为模型选择、模型部署、运行，如果需要在特定的场景下定制化模型，则还需要进行数据集的选择、数据集格式转换、微调。 根据上述的步骤本教程选取如下的开源模型、数据集，来对医疗场景下进行定制化模型部署。当然模型部署对G...
-
AI游戏设计的半年度复盘；大模型+智能音箱再起波澜；昇思大模型技术公开课第2期；出海注册经验分享；如何使用LoRA微调Llama 2 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 进步or毁灭：Nature 调研显示 1600+ 科学家对AI的割裂态度 国际顶级期刊 Nature 最近一项调研很有意思，全球 1600 多名科...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
Stable Diffusion VAE：改善图像质量的原理、选型与使用指南
VAE Stable Diffusion（稳定扩散）是一种用于生成模型的算法，结合了变分自编码器（Variational Autoencoder，VAE）和扩散生成网络（Diffusion Generative Network）的思想。它通过对变分自编码器...
-
AIGC：【LLM（七）】——Baichuan2：真开源可商用的中文大模型
文章目录 一.模型介绍 二.模型部署 2.1 CPU部署 2.2 GPU部署 三.模型推理 3.1 Chat 模型推理 3.2 Base 模型推理 四.模型量化 4.1 量化方法 4.2 在线量化 4.3 离线量化 4.4 量化效果...
-
使用LLaMA-Factory微调ChatGLM3
1、创建虚拟环境 略 2、部署LLaMA-Factory （1）下载LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory （2）安装依赖 pip3 install -r requi...
-
基于Stable Diffusion的AIGC服饰穿搭实践
本文主要介绍了基于Stable Diffusion技术的虚拟穿搭试衣的研究探索工作。文章展示了使用LoRA、ControlNet、Inpainting、SAM等工具的方法和处理流程，并陈述了部分目前的实践结果。通过阅读这篇文章，读者可以了...
-
谷歌DeepMind机器人成果三连发！两大能力全提升，数据收集系统可同时管理20个机器人
几乎是和斯坦福“炒虾洗碗”机器人同一时间，谷歌DeepMind也发布了最新具身智能成果。 并且是三连发： 先是一个主打提高决策速度的新模型，让机器人的操作速度（相比原来的Robotics Transformer）提高了14%——快的同时，质量也没有下滑...
-
AI点燃社交“二战”
“你能感觉我在陪着你吗?” 由斯派克·琼斯执导，上映于2014年的科幻电影《她》的故事中，只有声音而无实体的人工智能操作系统（AI OS）“萨曼莎”这么对男主说。作为一部讲述人与人工智能相爱的电影，内容如同预言了当下大厂押注AI社交一般。 自ChatGPT...
-
Mickey-1928官网体验入口 AI米老鼠生成工具免费下载地址
Mickey-1928是一款基于Stable-Diffusion-xl模型微调的AI工具，专注于生成迪士尼 1928 年前的经典动画角色。这款工具使用了包含《小飞象》、《汽船威利号》和《疯狂的高卢》等动画中的 96 张静态画面作为训练数据集。Mickey-...
-
最强开源大模型？Llama 2论文解读
标题 简介 模型预训练 预训练设置 硬件资源与碳排放 模型评估 模型微调 有监督微调 基于人工反馈的强化学习（RLHF） 人类偏好数据的收集 奖励模型 迭代微调过程 多轮对话控制 RLHF 结果 模型回答的安全性 一直...
-
大模型应用探索——企业知识管家
一、传统知识管理的背景与挑战 1、企业知识管理的必要性 知识管理是每个企业都面临的一个非常重要的环节，借助知识管家可以全面提升企业的效率。 一方面，随着互联网应用的发展，知识爆炸，如何实现企业知识的共享称成为企业面临的一个问题。企业通过知识共享不仅...
-
stable diffusion webui 教程：安装与入门
stable diffusion webui 安装与入门 原理简介 一、源码仓库 二、模型库地址 三、在 Windows 上自动安装步骤 安装Python 安装git 下载源代码 编辑 webui-user.bat 四、如何打开 五、依据文...