-
LlamaFactory源码解析 PPO
class CustomPPOTrainer(PPOTrainer, Trainer : r""" Inherits PPOTrainer. """ def __init__( self,...
-
AI训练数据的版权保护：公地的悲剧还是合作的繁荣?
GPT-4o内置声音模仿「寡姐」一案闹的沸沸扬扬，虽然以OpenAI发布声明暂停使用疑似寡姐声音的「SKY」的语音、否认曾侵权声音为阶段性结束。但是，一时间「即便是AI，也得保护人类版权」这一话题甚嚣尘上，更刺激起了人们本来就对AI是否可控这一现代迷思的...
-
Mamba-2新架构出世一统江湖！普林斯顿CMU华人再出神作，性能狂飙8倍
年前，Mamba被顶会ICLR拒稿的消息曾引起轩然大波。 甚至有研究人员表示：如果这种工作都被拒了，那我们这些「小丑」要怎么办？ 这次，新一代的Mamba-2卷土重来、再战顶会，顺利拿下了ICML 2024！ 仍是前作的两位大佬（换了个顺序），仍是熟...
-
whisper 的安装pycharm使用 以及出现的BUG（已经解决）！
whisper（语音识别）+ffmpeg介绍 Whisper是OpenAI于2022年9月份开源的通用的语音识别模型。它是在各种音频的大型数据集上训练的模型，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。Whisper 是一它在不同音频...
-
Karpathy点赞，这份报告教你如何用 LLaMa 3创建高质量网络数据集
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。 最近，AI 大牛 Andrej Karpa...
-
什么是LLM大模型训练，详解Transformer结构模型
本文分享自华为云社区《LLM 大模型学习必知必会系列(四 ：LLM训练理论篇以及Transformer结构模型详解》，作者：汀丶。 1.模型/训练/推理知识介绍 深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一...
-
研究人员使用机器学习优化高功率激光实验
高强度和高重复的激光器能快速连续每秒发射多次强大的光。商业聚变能源工厂和先进的紧凑型辐射源都依赖这种激光系统。然而，人类的反应时间不足以管理这种速射系统，应用面临挑战。 为了应对这一挑战，科学家们正在寻找不同的方法来利用自动化和人工智能的力量，这些技术...
-
3B模型新SOTA！开源AI让日常调用不同大模型更简单
大模型，大，能力强，好用！ 但单一大模型在算力、数据和能耗方面面临巨大的限制，且消耗大量资源。 而且目前最强大的模型大多为闭源，对AI开发的速度、安全性和公平性有所限制。 AI大模型的未来发展趋势，需要怎么在单一大模型和多个专门化小模型之间做平衡和选择？...
-
训练Stable Diffusion(XL) Lora的图片是否需要caption？
intro 目前很多风格lora模型的训练都会对图片进行caption，训练风格lora时使用image caption步骤是否能带来正向的效果? 在sdxl的代码实现中，lora插入的位置为unet中cross attention的QKV的线性投影部...
-
大规模语言模型--LLaMA 家族
LLaMA 模型集合由 Meta AI 于 2023 年 2 月推出， 包括四种尺寸(7B 、13B 、30B 和 65B 。由于 LLaMA 的 开放性和有效性， 自从 LLaMA 一经发布， 就受到了研究界和工业界的广泛关注。LLaMA 模型在开放基准...
-
港科大最新！Vista：一种具有高保真度和多功能可控的世界模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability 论文链接...
-
[AIGC] redis 持久化相关的几道面试题
文章目录 1. 什么是Redis持久化？ 2. Redis 的持久化机制是什么？各自的优缺点？ 2.1 RDB（Redis DataBase），快照 2.2 AOF（Append Only File），日志 3. 优缺点是什么？ 4. 如何...
-
深度解析：人工智能作画算法的原理与技术
引言 在数字艺术的探索中，人工智能（AI）作画算法以其独特的创造性和艺术性引起了广泛的兴趣。这些算法不仅仅是简单的图像处理工具，它们背后蕴藏着复杂的神经网络和深度学习模型。本文将深入探讨AI作画算法的原理与技术，揭示其背后的复杂性和魅力。 1. 数据...
-
Stable-DiffusionLoRA模型训练教程(新手篇)｜LoRA训练个人经验总结与复盘
上周初次尝试了训练LoRA模型，周末两天的时间一直在遇到问题摸索解决问题，修改完善模型，测试模型当中度过，好在问题都一一解决，也在LiblibAI上首发了我的处女作。??? 本篇文章仅整理归纳我的LoRA训练思路及步骤，以及自己遇到的问题和解决方案的复盘...
-
【AIGC调研系列】MiniCPM-Llama3-V2.5模型与GPT-4V对比
MiniCPM-Llama3-V2.5模型与GPT-4V的对比可以从多个方面进行分析，包括性能、应用场景和技术特点。 从性能角度来看，MiniCPM-Llama3-V2.5在OCR识别、模型幻觉能力和空间理解能力方面表现出色，实现了开源模型的性能SOTA...
-
微软ML Copilot框架释放机器学习能力
摘要：大模型席卷而来，通过大量算法模型训练推理，能根据人类输入指令产生图文，其背后是大量深度神经网络模型在做运算，这一过程称之为机器学习，本文从微软语言大模型出发，详解利用大型语言模型（Large Language Models, LLMs）解决实际机器学...
-
工业知识图谱进阶实战
一、背景简介 首先来介绍一下云问科技的发展历程。 云问科技公司由 Chatbot 起家，在 2013 年到 2019 年间一直投身于 Chatbot 领域，主要关注人机对话方向，推出了很多客服类产品。后转型去做知识相关领域的原因是，在 Bert 发布之...
-
ChatGPT真能记住你的话吗？DeepMind与开源大佬揭示LLM记忆之谜
Django框架的创始人之一、著名开发者Simon Willison最近发表了一篇博客文章，核心观点是——虽然很多LLM看起来有记忆，但本质上是无状态函数。 文章地址：https://simonwillison.net/2024/May/29/trai...
-
快速学会一个算法，xLSTM
今天给大家分享一个超强的算法模型，xLSTM。 xLSTM（Extended Long Short-Term Memory）是对传统 LSTM（Long Short-Term Memory）模型的扩展和改进，旨在提升其在处理时间序列数据和序列预测任务中的...
-
开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mix...
-
首个智慧城市大模型UrbanGPT，全面开源开放｜港大&百度
时空预测技术，迎来ChatGPT时刻。 时空预测致力于捕捉城市生活的动态变化，并预测其未来走向，它不仅关注交通和人流的流动，还涵盖了犯罪趋势等多个维度。目前，深度时空预测技术在生成精确的时空模型方面，依赖于大量训练数据的支撑，这在城市数据不足的情况下显得...
-
Llama-Factory 简介 二， 脚本详解 LLaMA-Factory/src/train_bash.py LLaMA-Factory/src/llmtuner/train/pt/workfl
examples/ ├── lora_single_gpu/ │ ├── pretrain.sh: 基于 LoRA 进行增量预训练 │ ├── sft.sh: 基于 LoRA 进行指令监督微调 │ ├── reward.sh: 基于 LoRA...
-
不同数据集有不同的Scaling law？而你可用一个压缩算法来预测它
一般而言，训练神经网络耗费的计算量越大，其性能就越好。在扩大计算规模时，必须要做个决定：是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。 Scaling law 告诉我们：只要能适当地分配参数和数据，就能在固定计算预算下实...
-
Stable Diffusion扩散模型【详解】小白也能看懂！！
文章目录 1、Diffusion的整体过程 2、加噪过程 2.1 加噪的具体细节 2.2 加噪过程的公式推导 3、去噪过程 3.1 图像概率分布 4、损失函数 5、 伪代码过程 此文涉及公式推导，需要参考这篇文章： Stable...
-
大型科技公司拥才有承担 AI 训练数据成本的能力
AI 的发展离不开数据，而这种数据的成本越来越高，这使得除了最富有的科技公司外，其他公司难以承担这一成本。根据去年 OpenAI 的研究人员 James Betker 的文章，AI 模型的训练数据是决定模型能力的关键因素。传统的 AI 系统主要是基于统计机...
-
多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再「压缩」
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。 能够同时生成多种模态输出的多模态模型一般是通过某...
-
【AIGC调研系列】LLaVA++整合Phi-3和Llama-3能够实现什么
LLaVA++能够为Phi-3和Llama-3带来的主要好处包括： 视觉处理能力的增强：通过整合Phi-3和Llama-3模型，创建了具备视觉处理能力的Phi-3-V和Llama-3-V版本，这意味着这些模型现在能够理解和生成与图像相关的内容[1]。...
-
【AIGC调研系列】XTuner、Unsloth方案对比
XTuner和Unsloth都是用于大型语言模型（LLM）训练和微调的工具，但它们在设计理念、技术实现和性能表现上存在一些差异。 技术架构与支持的模型规模： XTuner支持千亿级参数的模型，并能够处理超过百万个tokens的序列。它通过序列...
-
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
使用LLaMA Factory来训练智谱ChatGLM3-6B模型时，以下是一个训练过程： 1. 环境搭建 a. 安装Python和Anaconda 下载并安装适合你操作系统的Python版本（推荐Python 3.10或更高版本）。 安装Anac...
-
Stable Diffusion 使用技巧与具体操作（详细）
Stable Diffusion 是一种基于扩散模型的图像生成技术，能够生成高质量的图像。以下是一些详细的使用技巧与具体操作，帮助你更好地利用这一技术进行创作。 1. 基本概念 Stable Diffusion 利用扩散过程生成图像，通过逐步添加噪声并...
-
【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
Datawhale干货 作者：张帆，陈安东，Datawhale成员 引言 在AI领域，大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama-1、Llama-...
-
在autodl平台使用llama-factory微调Qwen1.5-7B
1 部署环境 step 1. 使用24GB显存以上的显卡创建环境 step 2. 创建好环境之后，关闭环境，使用无卡模式开机（有钱可忽略） step 3. 安装LLaMA-Factory git clone https://github.com/...
-
时间序列模型：lag-Llama
项目地址：GitHub - time-series-foundation-models/lag-llama: Lag-Llama: Towards Foundation Models for Probabilistic Time Series Foreca...
-
快速评测已有的中文llama-3开源模型（4月25日更新）
Llama-3刚出来不到一周，就有一些中文微调模型了。 我快速的对这些模型进行了基准测试，时间仓促，没有办法面面俱到，仅供参考。 中文评测数据集选择的是C-Eval（valid），英文选择的是MMLU（valid），评测指标是准确率， 越高越好。 中...
-
Llama 3 Web Demo 部署 && XTuner 小助手认知微调 && LMDeploy 部署 Llama 3 模型 && 五一作业 && 机智流
Llama 3 Web Demo 部署 && XTuner 小助手认知微调 && LMDeploy 部署 Llama 3 模型 && 五一作业 && 机智流 1、 Llama 3...
-
llama-factory学习个人记录
框架、模型、数据集准备 1.llama-factory部署 # 克隆仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git # 创建虚拟环境 conda create --name llama...
-
【AIGC调研系列】Dify平台是什么
Dify平台是一个专为大型语言模型（LLM）开发和运营设计的LLMOps（Large Language Model Operations）平台。它旨在简化AI应用的创建、部署和管理过程，使开发者能够更快速、更轻松地构建和运营基于GPT等模型的AI应用。...
-
10 分钟，教你如何用 LLama-Factory 训练和微调 LLama3 模型
本文将探讨于2024年3月21日发布的LLama-Factory，并学习如何使用 DigitalOcean 旗下的 Paperspace平台对 LLama 3 进行微调。为了完成我们的任务，我们将使用 NVIDIA A4000 GPU，它被认为是功能最强大...
-
一键 input 苹果 OpenELM，零门槛 Llama 3 教程，40+ 优质模型/数据集/教程，建议收藏！...
现在 AI 行业什么最火？ 「大模型」一定仍然排在前三甲的位置。 自从 2022 年底 ChatGPT 面世以来，大模型在各行各业已经带来了太多的惊喜，应用场景愈发丰富，同时也带动了相关底层技术的普及与普适化。尤其是在开源模型繁荣发展之下，无...
-
基础课12——数据采集
数据采集是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析处理。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。采集一般是采样方式,即隔一定时间(称采样周期 ...
-
AIGC视频生成-CameraCtrl
0. 资源链接 论文: CameraCtrl: Enabling Camera Control for Text-to-Video Generation 项目: https://hehao13.github.io/projects-CameraC...
-
AIGC专栏10——EasyAnimate 一个新的类SORA文生视频模型 轻松文生视频
AIGC专栏10——EasyAnimate 一个新的类SORA文生视频模型 ?轻松文生视频 学习前言 源码下载地址 技术原理储备（DIT/Lora/Motion Module） 什么是Diffusion Transformer (DiT ...
-
LLaMA-Factory 微调训练
LLaMA-Factory 微调训练 该框架功能，标注-微调-导出-合并-部署，一整条流程都有，而且训练时消耗的gpu算力也会小一些 一，安装（推荐在linux中训练，win可以用wsl+docker） git clone https:...
-
谷歌DeepMind：GPT-4高阶心智理论彻底击败人类！第6阶推理讽刺暗示全懂了
【新智元导读】刚刚，谷歌DeepMind、JHU、牛津等发布研究，证实GPT-4的心智理论已经完全达到成年人类水平，在更复杂的第6阶推理上，更是大幅超越人类!此前已经证实，GPT-4比人类更能理解语言中的讽刺和暗示。在心智理论上，人类是彻底被LLM甩在后面...
-
DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
UW&UCB&Google&NVIDIA ICCV23 https://github.com/johannakarras/DreamPose?tab=readme-ov-file 问题引入 输入参考图片...
-
LLMs之FineTuning：Alpaca格式/Vicuna的sharegpt 格式数据集简介、利用多种方式构造或转换指令微调格式数据集实战——利用LLaMA-Factory框架的dataset_i
LLMs之FineTuning：常用指令微调格式数据集的简介(Alpaca格式/Vicuna的sharegpt 格式 、利用多种方式构造或转换指令微调格式数据集实战——利用LLaMA-Factory框架的dataset_info.json 中通过指定 --...
-
Stable Diffusion的微调方法详解
Stable Diffusion作为一种强大的文本到图像生成模型，已经在艺术、设计和科研等多个领域取得了广泛的应用。然而，为了使其更好地适应特定任务或领域，微调（Fine-tuning）技术显得尤为重要。本文将详细介绍Stable Diffusion的微调...
-
Datawhale |【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
本文来源公众号“Datawhale”，仅用于学术分享，侵权删，干货满满。 原文链接：【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3 0. 引言 在AI领域，大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月1...
-
Stable Diffusion【二次元模型】：超级出色的动漫大模型Animagine XL 3.1介绍
大家好，我是wdf。 今天给大家介绍的是一个动漫风格的大模型Animagine XL 3.1。 Animagine XL 3.1 基于 Stable Diffusion XL 构建，旨在通过生成准确而详细的动漫角色，成为动漫迷、艺术家和内容创作者的宝贵...
-
GpuMall智算云：meta-llama/llama3/Llama3-8B-Instruct-WebUI
LLaMA 模型的第三代，是 LLaMA 2 的一个更大和更强的版本。LLaMA 3 拥有 35 亿个参数，训练在更大的文本数据集上GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台 Llama 3 的推...