-
LLM微调技术LoRA图解
译者 | 朱先忠 审校 | 重楼 简介 当涉及到大型语言模型时,微调可能是人们讨论最多的技术方面的内容之一。大多数人都知道,训练这些模型是非常昂贵的,需要大量的资本投资;所以,看到我们可以通过采用现有的模型并用自己的数据对模型进行微调,从而创建一个具有...
-
使用Python实现深度学习模型:序列到序列模型(Seq2Seq)
本文分享自华为云社区《使用Python实现深度学习模型:序列到序列模型(Seq2Seq)》,作者: Echo_Wish。 序列到序列(Seq2Seq)模型是一种深度学习模型,广泛应用于机器翻译、文本生成和对话系统等自然语言处理任务。它的核心思想是将一个序...
-
【AI应用开发全流程】使用AscendCL开发板完成模型推理
给开发者套件上电后 Step4 登录开发者套件 通过PC共享网络联网(Windows): 控制面板 -> 网络和共享中心 -> 更改适配器设置 -> 右键“WLAN” -> 属性 ->...
-
首次证实白盒Transformer可扩展性!马毅教授CRATE-α:鲸吞14亿数据,性能稳步提升
在过去的几年里,Transformer架构在自然语言处理(NLP)、图像处理和视觉计算领域的深度表征学习中取得了显著的成就,几乎成为了AI领域的主导技术。 然而,虽然Transformer架构及其众多变体在实践中取得了巨大成功,但其设计大多是基于经验的,...
-
Github万星!北航发布零代码大模型微调平台LlamaFactory
在人工智能领域,大语言模型(LLMs)已成为推动技术进步的关键力量。它们在理解和生成自然语言方面展现出了卓越的能力,从而在问答系统、机器翻译、信息提取等多样化任务中发挥着重要作用。然而,要将这些模型适配到特定的下游任务中,通常需要进行微调(fine-tun...
-
快速学会一个算法,CNN
今天给大家分享一个超强的算法,CNN 卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,广泛应用于图像和视频分析、自然语言处理和其他相关领域。CNN 通过模拟生物视觉系统的处理方式,能够自动学习数据的层次...
-
LightGBM实战+随机搜索调参:准确率96.67%
大家好,我是Peter~ 今天给大家分享一下树模型的经典算法:LightGBM,介绍算法产生的背景、原理和特点,最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域,梯度提升机(Gradient Boosting...
-
LLM | Yuan 2.0-M32:带注意力路由的专家混合模型
图片 一、结论写在前面 Yuan 2.0-M32,其基础架构与Yuan-2.0 2B相似,采用了一个包含32位专家的专家混合架构,其中2位专家处于活跃状态。提出并采用了一种新的路由网络——注意力路由器,以更高效地选择专家,相比采用经典路由网络的模型,其准...
-
基于机器学习的金融欺诈检测模型
作者 | 陈峻 审校 | 重楼 引言 如今,基于互联网服务的欺诈案例时常登顶媒体头条,而使用在线服务和数字交易的金融行业尤其成为了重灾区。网络洗钱、保险欺诈、网银盗用、虚假银行交易等复杂金融欺诈行为层出不穷,我们亟待通过行之有效的欺诈识别与检测的...
-
别再说国产大模型技术突破要靠 Llama 3 开源了
近日,千呼万唤之下,Meta终于发布了开源大模型Llama 3的 8B 和 70B 版本,再次震动 AI 圈。 Meta 表示,Llama 3 已经在多种行业基准测试上展现了最先进的性能,提供了包括改进的推理能力在内的新功能,是目前市场上最好的开源大模型...
-
重磅 Llama-3最强开源大模型惊艳亮相
重磅!Llama-3,最强开源大模型正式发布! 202年4 月 19 日,Meta 发布开源大模型 Llama-3,助力研究人员和开发者推进语言 AI 的界限。 强大的语言模型Llama-3推出,拥有80亿...
-
CLIP当RNN用入选CVPR:无需训练即可分割无数概念|牛津大学&谷歌研究院
循环调用CLIP,无需额外训练就有效分割无数概念。 包括电影动漫人物,地标,品牌,和普通类别在内的任意短语。 牛津大学与谷歌研究院联合团队的这项新成果,已被CVPR 2024接收,并开源了代码。 团队提出名为CLIP as RNN(简称CaR)的新技...
-
RAG 架构如何克服 LLM 的局限性
检索增强生成促进了 LLM 和实时 AI 环境的彻底改造,以产生更好、更准确的搜索结果。 译自How RAG Architecture Overcomes LLM Limitations,作者 Naren Narendran。 在本系列的第一部分中,我重...
-
AIGC论文阅读——[Visual Speech-Aware Perceptual 3D Facial Expression Reconstruction from Videos]
AIGC论文阅读——[Visual Speech-Aware Perceptual 3D Facial Expression Reconstruction from Videos] 论文地址:https://arxiv.org/abs/2207.110...
-
大模型到底有没有智能?一篇文章给你讲明明白白
生成式人工智能 (GenAI[1] 和大语言模型 (LLM[2] ,这两个词汇想必已在大家的耳边萦绕多时。它们如惊涛骇浪般席卷了整个科技界,登上了各大新闻头条。ChatGPT,这个神奇的对话助手,也许已成为你形影不离的良师益友。 然而,在这场方兴未艾的...
-
微调LLama模型:具体步骤与代码实现
微调LLama模型是一个涉及多个步骤的过程,包括数据准备、模型加载、设置优化器和损失函数、训练循环以及模型评估。下面,我们将详细介绍这些步骤,并给出相应的代码实现。 步骤一:数据准备 首先,我们需要准备用于微调的数据集。这通常包括一个输入文本序列和对...
-
True Fit利用生成式AI帮助在线购物者找到合身的衣服
True Fit 是一家 AI 驱动的尺码和合身度个性化工具,已经为成千上万家零售商提供尺码建议解决方案近20年。现在,该公司正进军生成式 AI 领域,推出了名为 “Fit Hub” 的新工具,旨在改善在线购物者找到适合其身材的服装的方式。 产品入口:...
-
机器学习中不得不知的数学基础
随着各类语言库和框架的不断增加,机器学习变得越来越受欢迎。人们在各个领域更容易找到人工智能和机器学习的应用。然而,依赖库和框架来使用人工智能可能不会使人们成为该领域的专家。虽然编码框架的支持增加了可用性,但要在人工智能行业取得成功,我们必须深入理解代码背...
-
改进的检测算法:用于高分辨率光学遥感图像目标检测
本文经计算机视觉研究院公众号授权转载,转载请联系出处。 01 前景概要 目前,难以在检测效率和检测效果之间获得适当的平衡。我们就研究出了一种用于高分辨率光学遥感图像中目标检测的增强YOLOv5算法,利用多层特征金字塔、多检测头策略和混合注意力模块来提高...
-
YoloCS:有效降低特征图空间复杂度
本文经计算机视觉研究院公众号授权转载,转载请联系出处。 论文地址:YOLOCS: Object Detection based on Dense Channel Compression for Feature Spatial Solidificatio...
-
LLM | 偏好学习算法并不学习偏好排序
图片 一、结论写在前面 偏好学习算法(Preference learning algorithms,如RLHF和DPO)常用于引导大型语言模型(LLMs)生成更符合人类偏好的内容,但论文对其内部机制的理解仍有限。论文探讨了传统观点,即偏好学习训练模型通过...
-
Llama改进之——均方根层归一化RMSNorm
引言 在学习完GPT2之后,从本文开始进入Llama模型系列。 本文介绍Llama模型的改进之RMSNorm(均方根层归一化 。它是由Root Mean Square Layer Normalization论文提出来的,可以参阅其论文笔记1。 L...
-
多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
文章目录 摘要 1 引言 2 高效微调技术 2.1 高效优化 2.2 高效计算 3 LlAMAFACtORY框架 3.1 模型加载器 3.2 数据处理工作者 3.3 训练器 3.4 实用工具 3.5 LLAMABOARD:LLAMAFAC...
-
CVPR 2024 | 前沿而相对小众!几个AIGC扩散模型diffusion应用一览
1、机器人规划/智能决策 SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution 扩散...
-
AI预测极端天气提速5000倍!微软发布Aurora,借AI之眼预测全球风暴
自人类有历史以来,就一直执着于预测天气,以各种方式破解「天空之语」,我们慢慢发现,草木、云层似乎都与天气有关,这不仅仅是因为人类从事生产的需要,也是人类想要对着大风歌唱、在月光下吟诗的需要。 《冰与火之歌》中的风雨歌师,就是通过歌声和吟唱来预测天气和风暴...
-
LlamaFactory源码解析 PPO
class CustomPPOTrainer(PPOTrainer, Trainer : r""" Inherits PPOTrainer. """ def __init__( self,...
-
AI训练数据的版权保护:公地的悲剧还是合作的繁荣?
GPT-4o内置声音模仿「寡姐」一案闹的沸沸扬扬,虽然以OpenAI发布声明暂停使用疑似寡姐声音的「SKY」的语音、否认曾侵权声音为阶段性结束。但是,一时间「即便是AI,也得保护人类版权」这一话题甚嚣尘上,更刺激起了人们本来就对AI是否可控这一现代迷思的...
-
Mamba-2新架构出世一统江湖!普林斯顿CMU华人再出神作,性能狂飙8倍
年前,Mamba被顶会ICLR拒稿的消息曾引起轩然大波。 甚至有研究人员表示:如果这种工作都被拒了,那我们这些「小丑」要怎么办? 这次,新一代的Mamba-2卷土重来、再战顶会,顺利拿下了ICML 2024! 仍是前作的两位大佬(换了个顺序),仍是熟...
-
whisper 的安装pycharm使用 以及出现的BUG(已经解决)!
whisper(语音识别)+ffmpeg介绍 Whisper是OpenAI于2022年9月份开源的通用的语音识别模型。它是在各种音频的大型数据集上训练的模型,也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。Whisper 是一它在不同音频...
-
Karpathy点赞,这份报告教你如何用 LLaMa 3创建高质量网络数据集
众所周知,对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说,构建高质量的网络规模数据集是非常重要的。然而,即使是最先进的开源 LLM 的预训练数据集也不公开,人们对其创建过程知之甚少。 最近,AI 大牛 Andrej Karpa...
-
什么是LLM大模型训练,详解Transformer结构模型
本文分享自华为云社区《LLM 大模型学习必知必会系列(四 :LLM训练理论篇以及Transformer结构模型详解》,作者:汀丶。 1.模型/训练/推理知识介绍 深度学习领域所谓的“模型”,是一个复杂的数学公式构成的计算步骤。为了便于理解,我们以一...
-
研究人员使用机器学习优化高功率激光实验
高强度和高重复的激光器能快速连续每秒发射多次强大的光。商业聚变能源工厂和先进的紧凑型辐射源都依赖这种激光系统。然而,人类的反应时间不足以管理这种速射系统,应用面临挑战。 为了应对这一挑战,科学家们正在寻找不同的方法来利用自动化和人工智能的力量,这些技术...
-
3B模型新SOTA!开源AI让日常调用不同大模型更简单
大模型,大,能力强,好用! 但单一大模型在算力、数据和能耗方面面临巨大的限制,且消耗大量资源。 而且目前最强大的模型大多为闭源,对AI开发的速度、安全性和公平性有所限制。 AI大模型的未来发展趋势,需要怎么在单一大模型和多个专门化小模型之间做平衡和选择?...
-
训练Stable Diffusion(XL) Lora的图片是否需要caption?
intro 目前很多风格lora模型的训练都会对图片进行caption,训练风格lora时使用image caption步骤是否能带来正向的效果? 在sdxl的代码实现中,lora插入的位置为unet中cross attention的QKV的线性投影部...
-
大规模语言模型--LLaMA 家族
LLaMA 模型集合由 Meta AI 于 2023 年 2 月推出, 包括四种尺寸(7B 、13B 、30B 和 65B 。由于 LLaMA 的 开放性和有效性, 自从 LLaMA 一经发布, 就受到了研究界和工业界的广泛关注。LLaMA 模型在开放基准...
-
港科大最新!Vista:一种具有高保真度和多功能可控的世界模型
本文经自动驾驶之心公众号授权转载,转载请联系出处。 原标题:Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability 论文链接...
-
[AIGC] redis 持久化相关的几道面试题
文章目录 1. 什么是Redis持久化? 2. Redis 的持久化机制是什么?各自的优缺点? 2.1 RDB(Redis DataBase),快照 2.2 AOF(Append Only File),日志 3. 优缺点是什么? 4. 如何...
-
深度解析:人工智能作画算法的原理与技术
引言 在数字艺术的探索中,人工智能(AI)作画算法以其独特的创造性和艺术性引起了广泛的兴趣。这些算法不仅仅是简单的图像处理工具,它们背后蕴藏着复杂的神经网络和深度学习模型。本文将深入探讨AI作画算法的原理与技术,揭示其背后的复杂性和魅力。 1. 数据...
-
Stable-DiffusionLoRA模型训练教程(新手篇)|LoRA训练个人经验总结与复盘
上周初次尝试了训练LoRA模型,周末两天的时间一直在遇到问题摸索解决问题,修改完善模型,测试模型当中度过,好在问题都一一解决,也在LiblibAI上首发了我的处女作。👏👏👏 本篇文章仅整理归纳我的LoRA训练思路及步骤,以及自己遇到的问题和解决方案的复盘...
-
【AIGC调研系列】MiniCPM-Llama3-V2.5模型与GPT-4V对比
MiniCPM-Llama3-V2.5模型与GPT-4V的对比可以从多个方面进行分析,包括性能、应用场景和技术特点。 从性能角度来看,MiniCPM-Llama3-V2.5在OCR识别、模型幻觉能力和空间理解能力方面表现出色,实现了开源模型的性能SOTA...
-
微软ML Copilot框架释放机器学习能力
摘要:大模型席卷而来,通过大量算法模型训练推理,能根据人类输入指令产生图文,其背后是大量深度神经网络模型在做运算,这一过程称之为机器学习,本文从微软语言大模型出发,详解利用大型语言模型(Large Language Models, LLMs)解决实际机器学...
-
工业知识图谱进阶实战
一、背景简介 首先来介绍一下云问科技的发展历程。 云问科技公司由 Chatbot 起家,在 2013 年到 2019 年间一直投身于 Chatbot 领域,主要关注人机对话方向,推出了很多客服类产品。后转型去做知识相关领域的原因是,在 Bert 发布之...
-
ChatGPT真能记住你的话吗?DeepMind与开源大佬揭示LLM记忆之谜
Django框架的创始人之一、著名开发者Simon Willison最近发表了一篇博客文章,核心观点是——虽然很多LLM看起来有记忆,但本质上是无状态函数。 文章地址:https://simonwillison.net/2024/May/29/trai...
-
快速学会一个算法,xLSTM
今天给大家分享一个超强的算法模型,xLSTM。 xLSTM(Extended Long Short-Term Memory)是对传统 LSTM(Long Short-Term Memory)模型的扩展和改进,旨在提升其在处理时间序列数据和序列预测任务中的...
-
开源模型进展盘点:最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好?
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察,也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中,他盘点分析了 4 月份发布的四个主要新模型:Mix...
-
首个智慧城市大模型UrbanGPT,全面开源开放|港大&百度
时空预测技术,迎来ChatGPT时刻。 时空预测致力于捕捉城市生活的动态变化,并预测其未来走向,它不仅关注交通和人流的流动,还涵盖了犯罪趋势等多个维度。目前,深度时空预测技术在生成精确的时空模型方面,依赖于大量训练数据的支撑,这在城市数据不足的情况下显得...
-
Llama-Factory 简介 二, 脚本详解 LLaMA-Factory/src/train_bash.py LLaMA-Factory/src/llmtuner/train/pt/workfl
examples/ ├── lora_single_gpu/ │ ├── pretrain.sh: 基于 LoRA 进行增量预训练 │ ├── sft.sh: 基于 LoRA 进行指令监督微调 │ ├── reward.sh: 基于 LoRA...
-
不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它
一般而言,训练神经网络耗费的计算量越大,其性能就越好。在扩大计算规模时,必须要做个决定:是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。 Scaling law 告诉我们:只要能适当地分配参数和数据,就能在固定计算预算下实...
-
Stable Diffusion扩散模型【详解】小白也能看懂!!
文章目录 1、Diffusion的整体过程 2、加噪过程 2.1 加噪的具体细节 2.2 加噪过程的公式推导 3、去噪过程 3.1 图像概率分布 4、损失函数 5、 伪代码过程 此文涉及公式推导,需要参考这篇文章: Stable...
-
大型科技公司拥才有承担 AI 训练数据成本的能力
AI 的发展离不开数据,而这种数据的成本越来越高,这使得除了最富有的科技公司外,其他公司难以承担这一成本。根据去年 OpenAI 的研究人员 James Betker 的文章,AI 模型的训练数据是决定模型能力的关键因素。传统的 AI 系统主要是基于统计机...