-
Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC
Nvidia 和 Mistral AI 发布了一款新型的小型语言模型，据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B，是 NeMo 12B 的迷你版本，参数量从 120 亿缩减到了 80 亿。...
-
非Transformer时代到来！全新无注意力模式超越Llama传奇
来源 | 机器之心 ID | almosthuman2014 Mamba 架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。 此后，采用 Mamba 架构的模型...
-
如何高效微调多模态Transformers模型：从入门到实践指南
多模态大模型（Multimodal Large Models）是能够处理多种类型数据（如文本、图像、音频等）的机器学习模型。transformers 是当前多模态大模型中的一种重要架构。 目录 Transformers简介 多模态Transforme...
-
Meta Llama 3.1：AI领域的新里程碑
Meta最近推出了其最新的AI模型Llama 3.1，这不仅是一个技术上的飞跃，更是AI领域的一次重大突破。以下是Llama 3.1的一些关键技术亮点，值得每一位AI爱好者和开发者关注。 参数规模与性能 Llama 3.1包含三种规格：8B（80亿）、...
-
MSRA古纾旸：2024年，视觉生成领域最重要的问题有哪些？
文章链接: https://arxiv.org/pdf/2407.18290 亮点直击 概述了视觉生成领域中的各种问题。 这些问题的核心在于如何分解视觉信号，其他所有问题都与这一核心问题密切相关，并源于不适当的信号分解方法。 本文旨...
-
一文看懂llama2（原理&模型&训练）
Llama2（大型语言模型2） Llama2（大型语言模型2）主要基于近年来火爆的Transformer架构。下面是Llama2的几个核心原理： Transformer 架构: Llama2采用了Transformer网络，它通过自注意力机制来处理...
-
AIGC文生图方向Task2笔记：探索AI生图的前沿、历史、难点与挑战
AIGC文生图方向Task2笔记：探索AI生图的前沿、历史、难点与挑战 引言 在AIGC（Artificial Intelligence Generated Content）的广阔领域中，文生图（Text-to-Image Generation）技术以其独...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task 1笔记
引言 本笔记可以作为学习手册的扩充版本，也是一份快速上手的指南。灰色的备注部分包含了关于步骤的详细解释和扩展内容，建议你可以先跳过这些备注，等完成所有步骤后再回头查阅。 第一步：搭建代码环境 1.1 申请阿里云PAI-DSW 阿里云PAI-D...
-
Stable Diffusion是什么？
目录 一、Stable Diffusion是什么？ 二、Stable Diffusion的基本原理 三、Stable Diffusion有哪些运用领域？ 一、Stable Diffusion是什么？ Stable Diff...
-
LLaMA-Factory全面指南：从训练到部署
项目背景与概述 LLaMA-Factory项目目标 LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。具体来说，LLaMA-F...
-
基于飞桨框架的稀疏计算使用指南
本文作者-是 Yu 欸，华科在读博士生，定期记录并分享所学知识，博客关注者5w+。本文将详细介绍如何在 PaddlePaddle 中利用稀疏计算应用稀疏 ResNet，涵盖稀疏数据格式的础知识、如何创建和操作稀疏张量，以及如何开发和训练稀疏神经网络模型。...
-
开源项目Llama.cpp指南
开源项目Llama.cpp指南 llama.cppPort of Facebook's LLaMA model in C/C++项目地址:https://gitcode.com/gh_mirrors/ll/llama.cpp 1. 项目介绍 Ll...
-
llama模型，nano
目录 llama模型 Llama模型性能评测 nano模型是什么 Gemini Nano模型 参数量 MMLU、GPQA、HumanEval 1. MMLU（Massive Multi-task Language Understanding）...
-
买不到GPU，马斯克自曝AI巨兽Dojo！自研超算挑战英伟达，约等于8千块H100
【新智元导读】多年来，马斯克一直在公开谈论Dojo——这台超算将成为特斯拉人工智能雄心的基石。他最近表示，随着特斯拉准备在10月推出Robotaxi，AI团队将「加倍投入」Dojo。 为了训出最强Grok3，xAI耗时19天，打造了由10万块H100组成的...
-
比肩 GPT-4o 的 Llama 3.1 本地部署快速体验的方法
比肩 GPT-4o 的 Llama 3.1 本地部署快速体验的方法 flyfish Llama 3.1模型简介 Llama 3.1是一系列大型语言模型，包含以下几种规模： 8B 参数：模型中有80亿个参数 70B 参数：模型中有700亿个参数...
-
贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样
Transformer大模型尺寸变化，正在重走CNN的老路! 看到大家都被LLaMA3.1吸引了注意力，贾扬清发出如此感慨。 拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象: 在ImageNet时代，研究人员和技术从业者见证了参数规...
-
击败GPT-4o的开源模型如何炼成？关于Llama 3.1 405B，Meta都写在这篇论文里了
经历了提前两天的「意外泄露」之后，Llama 3.1 终于在昨夜由官方正式发布了。 Llama 3.1 将上下文长度扩展到了 128K，拥有 8B、70B 和 405B 三个版本，再次以一已之力抬高了大模型赛道的竞争标准。 对 AI 社区来说，...
-
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
上文介绍了如何对微调后的模型进行使用与简单评估。本文将介绍对微调后的模型进行导出的过程。 一、llama-3微调后的模型导出 首先进入虚拟环境，打开LLaMA-Factory的webui页面 conda activate GLM cd LLaMA-F...
-
LLaMA-MoE：基于参数复用的混合专家模型构建方法探索
自Mixtral以来，大家对混合专家模型（Mixture-of-Experts，MoE）的关注越来越高。然而从零训练MoE模型的成本极大，需要耗费海量的计算资源。为此，我们探索了一种基于参数复用的MoE快速构建方法。 该方法首先将LLaMA...
-
AIGC学习笔记—LLM（前言）
大语言模型本身我不是很了解，但是掌握一些基础的知识点，由于要准备某个公司的二面，所以浅学一下这个技术，也是边摸索边学习...... 首先，我先简单的解释一下大模型，大模型是指具有大规模参数和复杂计算结构的机器学习模型，通常由深度神经网络构建而成，拥有数十...
-
Stable Diffusion——涂鸦幻变：稳态扩散下的艺术重生
目录 引言 操作过程 图片准备 创建蒙版 图生图优化 设置参数 细节调整 总结 引言 在深入体验了 Stable Diffusion 图生图的无限魅力之后，我们不禁为其强大的图像修复和细节丰富能力所折服。然而，在实际应用中，许...
-
【大模型】微调实战—使用 ORPO 微调 Llama 3
ORPO 是一种新颖微调（fine-tuning）技术，它将传统的监督微调（supervised fine-tuning）和偏好对齐（preference alignment）阶段合并为一个过程。这减少了训练所需的计算资源和时间。此外，实证结果表明，ORP...
-
一文看懂 LLaMA 2：原理与模型训练介绍
近年来，人工智能领域的进展使得自然语言处理（NLP）技术得到了显著提升。LLaMA 2 是一种先进的语言模型，它在处理语言生成和理解任务上表现出色。本文将介绍 LLaMA 2 的基本原理、模型结构以及训练方法，帮助你全面了解这一技术。 1. LLaMA...
-
【技术追踪】SDSeg：医学图像的 Stable Diffusion 分割（MICCAI-2024）
这医学图像分割领域啊，终究还是被 Stable Diffusion 闯进去了~ SDSeg：第一个基于 Stable Diffusion 的 latent 扩散医学图像分割模型，在五个不同医学影像模态的基准数据集上超越了现有的最先进方法~ 论...
-
一文者懂LLaMA 2（原理、模型、训练）
引言 LLaMA（Large Language Model Meta AI）是Meta（前身为Facebook）开发的自然语言处理模型家族之一，LLaMA 2作为其最新版本，展示了在语言理解和生成方面的显著进步。本文将详细解读LLaMA 2的基本原理、...
-
谷歌AI「神算」NeuralGCM震撼Nature：30秒完成22天天气模拟，效率提升10万倍！
想象一下，如果有一种技术，能够准确预测未来几天甚至几十年的天气和气候，那将会怎样改变我们的生活?这听起来像是科幻小说里的情节，但现在，一项名为NeuralGCM的新技术，正将这一梦想变为现实。 NeuralGCM是一种新型的神经通用循环模型，它结合了传统天...
-
【05】LLaMA-Factory微调大模型——初尝微调模型
上文【04】LLaMA-Factory微调大模型——数据准备介绍了如何准备指令监督微调数据，为后续的微调模型提供高质量、格式规范的数据支撑。本文将正式进入模型微调阶段，构建法律垂直应用大模型。 一、硬件依赖 LLaMA-Factory框架对硬件和软件的...
-
以全栈智算拥抱生态，为AIGC种一棵向上生长的巨榕
榕树，被称为百木之王。它既有极深的根，又有繁茂的叶。只要一棵榕树长成，就能够独木成林，遮天蔽日。更可贵的是，榕树可以为树荫下繁茂的生态提供支撑，形成“一榕生，万物长”的格局。 开年以来，OpenAI推出了炸裂的Sora文生视频模型，再一次将...
-
Windows下安装LLama-Factory
在进行安装前，请先确认你的GPU能支撑起训练的显存。如果和可怜的我一样是4GB可以选择上云或者换一个好一点的显卡。并且确定你安装了显卡驱动版本在官方给的版本以上，如果没有安装，详细参考我的另一篇文章：LLama-Factory运行异常，CU...
-
百度大模型文心一言api 请求错误码 一览表
错误码说明 千帆大模型平台API包含两类，分别为大模型能力API和大模型平台管控API，具体细分如下： 大模型能力API 对话Chat 续写Completions 向量Embeddings 图像Images 大模型平台管控API...
-
AFAC2024-基于保险条款的问答 比赛日记 llamafactory qwen npu 910B1
AFAC2024: 基于保险条款的问答挑战——我的实战日记 概述 在最近的AFAC2024竞赛中，我参与了基于保险条款的问答赛道。这是一次深度学习与自然语言处理的实战演练，旨在提升模型在复杂保险文本理解与问答生成方面的能力。本文将分享我的参赛过程，...
-
【AIGC调研系列】VILA-1.5版本的视频理解功能如何
VILA-1.5版本的视频理解功能表现出色，具有显著的突破。这一版本不仅增强了视频理解能力，还提供了四种不同规模的模型供用户选择，以适应不同的应用需求和计算资源限制[1][2][3]。此外，VILA-1.5支持在笔记本等边缘设备上部署，这得益于其高效的模型...
-
AIGC技术在智能家居中的创新应用
AIGC技术在智能家居中的创新应用 引言 知识概述 知识细节 实战应用 优化与改进 常见问题 用户体验设计 未来趋势 结语 引言 在科技日新月异的今天，人工智能生成内容（AIGC）正悄然改变着我们的生活方式。尤其在智能家居领域，A...
-
每日AIGC最新进展(33)：小米提出单步扩散模型SDXS、阿米蒂大学提出加速SD的统一模块LCM-LORA、国立台湾大学提出生成QR二维码的扩散模型
Diffusion Models专栏文章汇总：入门与实战 SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions 本文介绍了一种名为SDXS的新型实时一步潜在...
-
Stable Diffusion背后的技术原理与实现细节
Stable Diffusion背后的技术原理与实现细节 I. 引言 A. Stable Diffusion的定义 B. 技术重要性概述 C. 本文目标与结构 II. 深度学习与图像生成 A. 深度学习简介 B. 图像生成任务 C. 生成...
-
LLaMA原理与代码实例讲解
LLaMA原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大模型、LLaMA、Transformer、预训练、微调 1. 背景介绍 1.1 问题的由来...
-
揭秘！FFmpeg+Whisper双剑合璧：解锁视频到文本的二阶段奇迹
解锁视频到文本的二阶段奇迹 一、引言 二、视频音频提取与处理 视频音频提取与处理 2.1 环境搭建 2.2 视频音频提取 2.3 音频预处理 示例代码： 三、语音识别与翻译 3.1 加载Whisper模型 3.2 语音识别 3.3 语言检...
-
探索AI写作的深度奥秘：从困惑度到爆发度的挑战与机遇
大家好，今天来聊聊探索AI写作的深度奥秘：从困惑度到爆发度的挑战与机遇，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 探索AI写作的深度奥秘：从困惑度到爆发度的挑战与机遇 在AI技术飞速发展...
-
突破AI性能瓶颈 揭秘LLaMA-MoE模型的高效分配策略
获取本文论文原文PDF，请在公众号【AI论文解读】留言：论文解读 本文介绍了一种名为“LLaMA-MoE”的方法，通过将现有的大型语言模型（LLMs）转化为混合专家网络（MoE），从而解决了训练MoE时遇到的数据饥饿和不稳定性问题。该方法基于著名的LLa...
-
调研分析：LLama大模型
1. 引言 在当前的自然语言处理（NLP）研究中，大规模预训练模型如BERT、GPT-3和RoBERTa已经展示了其卓越的性能和广泛的应用。随着技术的发展，新的模型不断涌现，推动了NLP领域的持续进步。本文将聚焦于LLama模型，分析其结构、预训练策略、优...
-
如何使用Whisper语音识别模型
Whisper 是一个通用语音识别模型，由 OpenAI 开发。它可以识别多种语言的语音，并将其转换为文本。Whisper 模型采用了深度学习技术，具有高准确性和鲁棒性。 1、技术原理及架构 Whisper 的工作原理：音频被分割成...
-
AIGC从入门到实战：登录 DID
AIGC从入门到实战：登录 D-ID 1. 背景介绍 1.1 问题的由来 随着人工智能技术的迅速发展，身份验证领域也在不断创新。在现代社会中，安全、便捷的身份验证成为了必不可少的功能。然而，传统的人脸识别系统存在隐私泄露的风险，尤其是在大规模数据库中...
-
在stable diffusion中如何分辨lora、大模型、controlnet
LoRA (LowRank Adaptation Stable Diffusion LoRA 是微软的研究人员为了解决大语言模型微调而开发的一项技术,它是一个多模态语言-图像模型，LORA 可以学习将其语言表征迁移到图像 modal 中从而获得跨模态...
-
实现 LLM 应用的可观测，难在哪里？
随着生成式 AI 概念的火爆，以 ChatGPT、通义大模型为代表，市场上涌现了一系列商用或者开源的大模型，同时基于大语言模型（LLM ）以及 AI 生态技术栈构建的应用以及业务场景也越来越多。 众所周知，LLM 包含数十亿甚至万亿级别的参数，其架构复杂...
-
使用LlamaFactory进行模型微调：参数详解
在深度学习和自然语言处理领域，模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调，并详细解析一些关键参数，包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
Stable Diffusion云端部署安装教程
方法1【推荐】：Autodl云端安装步骤 云端网址: 【点击直达】 注册并认证。 充值并租用云端电脑 部署云端请参考以下图片 选择你们喜欢的镜像，就可以直接租用了 推荐这个镜像 记得多看使用说明哦，好记性不如多实操...
-
一文看懂LLaMA 2：原理、模型与训练
引言 人工智能领域的快速发展，带来了许多强大的语言模型。LLaMA 2 是其中之一，以其出色的性能和灵活的应用能力，吸引了广泛关注。这篇文章将带你深入了解 LLaMA 2 的原理、模型架构和训练过程，帮助你全面掌握这一前沿技术。 什么是LLaMA...
-
Stable Diffusion：最全详细图解
Stable Diffusion，作为一种革命性的图像生成模型，自发布以来便因其卓越的生成质量和高效的计算性能而受到广泛关注。不同于以往的生成模型，Stable Diffusion在生成图像的过程中，采用了独特的扩散过程，结合深度学习技术，实现了从噪声到清...
-
Meta Llama 3 来啦！性能算力究竟如何？
新一代大语言模型 Meta Llama 3 横空出世！ 前言 就在4月19日，Meta公司推出了他们最新开源的大型语言模型(LLM Llama 3！这次的Llama 3包含了8B和70B两种不同参数规模的模型。那么作为Llama的第三代模型它...
-
Stable Diffusion 实操教程：轻松掌握图像生成技术
一、引言 Stable Diffusion 是一种强大的图像生成技术，通过利用扩散模型，能够生成高质量的图像。在当前的人工智能领域，Stable Diffusion 已被广泛应用于艺术创作、图像增强和生成等多个领域。本篇文章将详细介绍 Stable Di...