-
Meta推出Llama 3.2 AI模型，支持多模态和边缘计算；OpenAI首席技术官穆拉蒂宣布离职
? AI新闻 ? Meta推出Llama 3.2 AI模型，支持多模态和边缘计算 摘要：Meta于9月25日发布Llama 3.2 AI模型，具备开放性和可定制性，支持开发者实现边缘人工智能和视觉应用。该系列包含多模态视觉模型（11B和90B）及轻...
-
深度技术分析：Meta Llama 3模型训练故障剖析
## 摘要 Meta公司在一项涉及16,384个Nvidia H100 80GB GPU的Llama 3 405B模型训练中，遭遇了频繁的硬件故障。在54天的训练期间，平均每三小时就发生一次组件故障，其中半数故障与GPU或其HBM3内存有关。尽管面临如此挑...
-
3天把Llama训成Mamba，性能不降，推理更快！
近日，Mamba方面又搞出了有意思的研究：来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。\ 先来看一张其乐融融的图片（一眼AI）： 右边的小羊驼代表Llama，而左边的蛇（...
-
LLaMA 数据集
LLaMA的训练数据集来源多样，涵盖了多个不同的数据集和预处理步骤。以下是详细的描述： 公开数据来源和预处理 CommonCrawl [67%]： 使用CCNet管道（Wenzek等人，2020年）对2017年至2020年间的五个Comm...
-
【论文速读】|RO-SVD：一种用于 AIGC 应用的可重构硬件版权保护框架
本次分享论文：RO-SVD: A Reconfigurable Hardware Copyright Protection Framework for AIGC Applications 基本信息 原文作者：Zhuoheng Ran, Muhammad...
-
AuraFlow：超越Stable Diffusion 3，开源文生图模型的未来之星
前沿科技速递? 开源创新先锋fal.ai携手社区顶尖开发者，震撼发布AuraFlow v0.1——全球首个完全开源的大型整流流文本到图像生成模型，开启文生图领域新篇章！ 极致开源精神：AuraFlow v0.1作为对Stable Diffusion...
-
PPTV创始人姚欣AI再创业，“分布式推理”终于有人做了
这个月，PPTV创始人姚欣再次站到了聚光灯下，组织了一场分布式云计算论坛，向外界揭开了他的新篇章。 姚欣的第二次创业，瞄准了云服务，要打造 AI 时代的基础设施。 但姿势独特:公司没有自建IDC和购买GPU，而是通过独特的方式成为了全国最多节点的云服务商。...
-
【大模型】llama系列模型基础
前言：llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。 目录 1. llama 1.1 整体结构 1.2 RoPE 1...
-
家用设备轻松搭建 AI 集群，畅跑 Llama 3.1 405B
作者：老余捞鱼 原创不易，转载请标明出处及原作者。 写在前面的话： 本文主要介绍如何在家用设备上运行大型开源语言模型Llama 3.1 405B，首先我会解释构建人工智能集群来提高运行效率的原理，随后会演示如何通过Dist...
-
CVPR2024|Diffusion模型轻量化与计算效率优化
前言 做算法应该都有顶会梦吧，发不了顶会只能刷一刷顶会了哈哈，向顶会大佬学习 扩散模型的训练和推理都需要巨大的计算成本（显卡不足做DDPM的下游任务实在是太难受了），所以本文整理汇总了部分CVPR2024中关于扩散模型的轻量化与计算效率优化 的相关论文...
-
语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场
【新智元导读】就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了! Transformer...
-
【多模态大模型】LLaMA in arXiv 2023
一、引言 论文： LLaMA: Open and Efficient Foundation Language Models作者： Meta AI代码： LLaMA特点： 该方法在Transformer的基础上增加了Pre-normalization (...
-
江大白 | 视觉Transformer与Mamba的创新改进，完美融合（附论文及源码）
本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满。 原文链接：视觉Transformer与Mamba的创新改进，完美融合（附论文及源码） 以下文章来源于微信公众号：AI视界引擎 作者：AI引擎 链接：https://mp.weixin.q...
-
基于飞桨框架的稀疏计算使用指南
本文作者-是 Yu 欸，华科在读博士生，定期记录并分享所学知识，博客关注者5w+。本文将详细介绍如何在 PaddlePaddle 中利用稀疏计算应用稀疏 ResNet，涵盖稀疏数据格式的础知识、如何创建和操作稀疏张量，以及如何开发和训练稀疏神经网络模型。...
-
AIGC前沿 | LivePortrait
0. 资源链接 论文超链接: LivePortrait 项目: https://github.com/KwaiVGI/LivePortrait 1. 背景动机 现有AIGC存在的问题 随着智能手机和其他录制设备的普及，人们越来越频繁地...
-
GPU训Llama 3.1疯狂崩溃，竟有大厂用CPU服务器跑千亿参数大模型？
马斯克19天建成由10万块H100串联的世界最大超算，已全力投入Grok3的训练中。 与此同时，外媒爆料称，OpenAI和微软联手打造的下一个超算集群，将由10万块GB200组成。 在这场AI争霸赛中，各大科技公司们卯足劲加大对GPU的投资，似乎在暗示着拥...
-
每日AIGC最新进展(51)：昆仑万维震撼发布16B DiT-MoE图像生成模型、东北大学提出使用去噪神经权重进行高效训练、美团提出视频扩散模型量化方法
Diffusion Models专栏文章汇总：入门与实战 Scaling Diffusion Transformers to 16 Billion Parameters 本文介绍了DiT-MoE，一种可扩展的稀疏变分Transformer模型，它在...
-
第43篇：实现企业级大型AIGC项目：模型并行与分布式训练
在构建企业级大型AIGC（人工智能生成内容）项目时，模型并行与分布式训练是提升计算效率和处理能力的关键技术。随着模型规模和数据量的不断增长，单台设备的计算能力往往无法满足需求。因此，利用多台设备进行并行计算和分布式训练成为了必然选择。本文将深入讲解模型并行...
-
AI日报：性能超GPT-4o！Meta4050亿参数开源模型Llama3.1遭泄漏；Stability AI开源音频生成模型Stable Audio Open
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、震惊AI界！Llama 3.1...
-
Stable Diffusion模型越大越好吗？快来拯救你的内存和磁盘
如果你经常使用 Stable Diffusion 绘图，是否注意到很多大模型文件的大小各有不同，有2G的、4G的、还有8G的，这些模型占用了大量的磁盘空间，特别是租用云服务器的有限免费空间；有些模型的作者或者使用者会说模型文件越大越好，越大出图越精细，真的...
-
谷歌AI「神算」NeuralGCM震撼Nature：30秒完成22天天气模拟，效率提升10万倍！
想象一下，如果有一种技术，能够准确预测未来几天甚至几十年的天气和气候，那将会怎样改变我们的生活?这听起来像是科幻小说里的情节，但现在，一项名为NeuralGCM的新技术，正将这一梦想变为现实。 NeuralGCM是一种新型的神经通用循环模型，它结合了传统天...
-
深入探索：Stable Diffusion 与传统方法对比：优劣分析
深入探索：Stable Diffusion 与传统方法对比：优劣分析 一、引言 随着人工智能和深度学习的发展，优化算法在神经网络训练中的重要性日益凸显。传统的优化方法，如随机梯度下降（SGD）、动量法和Adam等，已广泛应用于各类深度学习任务。然而...
-
NLP主流大模型如GPT3/chatGPT/T5/PaLM/LLaMA/GLM的原理和差异有哪些-详细解读
自然语言处理（NLP）领域的多个大型语言模型（如GPT-3、ChatGPT、T5、PaLM、LLaMA和GLM）在结构和功能上有显著差异。以下是对这些模型的原理和差异的深入分析： GPT-3 (Generative Pre-trained Transf...
-
14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
利用分层推理实现大模型语言(LLM 大型语言模型 (LLM 领域最近取得了显著进展，LLaMa 3 70B 等模型突破了之前认为可能实现的极限。然而，这些模型的庞大规模给其部署和实际使用带来了巨大挑战，尤其是在资源受限的设备上，例如内存有限的 GPU...
-
破解ChatGPT惊人耗电！DeepMind新算法训练提效13倍，能耗暴降10倍
【新智元导读】ChatGPT能耗惊人，该怎么解?谷歌DeepMind新算法JEST问世，让LLM训练的迭代次数降低13倍，计算量减少10倍，或将重塑AI未来。 ChatGPT早已成为世界耗能大户:一天用掉超50万度电，相当于1.7万个美国家庭的用电量! 然...
-
LLaMA 2-原理&模型&训练-你懂了吗?
LLaMA 2的原理 LLaMA 2是Meta AI开发的大型语言模型，它基于Transformer架构，采用了自注意力机制来处理输入序列中的长期依赖关系。LLaMA 2的核心原理包括自注意力机制、多头注意力、层归一化和残差连接等，这些技术共同使得模型...
-
AIGC安全研究简述（附资料下载）
2023 AIGC技术实践及展望资料合集（29份）.zip 2023 AIGC大型语言模型(LLM 实例代码合集.zip 2023大模型与AIGC峰会（公开）PPT汇总（25份）.zip AIGC的安全研究是一个复杂且重要的领域，涉及多个关键方面...
-
高效存储的秘诀：bitmap 数据结构在标签中的应用
在当今大数据和信息爆炸的时代，如何有效地管理和查询海量的数据成为了企业和开发者面临的重大挑战。其中，标签系统作为数据管理中的一种重要手段，被广泛应用于用户画像、商品分类、内容推荐等多个场景。然而，随着标签数量的急剧增加，传统的数据存储和查询方式已难以满足高...
-
深度解读昇腾CANN多流并行技术，提高硬件资源利用率
本文分享自华为云社区《深度解读昇腾CANN多流并行技术，提高硬件资源利用率》，作者：昇腾CANN。 随着人工智能应用日益成熟，文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长，数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求，昇腾...
-
最火AI角色扮演流量已达谷歌搜索20%！每秒处理2万推理请求，Transformer作者公开优化秘诀
什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5? 答案是独角兽Character.ai，由Transformer作者Noam Shazeer（后面简称沙哥）创办。 刚刚，沙哥公布了推理优化独门秘诀，迅速引起业界热议。 具...
-
stable diffusion 的 GPU 不足怎么解决
稳定扩散（stable diffusion）是一种用于图像处理和计算机视觉任务的图像滤波算法。 当使用Stable Diffusion过程中遇到GPU显示内存不足的问题时。解决这个问题的方法有以下几种： 目前，对我来说，就最后一点能够暂时解决当...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）
本次实验基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。实验平台为InternStudio，实验所用的显存为24G。 =============目录=...
-
存内计算与扩散模型：下一代视觉AIGC能力提升的关键
目录 前言 视觉AIGC的ChatGPT4.0时代 扩散模型的算力“饥渴症” 存内计算解救算力“饥渴症” 结语 前言 在这个AI技术日新月异的时代，我们正见证着前所未有的创新与变革。尤其是在视觉内容生成领域...
-
深度学习突破：LLaMA-MoE模型的高效训练策略
在人工智能领域，大模型（LLM）的崛起带来了前所未有的进步，但随之而来的是巨大的计算资源需求。为了解决这一问题，Mixture-of-Expert（MoE）模型架构应运而生，而LLaMA-MoE正是这一架构下的重要代表。 LLaMA-MoE是一种基于...
-
OpenAI前员工预测：2027年AGI降临！GPT智商飙升，4年从幼儿园蹿到高中生
AGI到底是科技公司画的大饼，还是可预测的未来？ 几天前，Anthropic一名25岁的高管在博客上发文，表示自己已经准备好了3年后退休，让AI取代自己的工作。 最近，OpenAI前员工的一篇博客文章也有类似的观点。 图片 他不仅认为AGI很可能实现，而...
-
快手版Sora「可灵」开放测试：生成超120s视频，更懂物理，复杂运动也能精准建模
什么？疯狂动物城被国产AI搬进现实了？ 与视频一同曝光的，是一款名为「可灵」全新国产视频生成大模型。 它采用了Sora相似的技术路线，结合多项自研技术创新，生成的视频不仅运动幅度大且合理，还能模拟物理世界特性，具备强大的概念组合能力和想象力。 数据上看...
-
LightGBM实战+随机搜索调参：准确率96.67%
大家好，我是Peter~ 今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域，梯度提升机（Gradient Boosting...
-
LLM | Yuan 2.0-M32：带注意力路由的专家混合模型
图片 一、结论写在前面 Yuan 2.0-M32，其基础架构与Yuan-2.0 2B相似，采用了一个包含32位专家的专家混合架构，其中2位专家处于活跃状态。提出并采用了一种新的路由网络——注意力路由器，以更高效地选择专家，相比采用经典路由网络的模型，其准...
-
基于机器学习的金融欺诈检测模型
作者 | 陈峻 审校 | 重楼 引言 如今，基于互联网服务的欺诈案例时常登顶媒体头条，而使用在线服务和数字交易的金融行业尤其成为了重灾区。网络洗钱、保险欺诈、网银盗用、虚假银行交易等复杂金融欺诈行为层出不穷，我们亟待通过行之有效的欺诈识别与检测的...
-
科学家利用GenAI发现物理学新见解
在生成式人工智能（GenAI）帮助下，麻省理工和瑞士巴塞尔大学的研究人员开发了一种新的机器学习（ML）框架，可以帮助发现关于材料科学的新见解。这项研究的结果发表在《物理评论快报》上。 当水从液体转变为固体时，它经历了重要的转变性质，如体积和密度。水的相...
-
快速学会一个算法，xLSTM
今天给大家分享一个超强的算法模型，xLSTM。 xLSTM（Extended Long Short-Term Memory）是对传统 LSTM（Long Short-Term Memory）模型的扩展和改进，旨在提升其在处理时间序列数据和序列预测任务中的...
-
MonoDETRNext：下一代准确高效的单目3D检测方法！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 基于单目视觉的3D目标检测在各个领域都至关重要，但现有方法在准确性和计算效率方面面临着重大挑战。在2D检测和深度估计的成功策略的基础上，本文提出了MonoDETRNe...
-
Stable Diffusion教程|Controlnet插件详解和实战
不知道你是否发现，无论你再怎么精确使用文本提示词来指导SD模型，也无法描述清楚人物的四肢角度、背景中物体位置等等，因为文字的表达能力很有限。那么有没有一种通过图像特征来为扩散模型生成过程提供更加精细控制的方式，答案是肯定，那就是ControlNet！ 目...
-
LightGBM算法背景、原理、特点+Python实战案例
大家好，我是Peter~ 今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域，梯度提升机（Gradient Boosting...
-
全面超越DPO：陈丹琦团队提出简单偏好优化SimPO，还炼出最强8B开源模型
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些...
-
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
[从0开始AIGC][Transformer相关]：Transformer中的激活函数 文章目录 [从0开始AIGC][Transformer相关]：Transformer中的激活函数 1. FFN 块 计算公式？ 2. GeLU 计...
-
14个Flink SQL性能优化实践分享
本文分享自华为云社区《Flink SQL性能优化实践》 ，作者：超梦。 在大数据处理领域，Apache Flink以其流处理和批处理一体化的能力，成为许多企业的首选。然而，随着数据量的增长，性能优化变得至关重要。本文将深入浅出地探讨Flink SQL的常...
-
谷歌Gemini 1.5技术报告：轻松证明奥数题，Flash版比GPT-4 Turbo快5倍
今年 2 月，谷歌上线了多模态大模型 Gemini1.5，通过工程和基础设施优化、MoE 架构等策略大幅提升了性能和速度。拥有更长的上下文，更强推理能力，可以更好地处理跨模态内容。 本周五，Google DeepMind 正式发布了 Gemini 1.5...
-
只需百行代码，让H100提速30%，斯坦福开源全新AI加速框架
AI 的快速发展，伴随而来的是大计算量。这就自然而然的引出了一个问题：如何减少 AI 对计算的需求，并提高现有 AI 计算效率。 为了回答这一问题，来自斯坦福的研究者在博客《GPUs Go Brrr》中给出了答案。 图片 博客地址：https://haz...