-
LLAMA 3.1 论文的见解
这有什么大不了的？ LLAMA 3.1 的发布标志着 AI 开发的一个重要里程碑。开源模型首次接近领先的闭源模型的性能水平。这一转变预示着未来开源模型同样有效，任何人都可以灵活地修改和调整它们。马克·扎克伯格将此与 Linux 的开源性质进行了比较，...
-
深度解读昇腾CANN多流并行技术，提高硬件资源利用率
本文分享自华为云社区《深度解读昇腾CANN多流并行技术，提高硬件资源利用率》，作者：昇腾CANN。 随着人工智能应用日益成熟，文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长，数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求，昇腾...
-
Stable Diffusion 是否使用 GPU？
在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D数字孪生场景编辑器 Stable Diffusion...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
腾讯 PCG 搜广推机器学习框架GPU 性能优化实践
一、为什么 GPU 推荐模型训练框架是刚需 1. PCG 算力集群缺点 最开始的时候，腾讯 PCG 所有的推荐模型训练都是使用 CPU。但随着业务的深入，以及深度学习模型的发展，PCG 算力集群在做下一代推荐模型时会遇到各种问题： 首先，系统网络带宽...
-
AI加速引擎PAI-TorchAcc：OLMo训练加速最佳实践
作者：黄奕桐、沈雯婷、艾宝乐、王昂、李永 摘要 阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。 在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在...
-
AI、零信任、边缘现代化与多云，2024这些技术趋势值得关注
事实上，在这场由ChatGPT激起的新一轮AI浪潮中，全球科技巨头、AI厂商、行业翘楚等纷纷下场，唯恐错过此番科技盛宴。同时，GenAI蓬勃发展产业规模也在高速增长，麦肯锡调查数据显示，2022年GenAI市场收入为400亿美元，预计2027年及203...
-
小红书推搜场景下如何优化机器学习异构硬件推理突破算力瓶颈！
本文将分享小红书推搜场景下，全 GPU 化建设过程中的模型服务、GPU 优化等相关工作。 一、前言 近年来，机器学习领域的视频、图像、文本和推广搜等应用不断发展，其模型计算量和参数量远远超过了 CPU 摩尔定律的增长速度。在此背景下，GPU 的算力发展...
-
今日思考（2） — 训练机器学习模型用GPU还是NUP更有优势（基于文心一言的回答）
前言 深度学习用GPU，强化学习用NPU。 1.训练深度学习模型，强化学习模型用NPU还是GPU更有优势 在训练深度学习模型时，GPU相比NPU有优势。GPU拥有更高的访存速度和更高的浮点运算能力，因此更适合深度学...
-
LLaMA 2端到端推理打通！来自中国团队
Buddy Compiler 端到端 LLaMA2-7B 推理示例已经合并到 buddy-mlir仓库[1]主线。 我们在 Buddy Compiler 的前端部分实现了面向 TorchDynamo 的第三方编译器，从而结合了 MLIR 和 PyTorc...
-
在亚马逊云科技Amazon SageMaker上进行Stable Diffusion模型训练和推理
Stable Diffusion Quick Kit是一个基于亚马逊云科技Amazon SageMaker进行Stable Diffusion模型快速部署的工具包，包括了一组示例代码、服务部署脚本、前端UI，可以帮助可以快速部署一套Stable Diff...
-
自动驾驶系统中相机相对地面的在线标定
本文经自动驾驶之心公众号授权转载，转载请联系出处。 文章：Online Camera-to-ground Calibration for Autonomous Driving 作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu...
-
生成式AI的“生产力悖论”：微软已盈利，其他云巨头何时见效？
1987年诺贝尔经济学奖得主鲍勃·索洛有一句名言:“你可以在任何地方看到计算机时代，唯独在生产率统计数据中看不到。”这句名言后来被称之为“生产力悖论”。 索洛的这句话是在计算机时代到来促进巨大生产力繁荣之前发表的。具有讽刺意味的是，繁荣场景随后在20...