-
专为Windows 11 AI PC打造!高通推出全新骁龙X Plus 8核平台
快科技9月4日消息,高通公司总裁兼CEO安蒙在柏林国际电子消费品展览会(IFA)前夕,宣布扩展骁龙X系列产品组合,助力OEM推出700-900美元价格段的Windows 11 AIPC产品。 官方介绍,骁龙X Plus 8核平台凭借定制的高通Oryon C...
-
刚刚,英特尔发布最强CPU,AI PC迎来最高效x86芯片
最高效的x86芯片,应当是一种怎样的“打开方式”? 就在刚刚,英特尔给出了一份答案—— 英特尔®酷睿™Ultra200V系列处理器。 话不多说,直接上亮点: 最快的CPU:E核比上一代快68%,P核则快了14% 最快的内置(built-in)GPU:首次...
-
基于AIACC加速器快速实现Stable Diffusion生成特定物体图片
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型,并基于ControlNet框架,快速生成特定物体图片。 背景信息 Stable Diffusion(简称SD)是一种AI模型,它经过训练可以逐步对随机高斯噪声进行去噪以生成所需要的...
-
英伟达Blackwell称霸MLPerf!推理性能暴涨30倍,新一代「AI怪兽」诞生
【新智元导读】MLPerf Inference发布了最新测试结果,英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技,展现出明显的性能提升,甚至刷新了部分任务上的测试纪录。 大语言模型(LLM)推理是一个全栈挑战。 为了实现高吞吐量、低延迟的...
-
具身智能又进一步!卡内基梅隆&Meta&苏黎世联邦实现虚拟人超灵活抓取
论文链接:https://arxiv.org/pdf/2407.11385 github链接:https://www.zhengyiluo.com/Omnigrasp-Site/ 亮点直击 本文设计了一种灵巧且通用的人形机器人运动表示,这显...
-
Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?
【新智元导读】最近的论文表明,LLM等生成模型可以通过搜索来扩展,并实现非常显著的性能提升。另一个复现实验也发现,让参数量仅8B的Llama3.1模型搜索100次,即可在Python代码生成任务上达到GPT-4o同等水平。 强化学习先驱、加拿大阿尔伯塔大学...
-
开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡(十四)
一、前言 在应对业务访问量级提升的过程中,我们通过从单机单卡部署升级到单机多卡部署的方式,成功实现了VLLM模型的性能提升。在此过程中,我们遇到了一些问题和挑战,现在我将深入剖析这些经验教训,希望能够帮助大家快速上手部署可投入生产运行的环境。...
-
Exponential Moving Average (EMA) in Stable Diffusion
1.Moving Average in Stable Diffusion (SMA&EMA 1.Moving average 2.移动平均值 3.How We Trained Stable Diffusion for Less than $5...
-
Meta发布Llama 3.1 405B模型:开源与闭源模型之争的新篇章
引言 在人工智能领域,开源与闭源模型之争一直是热点话题。近日,Meta发布了最新的Llama 3.1 405B模型,以其强大的性能和庞大的参数规模,成为了开源模型中的佼佼者。本文将详细介绍Llama 3.1 405B模型的性能、功能及其在开源领域的影响...
-
从炒菜到缝针!斯坦福炒虾团队打造自主「AI达芬奇」,苦练神指当外科医生
【新智元导读】斯坦福炒虾机器人作者,又出新作了!通过模仿学习,达芬奇机器人学会了自己做「手术」——提起组织、拾取针头、缝合打结。最重要的是,以上动作全部都是它自主完成的。 斯坦福炒虾机器人作者,又出新作了。 这次,机器人不是给我们炒饭了,而是给我们做外科手...
-
AIGC助力ResNet分类任务:跃升10个百分点
目录 AIGC🎨缓解数据稀缺问题❓ 论文研究的动机✏️ 作者是怎么做的❓ 实验配置🧰 实验结果🔍 结论✅ 实践💐 要增强的裂缝图片 按照论文中的参数在stable-diffusionv1-5上进行textual inversion微调...
-
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了 机器之心 2024年07月19日 12:27 辽宁 AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了200...
-
DeepMind CEO:AI可以发现室温超导;Llama 3.1算对9.9>9.11 | AI头条
整理 | 王启隆 出品 | AI 科技大本营(ID:rgznai100) 一分钟速览新闻点! DeepMind CEO:AI 将增强科学,如设计新药、发现室温超导、破解数学猜想 传谷歌、Meta 竞购雷朋眼镜母公司...
-
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
快科技7月19日消息,阿里云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。 针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。...
-
AI算法画小姐姐,AMD显卡比顶级CPU快30倍!AMD Radeon显卡Stable Diffusion AI画图体验测试
从Stable Diffusion这一AI应用出现之后,在极短时间内就迅速走红,成为众多玩家口口相传的“最美小姐姐”生成工具。不过这一AI计算画图工具在Stable Diffusion官方推出之初,无论是WEB UI的部署还是模型的训练生成,都基本是基于N...
-
微软 Phi-3.1 Mini (3.8B):刚刚进行了疯狂升级(击败 Llama-3 和 Qwen2)
微软 Phi-3.1 Mini (3.8B :刚刚进行了疯狂升级(击败 Llama-3 和 Qwen2) 原创 Aitrainee AI进修生 2024年07月06日 15:16 湖南 Aitrainee | 公众号:AI进修生 🌟这...
-
七月论文审稿GPT第5版:拿我司七月的早期paper-7方面review数据集微调LLama 3
前言 llama 3出来后,为了通过paper-review的数据集微调3,有以下各种方式 不用任何框架 工具 技术,直接微调原生的llama 3,毕竟也有8k长度了 效果不期望有多高,纯作为baseline 通过PI,把llama 3的8K长度扩展...
-
深度解读昇腾CANN模型下沉技术,提升模型调度性能
本文分享自华为云社区《深度解读昇腾CANN模型下沉技术,提升模型调度性能》,作者:昇腾CANN。 AI模型的运行通常情况下需要CPU和NPU(昇腾AI处理器)等AI专用处理器协同工作,CPU所在位置称为主机端(Host),而NPU所在位置称为设备端(De...
-
突破AI性能瓶颈 揭秘LLaMA-MoE模型的高效分配策略
获取本文论文原文PDF,请在公众号【AI论文解读】留言:论文解读 本文介绍了一种名为“LLaMA-MoE”的方法,通过将现有的大型语言模型(LLMs)转化为混合专家网络(MoE),从而解决了训练MoE时遇到的数据饥饿和不稳定性问题。该方法基于著名的LLa...
-
快速LLaMA:面向大型语言模型的查询感知推理加速 论文摘要翻译与评论
论文摘要翻译与评论 论文标题: QuickLLaMA: Query-aware Inference Acceleration for Large Language Models 提出的框架 我们Q-LLM框架的示意图。来自记忆上下文的输入被...
-
RAG微调Llama 3竟超越GPT-4!英伟达GaTech华人学者提出RankRAG框架
【新智元导读】来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架,简化了原本需要多个模型的复杂的RAG流水线,用微调的方法交给同一个LLM完成,结果同时实现了模型在RAG任务上的性能提升。 在需要大量事实知识的文本生成任务中,R...
-
【AIGC 概念理解】Zero-Shot,One-Shot,Few-Shot,In-Context Learning,Tuning-Free/Training-Free/Inference-Only
在人工智能领域,特别是自然语言处理(NLP)和机器学习中,几个重要的概念正在推动研究和应用的前沿发展。以下是few-shot learning, zero-shot learning, in-context learning, tuning-free, t...
-
深度解读昇腾CANN多流并行技术,提高硬件资源利用率
本文分享自华为云社区《深度解读昇腾CANN多流并行技术,提高硬件资源利用率》,作者:昇腾CANN。 随着人工智能应用日益成熟,文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长,数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求,昇腾...
-
AI真·炼丹:整整14天,无需人类参与
现在制药这事,人类要靠边站了。 坐标苏州,这是一个1600平的制药实验室,它的“打开方式”是这样的: 门口,没有人。 走廊,没有人。 实验室,也没有人。 相比以往充斥着科学家、研究员的实验室,它更多的是把机械臂和AI系统塞了进去,主打的就是一个全自动...
-
【AI原理解析】— Meta Llama-3模型
目录 一、模型架构 Transformer架构 解码器(Decoder-only)设计 Group Query Attention (GQA 技术 二、参数与训练 参数规模 训练数据集 训练过程 三、技术特点 四、性能提升 推理能力...
-
大模型论文解读|| 数学新巅峰,微软&清华联合研究发现:7B级LLaMA-2模型数学能力惊人,准确率高达97.7%
开篇:数学能力在常规语言模型中的崭露头角 数学能力长期以来被认为是语言模型中难以攻克的领域,只有在模型规模极大或经过大量数学相关预训练的情况下才可能显现。然而,最新的研究表明,即使是规模较小的常规语言模型,如LLaMA-2 7B,也已经展现出了强大的数学...
-
基于Ascend C的FlashAttention算子性能优化最佳实践
本文分享自华为云社区《基于Ascend C的FlashAttention算子性能优化最佳实践》,作者:昇腾CANN。 LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttenti...
-
FP6精度单卡运行Llama 70B模型,性能飞跃引领大模型时代
在深度学习领域,模型的运行效率和精度一直是研究者们追求的目标。最近,微软DeepSpeed团队在这一领域取得了突破性进展,他们在没有英伟达官方支持的情况下,成功在NVIDIA A100 GPU上实现了FP6精度的运行,这一成就不仅提升了计算速度,还保持了计...
-
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型
文章目录 Llamp.cpp环境配置 Chinese-LLaMA-Alpaca-2模型介绍 模型下载 转换生成量化模型 Anaconda环境安装 运行 Llamp.cpp环境配置 git clone git@...
-
语音识别的未来已来:深入了解faster-whisper的突破性进展【高精度语音识别模型,完全免费开源】
faster-whisper简介 faster-whisper是基于OpenAI的Whisper模型的高效实现,它利用CTranslate2,一个专为Transformer模型设计的快速推理引擎。这种实现不仅提高了语音识别的速度,还优化了内存使用效率。f...
-
首次证实白盒Transformer可扩展性!马毅教授CRATE-α:鲸吞14亿数据,性能稳步提升
在过去的几年里,Transformer架构在自然语言处理(NLP)、图像处理和视觉计算领域的深度表征学习中取得了显著的成就,几乎成为了AI领域的主导技术。 然而,虽然Transformer架构及其众多变体在实践中取得了巨大成功,但其设计大多是基于经验的,...
-
英特尔牙膏挤爆:功耗降40%、AI算力120TOPS,你的下一代笔记本没有内存条了
英特尔为了AI,再次做出重大架构变革: 像手机一样搞起SoC(系统级芯片),你的下一台笔记本不会再有独立内存条。 刚刚推出的新一代AI PC低功耗移动平台架构Lunar Lake,采用全新MoP(Memory on Package)封装,片上集成16或3...
-
CLIP当RNN用入选CVPR:无需训练即可分割无数概念|牛津大学&谷歌研究院
循环调用CLIP,无需额外训练就有效分割无数概念。 包括电影动漫人物,地标,品牌,和普通类别在内的任意短语。 牛津大学与谷歌研究院联合团队的这项新成果,已被CVPR 2024接收,并开源了代码。 团队提出名为CLIP as RNN(简称CaR)的新技...
-
挑战英伟达!AMD亮出旗下最强AI芯片锐龙AI 300系列 算力达50TOPS
在一年一度的Computex科技大会上,GPU厂商们展示了他们的最新技术成果。其中,英伟达和AMD的表现尤为突出。 英伟达在会上展示了量产版的Blackwell芯片,并宣布了未来三年的产品路线图,包括下一代Rubin AI平台。而AMD的CEO苏姿丰则展示...
-
ICML2024高分!魔改注意力,让小模型能打两倍大的模型
改进Transformer核心机制注意力,让小模型能打两倍大的模型! ICML 2024高分论文,彩云科技团队构建DCFormer框架,替换Transformer核心组件多头注意力模块(MHA),提出可动态组合的多头注意力(DCMHA)。 DCMHA解除...
-
【AIGC调研系列】GPT-4O比GPT-4强在哪
GPT-4O与GPT-4在多个方面有所不同,主要体现在性能、响应速度、成本效益以及多模态处理能力上。 性能提升:GPT-4O在文本分析、推理和编程能力上相较于GPT-4有显著提升。特别是在视觉和音频理解能力上,GPT-4O表现出更优越的性能[3][8...
-
全球首台生物计算机开放服务:16个人脑类器官,能耗节省百万倍
科幻小说《三体》中,为了支撑科技的发展,人类提出了几种下一代计算机的方案,其中除了传统的冯诺依曼架构,还包括量子计算机和生物计算机。其中量子计算的概念现在已有大量研究,生物计算的研究却少有报道。 近日,一家瑞士初创公司 FinalSpark 发布了全球首...
-
目标检测新SOTA,端侧实时识别,沈向洋罕见转发点赞
目标检测领域,迎来了新进展—— Grounding DINO 1.5,IDEA研究院团队出品,在端侧就可实现实时识别。 这一进展获得AI大佬沈向洋转发,他一般都是一年一转的节奏。 此次发布主要有两个版本:Pro和Edge。Pro版更强,Edge版更快。...
-
YOLOv10来啦!真正实时端到端目标检测
本文经自动驾驶之心公众号授权转载,转载请联系出处。 过去几年里,YOLOs因在计算成本和检测性能之间实现有效平衡而成为实时目标检测领域的主流范式。研究人员针对YOLOs的结构设计、优化目标、数据增强策略等进行了深入探索,并取得了显著进展。然而,对非极大...
-
人工智能技术应用笔记(七):速度快一倍!低显卡用户福音来了——可本地部署的轻量级SD(Stable Diffusion Forge)
本篇为《人工智能技术应用》专栏的第七篇。希望以学习笔记的形式和大家一起了解和探索人工智能技术的实际应用。 《本地部署轻量级SD实操》 今天介绍一款在原stable diffusion webui基础上经过代码优化,结构重组之后的轻量级产品—...
-
PVTransformer: 可扩展3D检测的点到体素Transformer
本文经自动驾驶之心公众号授权转载,转载请联系出处。 原标题:PVTransformer: Point-to-Voxel Transformer for Scalable 3D Object Detection 论文链接:https://arxiv.org...
-
腾讯混元大模型降价 混元-lite全面免费
腾讯云宣布大模型升级,旨在通过技术革新和价格调整,进一步推动人工智能(AI)应用的普及与发展。其中,混元系列模型作为腾讯云的主力模型,迎来了全面的性能提升和价格调整。 首先,混元-lite模型将实现API输入输出长度的巨大飞跃。目前,其API输入输出总长度...
-
微软一夜干翻苹果Mac!GPT-4o装进全家桶,微软把全世界PC都AI了
GPT-4o诞生刚过去一周,微软线下发布会再次给全世界亿点点震撼! 一大早,纳德拉向全世界公布了首款Copilot+ PC,采用了全新NPU,并重新设计了Windows 11系统。 最最重要的是,GPT-4o已经装进了新时代的AI PC,以及40+款模...
-
自动驾驶场景中的长尾问题怎么解决?
本文经自动驾驶之心公众号授权转载,转载请联系出处。 昨天面试被问到了是否做过长尾相关的问题,所以就想着简单总结一下。 自动驾驶长尾问题是指自动驾驶汽车中的边缘情况,即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原...
-
思维链被推翻!纽约大学新研究:大模型推理步骤或可省略
纽约大学的最新研究对当前流行的思维链(Chain-of-Thought,CoT)技术提出了挑战,该技术原本被认为能够提升大模型的推理能力。研究显示,使用省略号代替具体的推理步骤,模型的推理结果并没有显著差异,这意味着增加计算量而非推理步骤本身可能是提升性能...
-
人工客服要被取代?用GPT-4o模拟处理客服事务,100%流畅毫无AI味
OpenAI于2024年5月13日推出了GPT-4o模型,其中的“O”代表全能(Omni),在人机互动的自然度上取得了显著进步。GPT-4o支持多模态输入和输出,包括语音、视频、图像和代码,能够实时与用户进行无缝交流,理解情感,并展现出幽默个性。 该模型的...
-
思维链不存在了?纽约大学最新研究:推理步骤可省略
红极一时的思维链技术,可能要被推翻了! 还在惊讶于大模型居然能够利用思维链分步骤思考? 还在苦于不会写思维链提示词? 来自纽约大学的研究人员表示:「没关系的,都一样」, 推理步骤不重要,不想写提示词也可以不写,用省略号代替就行了。 论文地址:https...
-
Refuel AI 推出专为数据标注和清洗设计的开源语言模型 RefuelLLM-2
Refuel AI 最近宣布推出两个新版本的大型语言模型(LLM),RefuelLLM-2和 RefuelLLM-2-small,这两个模型专为数据标注、清洗和丰富任务而设计,旨在提高处理大规模数据集的效率。 RefuelLLM-2的主要特点包括: 自...
-
苹果深夜扔出M4核弹,iPad Pro碾压所有AI PC!280亿晶体管3nm工艺称霸地表
不出所料,发布会上,苹果又开大了! 此次发布会的一系列重磅更新,都是围绕着主角iPad展开。 库克直言:这将是iPad诞生以来的一个里程碑。 新款iPad Pro,轻薄到不可思议,直接让便携性和性能提升到史诗级水平。用苹果的话说就是——我们在打破iPa...
-
苹果正式发布M4:AI飙升两倍多!其他相当牙膏
快科技5月8日消息,苹果在今天凌晨的发布会上正式推出了新一代iPad Pro、iPad Air,其中前者直接全球首发M4处理器,只可惜它的变化并不是很大,有点像是M3的升级版,只有AI性能提升较多,工艺、CPU、GPU、内存上则是略有提升。 M4的制造工艺...