-
如何在家用设备上运行 Llama 3.1 405B?搭建 AI 集群
在开放式 LLM 模型和封闭式 LLM 模型之间的竞争中,开放式模型的最大优势是您可以在本地运行它们。除了电力和硬件成本外,您无需依赖外部提供商或支付任何额外费用。但是,随着模型大小的增加,这种优势开始减弱。运行需要大量内存的大型模型并不容易。幸运的是,张...
-
推荐开源项目:稳定扩散模型工具包(stable-diffusion-model-toolkit)
推荐开源项目:稳定扩散模型工具包(stable-diffusion-model-toolkit) stable-diffusion-webui-model-toolkit项目地址:https://gitcode.com/gh_mirrors/st/st...
-
Distil-Whisper:高效快速的语音识别模型
Distil-Whisper:高效快速的语音识别模型 distil-whisperDistilled variant of Whisper for speech recognition. 6x faster, 50% smaller, within 1...
-
8G显存运行Llama 3.1 405B!
我正在接受挑战,在只有 8GB VRAM 的 GPU 上运行 Llama 3.1 405B 模型。 Llama 405B 模型有 820GB!这是 8GB VRAM 容量的 103 倍! 显然,8GB VRAM 无法容纳它。那么我们如何让它工作呢?...
-
国内最大智算中心正式投用:每秒690亿亿次浮点运算 可训练万亿参数大模型
快科技8月31日消息,日前,由中国移动承建的国内运营商最大单集群智算中心在哈尔滨正式运营。 据悉,该智算中心具有单集群算力规模最大、国产化网络设备组网规模最大等特点。 单集群智算中心把所有AI加速卡打造成1个集群,用以支持千万亿级参数的大模型进行训练。 这...
-
华为发布AI百校计划:培养AI人才 每年获最高100万支持
快科技8月26日消息,华为公司最近正式启动了华为AI百校计划”,向国内高校提供基于昇腾云服务的AI计算资源。 该计划致力于解决高校师生在AI领域的科研创新和人才培养过程中,常遇到的算力资源不足等问题。 计划将重点资助那些在AI领域有深入研究和影响力的高校团...
-
通过剪枝与知识蒸馏优化大型语言模型:NVIDIA在Llama 3.1模型上的实践与创新
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同...
-
AIGC——ControlNet模型的原理
简介 ControlNet旨在控制预训练的大型扩散模型,以支持额外的输入条件。ControlNet能够以端到端的方式学习特定任务的条件,即使在训练数据集很小的情况下(<50k),也能保持稳健性。此外,训练ControlNet的速度与微调扩散模型一...
-
深度学习论文: LLaMA: Open and Efficient Foundation Language Models
深度学习论文: LLaMA: Open and Efficient Foundation Language Models LLaMA: Open and Efficient Foundation Language Models PDF:https://ar...
-
贾扬清:大模型尺寸正在重走CNN的老路;马斯克:在特斯拉也是这样
Transformer大模型尺寸变化,正在重走CNN的老路! 看到大家都被LLaMA3.1吸引了注意力,贾扬清发出如此感慨。 拿大模型尺寸的发展,和CNN的发展作对比,就能发现一个明显的趋势和现象: 在ImageNet时代,研究人员和技术从业者见证了参数规...
-
第43篇:实现企业级大型AIGC项目:模型并行与分布式训练
在构建企业级大型AIGC(人工智能生成内容)项目时,模型并行与分布式训练是提升计算效率和处理能力的关键技术。随着模型规模和数据量的不断增长,单台设备的计算能力往往无法满足需求。因此,利用多台设备进行并行计算和分布式训练成为了必然选择。本文将深入讲解模型并行...
-
快速微调 Whisper 模型:LoRA 加速版
快速微调 Whisper 模型:LoRA 加速版 简述 在当今的AI世界中,模型的大小和复杂性已成为性能的关键驱动力。然而,这也带来了新的挑战:如何在有限的资源下对大型模型进行有效且高效的微调?现在,借助开源项目——Faster Whisper Fine...
-
深入了解 Whisper 的架构、用法以及在语音识别领域的应用和性能特征
Whisper: 通用语音识别模型详解 概述 Whisper 是一个基于 Transformer 序列到序列模型的通用语音识别系统,经过训练可以执行多语种语音识别、语音翻译和语言识别任务。本文将深入介绍 Whisper 的工作原理、设置方法、可用模...
-
AI时代,有必要学AIGC大型模型部署实践课程嘛?适合那些人学习?有什么用?
在人工智能(AI)迅猛发展的今天,AIGC(Artificial Intelligence Generated Content,即基于人工智能的内容自动生成)已成为推动产业创新与发展的核心驱动力之一。随着ChatGPT、Claude等大型语言模型的兴起,掌...
-
百度智能云升级:接入33个大模型,Llama 2引领创新,103个Prompt模板上线
大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业...
-
如何使用Whisper语音识别模型
Whisper 是一个通用语音识别模型,由 OpenAI 开发。它可以识别多种语言的语音,并将其转换为文本。Whisper 模型采用了深度学习技术,具有高准确性和鲁棒性。 1、技术原理及架构 Whisper 的工作原理:音频被分割成...
-
AI Stable diffusion 报错:稳定扩散模型加载失败,退出
可能是内存不够,看看你最近是加了新的大的模型,可以把你的stable-diffusion-webui\models\Stable-diffusion目录下的某个ckpt删除掉,可能ckpt太大,无法加载成功; Stable diffusion model...
-
一文看懂LLaMA 2:原理、模型与训练
引言 人工智能领域的快速发展,带来了许多强大的语言模型。LLaMA 2 是其中之一,以其出色的性能和灵活的应用能力,吸引了广泛关注。这篇文章将带你深入了解 LLaMA 2 的原理、模型架构和训练过程,帮助你全面掌握这一前沿技术。 什么是LLaMA...
-
使用LMDeploy部署和量化Llama 3模型
## 引言 在人工智能领域,大型语言模型(LLMs)正变得越来越重要,它们在各种自然语言处理任务中发挥着关键作用。Llama 3是近期发布的一款具有8B和70B参数量的模型,它在性能和效率方面都取得了显著的进步。为了简化Llama 3的部署和量化过程,lm...
-
【每周AI简讯】Stable Diffusion 3大版本更新
ChatGPT中文版AI7号 Stable Diffusion 3大版本更新 Stability AI发布了其最新的图像生成模型Stable Diffusion 3,旨在挑战Sora和Gemini。此版本采用创新架构,提高跨硬件系统的性能,需较大计算力...
-
微软发布Phi-3 Mini,性能媲美GPT-3.5、Llama-3,可在手机端运行
前言 微软发布了最新版的Phi系列小型语言模型(SLM - Phi-3。这个系列包括3个不同参数规模的版本:Phi-3 Mini (38亿参数 、Phi-3 Small (70亿参数 和Phi-3 Medium (140亿参数 。 Phi系列模型是微...
-
2024年AIGC生成式AI人居领域应用趋势调研报告
今天分享的是AIGC系列深度研究报告:《AIGC专题:2024生成式AI人居领域应用趋势调研报告》。 (报告出品方:腾讯研究院) 序言 2022年OpenA!发布ChatGPT,拉开了大语言模型和AIGC(生成式AI 时代的帷幕。时至今日,短短一年,...
-
Stable Diffusion 是否使用 GPU?
在线工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D数字孪生场景编辑器 Stable Diffusion...
-
RAG 与长文本,此消彼长还是相辅相成?
上周,PingCAP AI Lab 数据科学家孙逸神的文章《当前都在堆长窗口,还需要 RAG 吗?》从用户的角度谈了长窗口&RAG 的看法,引起了众多同行的围观,本周我们采访了张粲宇,看看搞向量数据库的业内人士,是怎么看待这个问题的?...
-
谷歌Deepmind表示开放式AI是实现超级智能的关键
谷歌 Deepmind 的研究人员表示,AI 系统具备开放式的能力是发展超级智能的关键。他们认为,单纯依靠不断扩大的数据集并不足以实现超级人工智能(ASI),而现有的规模化策略往往集中在使用更多的计算资源和数据。相反,AI 系统必须能够以开放式的方式产生新...
-
【推理框架】超详细!AIGC面试系列 大模型推理系列(1)
本期问题聚焦于大模型的推理框架 本期问题快览 有哪些大模型推理框架 了解vllm吗 介绍下vllm的核心技术 了解faster transformer吗 介绍下faster transformer的核心技术 了解Xinference吗 了解l...
-
Chrome浏览器将内置AI大模型Gemini Nano 新版开启内测
Chrome团队宣布,正在探索“内置 AI”概念,即浏览器将具有内置 AI 模型,以便为浏览器功能和网络平台 API 启用设备上的 AI。 官方介绍称,借助内置 AI,您的网站或 Web 应用将能够针对基础模型和专家模型运行各种 AI 任务,而无需担心部...
-
开源模型进展盘点:最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好?
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察,也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中,他盘点分析了 4 月份发布的四个主要新模型:Mix...
-
AI智能体的炒作与现实:GPT-4都撑不起,现实任务成功率不到15%
随着大语言模型的不断进化与自我革新,性能、准确度、稳定性都有了大幅的提升,这已经被各个基准问题集验证过了。 但是,对于现有版本的 LLM 来说,它们的综合能力似乎并不能完全支撑得起 AI 智能体。 多模态、多任务、多领域俨然已成为 AI 智能体在公共...
-
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
本文详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤,随后展示了如何将模型部署为后台服务,并通过API进行调用。此外,文章还涉及了如何使用这些工具快速构建知识库应用,包括知识库的...
-
简单通用:视觉基础网络最高3倍无损训练加速,清华EfficientTrain++入选TPAMI 2024
本文经计算机视觉研究院公众号授权转载,转载请联系出处。 论文链接:https://arxiv.org/pdf/2405.08768 代码和预训练模型已开源:https://github.com/LeapLabTHU/EfficientTrain 会议...
-
IBM加倍投入企业AI,发布 Watsonx 助手、模型更新
IIBM 公布了其生成式 AI 平台 watsonx 的新更新,包括新的助手工具、第三方模型和对开源 AI 的更广泛承诺。 在公司年度 Think 大会上,IBM 宣布将重点转向支持开源。该公司已经将其一系列 Granite 大型语言模型开源,这意味着企业...
-
微软发布Phi-3 Vision等最新大模型系列
微软发布了其最新的大型语言模型系列,Phi-3,包括Phi-3Vision、Phi-3Small7B和Phi-3Medium14B型号。这些模型在性能上与当前领先的大型模型相媲美,同时在特定领域提供了一些独特的优势。 Phi-3Medium14B 型号的...
-
从Claude 3中提取数百万特征,首次详细理解大模型的「思维」
刚刚,Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。 Anthropic 已经确定了如何在 Claude Sonnet 中表征数百万个概念。这是对现代生产级大型语言模型的首次详细理解。这种可解释性将帮助我们提高人工智能模型的安全...
-
谷歌推出开源工具Model Explorer,助力AI透明度和问责制
随着人工智能模型日益复杂化,理解其内部工作机制的挑战也日益凸显,这对研究人员和工程师来说是一个紧迫的问题。谷歌最新推出的开源工具Model Explorer承诺为这些系统的不透明性带来曙光,有望开启AI透明度和问责制的新时代。 Model Explore...
-
数据更多更好还是质量更高更好?这项研究能帮你做出选择
对基础模型进行 scaling 是指使用更多数据、计算和参数进行预训练,简单来说就是「规模扩展」。 虽然直接扩展模型规模看起来简单粗暴,但也确实为机器学习社区带来了不少表现卓越的模型。之前不少研究都认可扩大神经模型规模的做法,所谓量变引起质变,这种观点也...
-
一文读懂主流领先的 SLM(小型语言模型)
Hello folks,我是 Luga,今天我们来聊一下人工智能(AI 生态领域相关的技术 - SLM(小型语言模型 。 在 AI 狂卷的浪潮中,LLM(大型语言模型 无疑成为了整个互联网乃至科技界的焦点所在。以 GPT-3、BERT 等为代表的 LL...
-
「大模型」之所短,「知识图谱」之所长
最近一年以来,大语言模型技术突飞猛进,被广泛地认为开启了人工智能研究的新阶段。大语言模型时代的到来,给知识图谱技术也带来了新的机遇与挑战。我们在 5 月份的时候曾经发布过知识图谱与 AIGC 大模型的知识地图,其中包括了文本生成、图像生成等技术。本次分享...
-
MIT最新!多模态LLM真的无所不能吗?大模型能解决一切难题吗?
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 本文对自动驾驶领域内多模态大型语言模型(MLLMs)的应用进行了审慎的审视,并对一些常见的假设提出了质疑/验证,重点关注它们通过闭环控制环境中的图像/帧序列推理和解释...
-
太酷了!手机上部署最新AI大模型!只需两步!
在当前的AI革命中,大模型扮演着至关重要的角色,而这背后的基础便是Scaling Law。简而言之,随着数据、参数和计算能力的不断提升,大模型的能力也随之增强,展现出小规模模型所无法比拟的“涌现能力”。越来越多的AI企业纷纷推出开源大模型,按照扩展定律实...
-
小红书的大模型有点怂
AI以及自研大模型的持续火热,让以原创内容为主导的小红书坐不住了。 近期,据多个可靠消息来源透露,小红书正悄然加强其在人工智能领域的战略布局。其AI创新领域的领军人物张德兵所领导的大型模型团队,已在内部产品中展开了自研通用大型模型基座“小地瓜”的灰度测试。...
-
专利大模型的实践与知识问答探索
一、专利大模型背景介绍 智慧芽一直致力于为科技创新和知识产权领域提供信息服务。在小型模型时代(如 Bert),参数量较少,智能理解方面存在局限性。因此,在着手开发大模型之前,智慧芽深入思考了领域聚焦的重要性。在知识产权领域,专利检索、专利对比、标引工作...
-
元象开源首个多模态大模型XVERSE-V 支持任意宽高比图像输入
元象公司发布了首个多模态大型模型 XVERSE-V,并将其开源。这一模型支持任意宽高比的图像输入,并在多个权威评测中取得了优异的成绩。 相比其他开源和闭源模型,XVERSE-V 在综合能力上表现出色。该模型采用了融合整体和局部信息的策略,使其在识别和分析...
-
大语言模型对汽车行业的影响和实践探索
汽车行业作为技术创新的重要领域,正迅速采纳大语言模型,如 GPT 系列,以推动行业的数字化转型。这些模型在提升车载智能系统的交互体验、优化客户服务、加速产品开发及市场营销策略方面展现出巨大潜力。通过具体应用案例分析,接下来我们一起揭示大语言模型如何为汽...
-
ChatGPT可以开车吗?分享大型语言模型在自动驾驶方面的应用案例
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 人工智能技术如今正在快速发展和应用,人工智能模型也是如此。拥有100亿个参数的通用模型的性能正在碾压拥有5000万个参数的任务特定模型...
-
Docker三分钟搞定LLama3开源大模型本地部署
概述 LLaMA-3(Large Language Model Meta AI 3)是由Meta公司开发的大型开源生成式人工智能模型。它在模型结构上与前一代LLaMA-2相比没有大的变动。 LLaMA-3模型分为不同规模的版本,包括小型、中型和大型,以适...
-
钉钉 AI Agent Store 上线了!软件竞争格局重构:Agent 掀起新风暴,App 何去何从?
4月18日,钉钉正式上线 AI 助理市场(AI Agent Store)。 首批上架了200多个 AI 助理。Agent Store 的这种创新模式可以显著降低创作门槛并吸引更多用户,各行各业的人都可以拥有自己专属的助理。据钉钉官方数据显示,截至2024年...
-
OpenAI竞对用256轮对话「灌醉」大模型,Claude被骗造出炸弹!
大模型又被曝出安全问题? 这次是长上下文窗口的锅! 今天,Anthropic发表了自己的最新研究:如何绕过LLM的安全限制?一次越狱不够,那就多来几次! 图片 论文地址:https://www-cdn.anthropic.com/af5633c94ed2...
-
华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA,推理加速5倍
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果,然而,Transformer 中自注意力带来的二次复...
-
苹果开发出新款AI:可“看懂”屏幕内容并语音回复
快科技4月2日消息,据媒体报道,苹果公司近日宣布,成功研发出一款前沿的人工智能系统ReALM(Reference Resolution As Language Modeling,即基于语言建模的参考解析)。 据悉,该系统具备卓越能力,能够精准解析屏幕上模糊...