-
AI绘图Stable Diffusion中关键技术：U-Net的应用
你好，我是郭震 引言 在人工智能和深度学习的迅猛发展下，图像生成技术已经取得了令人瞩目的进展。特别是，Stable Diffusion模型以其文本到图像的生成能力吸引了广泛关注。本文将深入探讨Stable Diffusion中一个关键技术——...
-
【AIGC大模型】跑通wonder3D （windows）
这两天看了AI大神李某舟被封杀，课程被下架的新闻，TU商 认为：现在这种玩概念、徒具高大上外表却无实质内容的东西太多了，已经形成一种趋势和风潮，各行各业各圈层都在做大做强这种势，对了，这种行为的学名叫宣传，俗名叫营销，花名叫忽悠，真名叫骗人。老老实实做事...
-
stable diffusion webui的本地部署
操作系统：windows10，显卡：RTX2060super ，安装时间：2024年3月30日，磁盘占用：20G，+科学上网 安装过程及本文部段落来自： https://github.com/AUTOMATIC1111/stable-diffu...
-
Stable Diffusion的安装和问题解决（附安装包和大模型）
小时候比较喜欢画画，如今AI盛行，各种绘画工具层出不穷，网上也看了很多，stable diffusion（sd）和midjunery（mj）算是主流，国内的文心、天工、甚至抖音什么的，我也尝试过，但是总的来说，跟sd和mj相比真的不好用。后来我找了网上一些...
-
【LLama】Llama3 的本地部署与lora微调(基于xturn)
系列课程代码+文档（前2节课可跳过）：https://github.com/SmartFlowAI/Llama3-Tutorial 课程视频：https://space.bilibili.com/3546636263360696/channel/serie...
-
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程 准备 1、下载 下载LLaMA-Factory 下载ChatGLM3-6B 下载ChatGLM3 windows下载CUDA ToolKit 12.1 （本人是在w...
-
运行stable-diffusion出现的问题
1、运行txt2img.py出现huggingface下载safety-cheaker问题 问题：OSError: We couldn't connect to 'https://huggingface.co' to load this model, c...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
一、 Stable Diffusion简介 2022年作为AIGC（Artificial Intelligence Generated Content）时代的元年，各个领域的AIGC技术都有一个迅猛的发展，给工业界、学术界、投资界甚至竞赛...
-
使用自己的数据集训练DETR模型
众所周知，Transformer已经席卷深度学习领域。Transformer架构最初在NLP领域取得了突破性成果，尤其是在机器翻译和语言模型中，其自注意力机制允许模型处理序列数据的全局依赖性。随之，研究者开始探索如何将这种架构应用于计算机视觉任务，特别是...
-
腾讯 PCG 搜广推机器学习框架GPU 性能优化实践
一、为什么 GPU 推荐模型训练框架是刚需 1. PCG 算力集群缺点 最开始的时候，腾讯 PCG 所有的推荐模型训练都是使用 CPU。但随着业务的深入，以及深度学习模型的发展，PCG 算力集群在做下一代推荐模型时会遇到各种问题： 首先，系统网络带宽...
-
DLRover 如何拯救算力浪费？10 分钟自动定位故障机，1 秒内保存 Checkpoint！
欢迎大家在 GitHub 上 Star 我们： 分布式全链路因果学习系统 OpenASCE:https://github.com/Open-All-Scale-Causal-Engine/OpenASCE 大模型驱动的知识图谱 OpenSPG:http...
-
只需百行代码，让H100提速30%，斯坦福开源全新AI加速框架
AI 的快速发展，伴随而来的是大计算量。这就自然而然的引出了一个问题：如何减少 AI 对计算的需求，并提高现有 AI 计算效率。 为了回答这一问题，来自斯坦福的研究者在博客《GPUs Go Brrr》中给出了答案。 图片 博客地址：https://haz...
-
SIGGRAPH'24 | 太逆天了！利用分层3D GS，实时渲染超大规模场景！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 近年来，新视角合成取得了重大进展，3D Gaussian splatting提供了出色的视觉质量、快速训练和实时渲染。然而，训练和渲染所需的资源不可避免地限制了可以以良好视觉质量表示的场景大小。本文引入...
-
万字长文超全总结Pytorch核心操作！
在深度学习与人工智能领域，PyTorch已成为研究者与开发者手中的利剑，以其灵活高效的特性，不断推动着新技术的边界。对于每一位致力于掌握PyTorch精髓的学习者来说，深入了解其核心操作不仅是提升技能的关键，也是迈向高级应用与创新研究的必经之路。本文精心...
-
所有生命分子一夜皆可AI预测！AlphaFold 3改变人类对生命的理解，全球科学家都能免费使用
AlphaFold 3再登Nature！ 这次重磅升级，不再仅限于蛋白质结构预测——可以以前所未有的精度预测所有生命分子的结构和相互作用。 只有了解它们如何在数百万种组合中相互作用，我们才能开始真正理解生命的过程。 这次的最大创新之一，是用上了AI绘画...
-
一文读懂多家厂商的大模型训练、推理、部署策略
大合影 get ✅ 披萨和礼物不能少！ 接下来进入主题演讲回顾环节。可扫描下方二维码、关注“OSC 开源社区”视频号，进入“直播回放”页面查看完整视频回顾： 刘昊：大模型分析与趋势展望 武汉人...
-
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决...
-
英伟达在印度招聘 AI 工程师
NVIDIA 正在印度招聘经验丰富的 AI 工程师，加入其合作伙伴公司。被选中的候选人将作为员工加入 NVIDIA 合作伙伴网络，负责推动 NVIDIA 技术的采用，并在数据中心、边缘和云部署领域获取创新设计。 这些位基于班加罗尔和新德里，专注于深度学习...
-
史上最大重建25km²！NeRF-XL：真正有效利用多卡联合训练！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：NeRF-XL: Scaling NeRFs with Multiple GPUs 论文链接：https://research.nvidia.com/labs/toronto-ai/nerfx...
-
谷歌员工爆料Python基础团队原地解散
什么？谷歌解雇了整个 Python 基础团队？ 「当与你直接共事的每个人，包括你的主管，都被裁员 —— 哦，是职位被削减，而你被要求安排他们的替代者入职，这些人被告知在不同的国家担任同样的职位，但他们并不为此感到高兴，这是很艰难的一天。」 发布这一动...
-
谷歌突破2万亿美元里程碑，却被曝裁掉整个Python团队？PyTorch之父怒批离谱
最近，大科技公司的财报纷纷出了结果，谷歌笑翻了—— 就在上周五，谷歌的市值已经达到了2万亿美元的里程碑。 劈柴表示非常满意！此后，谷歌将继续专注AI，让它成为搜索领域的颠覆性力量。 不过，就在一片大好的形势下，刚刚却曝出来一个出人意料的消息：谷歌的Pyt...
-
大模型一对一战斗75万轮，GPT-4夺冠，Llama 3位列第五
关于Llama 3，又有测试结果新鲜出炉—— 大模型评测社区LMSYS发布了一份大模型排行榜单，Llama 3位列第五，英文单项与GPT-4并列第一。 图片 不同于其他Benchmark，这份榜单的依据是模型一对一battle，由全网测评者自行命题并打分...
-
基于香橙派AIpro将开源框架模型转换为昇腾模型
本文分享自华为云社区《如何基于香橙派AIpro将开源框架模型转换为昇腾模型》，作者：昇腾CANN。 在前面的介绍中，我们知道了如何基于香橙派AIpro开发AI推理应用，也大致了解到在推理之前，需要把原始网络模型 (可能是 PyTorch 的、Tensor...
-
为什么要纯C语言手搓GPT-2，Karpathy回应网友质疑
几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。 llm.c 旨在让大模型（LM）训练变得简单...
-
Python一个高效的机器学习库：HummingBird
Python HummingBird库是一个高效的机器学习库，它可以将训练好的机器学习模型转换为高性能的代码，以便在边缘设备上进行推理。HummingBird库可以将模型转换为多种格式，包括C++、CUDA和ONNX等，这使得它非常适合在嵌入式设备、移动...
-
AMD发布第二代Versal自适应SoC：10倍标量性能、全程AI加速
快科技4月9日消息，AMD今天宣布，旗下的Versal自适应片上系统(SoC 产品升级全新第二代，包括面向AI驱动型嵌入式系统的AI Edge 2VE3000系列、面向经典嵌入式系统的Prime系列。 新一代产品很好地平衡了性能、功耗、面积，以及先进的功...
-
不牺牲算法，不挑剔芯片，这个来自中科院的团队正在加速国产AI芯片破局
在《沙丘》构建的未来世界里，「得香料者得天下」。但在生成式 AI 席卷的智能世界里，得 GPU 者得天下。 前段时间，外媒 The Information 曝出了一则重磅消息：微软和 OpenAI 正在规划一个雄心勃勃的数据中心项目 —— 建造一台名...
-
纯C语言手搓GPT-2，前OpenAI、特斯拉高管新项目火了
众所周知，大语言模型还在快速发展，应该有很多可以优化的地方。我用纯 C 语言来写，是不是能优化一大截？ 也许很多人开过这样的脑洞，现在有大佬实现了。 今天凌晨，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy...
-
Ascend C 自定义PRelu算子
本文分享自华为云社区《Ascend C 自定义PRelu算子》，作者： jackwangcumt。 1 PRelu算子概述 PReLU是 Parametric Rectified Linear Unit的缩写，首次由何凯明团队提出，和LeakyRe...
-
提高 AI 训练算力效率：蚂蚁 DLRover 故障自愈技术的创新实践
本文来自蚂蚁 DLRover 开源负责人王勤龙（花名长凡）在 2024 全球开发者先锋大会(GDC 的分享——《DLRover 训练故障自愈：大幅提升大规模 AI 训练的算力效率》。 王勤龙，长期在蚂蚁从事 AI 基础设施的研发，主导了蚂蚁分布式训练的弹...
-
OpenAI创始大神手搓千行C代码训练GPT，附PyTorch迁移教程
大神卡帕西（Andrej Karpathy）刚“复工”，立马带来神作： 纯C语言训练GPT，1000行代码搞定！，不用现成的深度学习框架，纯手搓。 发布仅几个小时，已经揽星2.3k。 它可以立即编译和运行，和PyTorch完全兼容。 卡帕西使用的示例是...
-
1000行C语言搓出GPT-2！AI大神Karpathy新项目刚上线就狂揽2.5k星
【新智元导读】训大模型的方法可能要被革新了!AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2，而不再依赖庞大的GPT-2库。他本人预告，即将上线新课。 断更近一个月，Karpathy终于上线了。 这次不是AI大课，而是带来一个新项目...
-
深度学习架构的超级英雄——BatchNorm2d
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文旨在探索2D批处理规范化在深度学习架构中的关键作用，并通过简单的例子来解释该技术的内部工作原理。 由作者本人创建的图像 深度学习...
-
[NLP]使用Alpaca-Lora基于llama模型进行微调教程
Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-tuning）。但该方法对于硬件成本要求仍然偏高且训练低效。 [NLP]理解大型语言模型高效微调(PEFT 因此， Alpac...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数，它结合了SWISH和...
-
【热门话题】Stable Diffusion：本地部署教程
?个人主页: 鑫宝Code?热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ?个人格言: "如无必要，勿增实体" 文章目录 Stable Diffusion：本地部署教程 一、引言 二、环境准备 1...
-
北航联合港大发布全新文本引导矢量图形合成方法SVGDreamer
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 可缩放矢量图形（Scalable Vector Graphics，SVG）是用于描述二维图型和图型应用程序的基本元素；与传统的像素图形...
-
JS 的 AI 时代来了！
JS-Torch 简介 JS-Torch[1] 是一个从零开始构建的深度学习 JavaScript 库，其语法与 PyTorch[2] 非常接近。它包含一个功能齐全的张量对象（可跟踪梯度）、深度学习层和函数，以及一个自动微分引擎。 图片 PyTorch...
-
【AIGC】如何在Windows/Linux上部署stable diffusion
文章目录 整体安装步骤 windows10安装stable diffusion 环境要求 安装步骤 注意事项 参考博客 其他事项 安装显卡驱动 安装cuda 卸载cuda 安装对应版本pytorch 安装git上的python包 Q&...
-
(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度
在 NVIDIA AI 推理平台上使用 Stable Diffusion XL 生成令人惊叹的图像 扩散模型正在改变跨行业的创意工作流程。 这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的...
-
Stable Diffusion 推荐硬件配置和本地化布署
Stable Diffusion简介 Stable Diffusion是由Stability AI开发的一种强大的文本到图像(Text-to-Image 生成模型,它能够根据用户提供的文本描述,生成与之相关的高质量、高分辨率图像。下面我从原理、特点、应用...
-
20240203在Ubuntu20.04.6下配置stable-diffusion-webui.git
20240203在Ubuntu20.04.6下配置stable-diffusion-webui.git 2024/2/3 11:55 【结论：在Ubuntu20.04.6下，生成512x512分辨率的图像，大概需要11秒钟！】 前提条件，可以通过技术...
-
【Python实用API】语音转文本-whisper
Whisper安装及使用教程 0.Whisper介绍 1.Whisper安装 1.1 依赖库安装 1.2 Whisper安装 2.Whisper使用 2.1 Whisper基本使用（语音识别） 2.2 Whisper进阶使用 2.2.1...
-
AIGC学习笔记——DALL-E2详解+测试
它主要包括三个部分：CLIP，先验模块prior和img decoder。其中CLIP又包含text encoder和img encoder。（在看DALL·E2之前强烈建议先搞懂CLIP模型的训练和运作机制,之前发过CLIP博客） 论文地址：https...
-
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
分组查询注意力 (Grouped Query Attention 是一种在大型语言模型中的多查询注意力 (MQA 和多头注意力 (MHA 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。 这篇文章中，我们将解释GQA的...
-
Stable Diffusion WebUI 1.8.0来了
上周 Stable Diffusion WebUI 发布了 1.8.0 版本，更新内容比较多，据说显存使用有了大幅的下降，这几天我也找时间把 AutoDL 镜像的版本做了个升级，有兴趣的同学可以去体验下新版本了。 这里分享下其中几个我认为比较重要的更新。...
-
Meta LLaMA 2实操：从零到一搭建顶尖开源大语言模型【超详篇】
前言 本文章由 [jfj] 编写，所有内容均为原创。涉及的软件环境是在nvidia-docker环境进行的，如对docker未了解如何使用的，可以移步上一篇文章nvidia-docker安装详解。 在 nvidia-docker 容器中运行时，Dock...
-
马斯克突发Grok 1.5！上下文长度至128k、HumanEval得分超GPT-4
就在刚刚，马斯克Grok大模型宣布重大升级。 难怪之前突然开源了Grok-1，因为他有更强的Grok-1.5了，主打推理能力。 来自xAI的官方推送啥也没说，直接甩链接。主打一个“字少事大” 图片 新版本Grok有啥突破？ 一是上下文长度飙升，从8192...