-
推荐文章：深度探索图像生成新境界 - TensorRT Extension for Stable Diffusion
推荐文章：深度探索图像生成新境界 - TensorRT Extension for Stable Diffusion Stable-Diffusion-WebUI-TensorRTTensorRT Extension for Stable Diffus...
-
利用 FP8 量化加速 Llama-3-70B 推理
本文针对在 Amazon P5 (H100 GPU 上部署 Llama-3-70b FP8 精度模型的两种方案选型（Trion 及 LMI – Large Model Inference 容器）进行了探索，同时提供了基于 FMBench 的性能评估的最佳...
-
用TensorRT-LLM进行LLama的推理和部署
Deploy an AI Coding Assistant with NVIDIA TensorRT-LLM and NVIDIA Triton | NVIDIA Technical BlogQuick Start Guide — tensorrt_llm...
-
Nvidia AI 发布 Llama-Minitron 3.1 4B：通过修剪和提炼 Llama 3.1 8B 构建的新语言模型
Nvidia 刚刚发布了语言模型的新版本，不过这次是一个小型语言模型：Llama-3.1-Minitron 4B 模型。这意味着它是语言模型不断发展的重要步骤之一，通过剪枝和知识提炼等尖端技术，将大型模型的效率与小型模型相结合。 Llama-3.1-...
-
使用WhisperLive实现实时语音转文本的魅力
使用WhisperLive实现实时语音转文本的魅力 WhisperLiveA nearly-live implementation of OpenAI's Whisper.项目地址:https://gitcode.com/gh_mirrors/wh/W...
-
【英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强】
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 最近，英伟达研究表明，结构化权重剪枝与知识蒸馏相结...
-
ViT篇外：NVIDIA Llama-3.1-Minitron 4B
相关阅读： ViT：3 Compact Architecture MobileLLM：“苗条”的模型比较好！ 大家也许会很好奇为什么在ViT章节插入了NVIDIA Llama-3.1-Minitron 4B，ViT因为应用场景的特殊性所以都寄...
-
英伟达Blackwell称霸MLPerf！推理性能暴涨30倍，新一代「AI怪兽」诞生
【新智元导读】MLPerf Inference发布了最新测试结果，英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技，展现出明显的性能提升，甚至刷新了部分任务上的测试纪录。 大语言模型（LLM）推理是一个全栈挑战。 为了实现高吞吐量、低延迟的...
-
AI绘画大模型-StableDiffusion最强模型sd3（本地安装方法）
前言/introduction Stable Diffusion 3（简称SD3）是Stability AI最新推出的文本到图像生成模型。相比前代模型，SD3在生成质量、细节表现以及运行效率上有了显著提升，尤其在细腻的图像渲染和复杂...
-
重磅！Stable Diffusion 3 终于免费开源了！吊打 Midjourney，附本地安装包教程！
前言 stable Diffusion 3 终于开源了，他的开源瞬间在AI界得到火爆追捧，曾一度吊打Midjourney等一系列收费AI软件，最主要的是它可以免费使用呦！下面我们来看一下他到底有多强大。 stable Diffusion 3 Me...
-
“全网最全”LLM推理框架集结营 - 看似微不足道，却决定着AIGC项目的成本、效率与性能!
00-前序 随着ChatGPT、GPT-4等大语言模型的出现，彻底点燃了国内外的学者们与企业家们研发LLM的热情。国内外的大语言模型如雨后春笋一般的出现，这些大语言模型有一部分是开源的，有一部分是闭源的。 伴随着大语言模型的出现，国内外基于大语言模型...
-
七彩虹展出iGame RTX AI PC体验区：本地AI算力远超普通PC
快科技7月13日消息，AI正不断发展，飞速提升着人们的工作效率，并改变生活方式。 作为AI领导企业，英伟达不断改进GPU的AI功能与特性，使GeForce RTX 40系列GPU成为当下用于AI运算的强大引擎。 在Bilibili World展会上，七彩虹...
-
WhisperLive：实时语音转文本的革命性工具
WhisperLive：实时语音转文本的革命性工具 WhisperLive是一个基于OpenAI Whisper模型的实时语音转文本应用。它不仅能够处理来自麦克风的实时音频输入，还支持预先录制的音频文件进行转录。通过高效的技术手段，WhisperLi...
-
[AI里程碑]StableDiffusion3今日开源 | 首个开源超越Midjourney
⚡[AI里程碑]StableDiffusion3今日开源 | 首个开源超越Midjourney 2024年6月12日，Stable Diffusion 3 Medium的开源代表了生成式 AI 发展的一个重要里程碑。 StableDiffu...
-
阿里云DSW做AI绘画时的显卡选择A10?V100?
V100是Volta架构，A10是Ampere架构，架构上讲A10先进点，其实只是制程区别，用起来没区别。 V100是HBM的内存读取，带宽大，但是DDR5的。 二块卡都是全精度为主的算力卡，半精度优势不明显。 需要用大内存的，选A10, 24G用起...
-
Stable diffusion 3 正式开源
6月12日晚，著名开源大模型平台Stability AI正式开源了，文生图片模型Stable Diffusion 3 Medium（以下简称“SD3-M”）权重。 SD3-M有20亿参数，平均生成图片时间在2—10秒左右推理效率非常高，同时对硬件的需求...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
Meta Llama 3 性能提升与推理服务部署
利用 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器提升 Meta Llama 3 性能 我们很高兴地宣布 NVIDIA TensorRT-LLM 支持 Meta Llama 3 系列模型，从而加速和优化您的 L...
-
【推理框架】超详细！AIGC面试系列 大模型推理系列(1)
本期问题聚焦于大模型的推理框架 本期问题快览 有哪些大模型推理框架 了解vllm吗 介绍下vllm的核心技术 了解faster transformer吗 介绍下faster transformer的核心技术 了解Xinference吗 了解l...
-
腾讯混元发布开源加速库，生图时间缩短75%
6月6日，腾讯发布针对腾讯混元文生图开源大模型（以下简称为混元DiT模型）的加速库，让推理效率大幅提升，生图时间缩短75%。 混元DiT模型的使用门槛也大幅降低。用户可以基于ComfyUI的图形化界面，使用腾讯混元文生图模型能力。同时，混元DiT模型已经...
-
腾讯混元发布开源文生图大模型混元DiT加速库 生图时间缩短75%
腾讯混元发布了针对开源文生图大模型混元 DiT 的加速库，可将推理时间缩短75%，生图时间大幅缩短。 混元 DiT 模型也已部署至 Hugging Face Diffusers 通用模型库，用户可通过三行代码调用模型，无需下载原始代码。 通过知识蒸馏和 T...
-
“全网最全”LLM推理框架集结营 | 看似微不足道，却决定着AIGC项目的成本、效率与性能!
00-前序 随着ChatGPT、GPT-4等大语言模型的出现，彻底点燃了国内外的学者们与企业家们研发LLM的热情。国内外的大语言模型如雨后春笋一般的出现，这些大语言模型有一部分是开源的，有一部分是闭源的。 伴随着大语言模型的出现，国...
-
Stable Diffusion XL优化终极指南
如何在自己的显卡上获得SDXL的最佳质量和性能，以及如何选择适当的优化方法和工具，这一让GenAI用户倍感困惑的问题，业内一直没有一份清晰而详尽的评测报告可供参考。直到全栈开发者Félix San出手。 在本文中，Félix介绍了相关...
-
AI日报：Remini“黏土AI”攻占小红书；HeyGen推自动剪辑工具；多图漫画工具StoryDiffusion来了；AI音乐Udio可生成15分钟音频
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、这个五一假期，小红书被Remi...
-
单卡跑Llama 70B快过双卡，微软硬生生把FP6搞到了A100里 | 开源
FP8和更低的浮点数量化精度，不再是H100的“专利”了！ 老黄想让大家用INT8/INT4，微软DeepSpeed团队在没有英伟达官方支持的条件下，硬生生在A100上跑起FP6。 测试结果表明，新方法TC-FPx在A100上的FP6量化，速度接近甚至...
-
(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度
在 NVIDIA AI 推理平台上使用 Stable Diffusion XL 生成令人惊叹的图像 扩散模型正在改变跨行业的创意工作流程。 这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的...
-
NVIDIA大语言模型落地的全流程解析
包括三部分内容： 第一部分是关于 NeMo Framework。NeMo Framework 是 NVIDIA 大语言模型的全栈解决方案，它通过不同组件完成生成式 AI 各个环节的任务，包括数据预处理、分布式训练、模型微调、模型推理加速及部署（Ten...
-
(含代码)利用TensorRT的8位PTQ将Stable Diffusion速度提高 2 倍
利用TensorRT的8位PTQ将Stable Diffusion速度提高 2 倍 在生成人工智能的动态领域中，扩散模型脱颖而出，成为生成带有文本提示的高质量图像的最强大的架构。 像稳定扩散这样的模型已经彻底改变了创意应用。 然而，由于需要迭代去...
-
【深度学习】风格迁移，转换，Stable Diffusion，FreeStyle : Free Lunch for Text-guided Style Transfer using Diffusion
论文：https://arxiv.org/abs/2401.15636 代码：https://github.com/FreeStyleFreeLunch/FreeStyle 介绍 生成扩散模型的快速发展极大地推进了风格迁移领域的发展。然而，大多数当...
-
stable diffusion webui安装TensorRT扩展2024.1
如果你的stable diffusion webui（auto1111开源版）不能安装TensorRT扩展，现象是无限挂机，同时确定你的webui版本是1.6.1以上的话，可以按照本方法临时解决。TensorRT是什么，可以见我另外个贴子，反正生成速度很快...
-
WhisperFusion：具有超低延迟无缝对话功能的AI系统
WhisperFusion 基于 WhisperLive 和 WhisperSpeech 的功能而构建，在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM 。 LLM 和 Whisper 都经过优化，可作为 TensorRT 引擎高效运...
-
EfficientViT-SAM：精度不变原地起飞！
作者提出了EfficientViT-SAM，这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。在训练方面，首先从SAM-ViT-H图像编码器向EfficientV...
-
20240202在WIN10下使用fast whisper缺少cudnn_ops_infer64_8.dll
20240202在WIN10下使用fast whisper缺少cudnn_ops_infer64_8.dll 2024/2/2 10:48 https://blog.csdn.net/feinifi/article/details/132548556...
-
英伟达官宣AI聊天机器人，本地RTX显卡运行，这是要挑战OpenAI？
OpenAI 进军芯片领域，英伟达自己造聊天机器人，这是 Sam vs Jensen 的时代? 下载地址:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/ 在这波 AI...
-
WhisperFusion：与 AI 无缝语音对话（超低延迟），深入理解用户每句话背后的含义
演示视频里面，那老哥问它问题之后，后面更改问题，依然能很好的记录问题变化的过程并给出答案。 WhisperFusion 是基于 WhisperLive 和 WhisperSpeech 的强大工具，将声音转文字和文字理解融为一体，让你与AI机器人无缝语音对...
-
AIGC从入门到精通
目录 1. 概述 2. 一键起飞 2.1 webui 2.2 基础用法 2.3 必装插件 2.4 Fooocus 2.5 diffusers 3 LoRA 3.1 原理 3.2 训练流程和准备 3.3 上手训练...
-
WhisperBot：整合了Mistral大型语言模型的实时语音转文本系统
项目简介 欢迎来到 WhisperBot。WhisperBot 基于 WhisperLive 和 WhisperSpeech 的功能而构建，在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM 。WhisperLive 依赖于 OpenA...
-
Stable Diffusion教程——使用TensorRT GPU加速提升Stable Diffusion出图速度
概述 Diffusion 模型在生成图像时最大的瓶颈是速度过慢的问题。为了解决这个问题，Stable Diffusion 采用了多种方式来加速图像生成，使得实时图像生成成为可能。最核心的加速是Stable Diffusion 使用了编码器将图像从原始的...
-
【深度学习】SDXL tensorRT 推理，Stable Diffusion 转onnx，转TensorRT
文章目录 1 sdxl 转 diffusers 2 转onnx 3 转TensorRT 1 sdxl 转 diffusers juggernautXL_version6Rundiffusion.safetensors文件...
-
秒速出图！体验 TensorRT 加速 Stable Diffusion 图像创作
TensorRT 如何加速 Stable Diffusion？ 生成式 AI 图像内容生成技术近年来发展迅速，可以根据人类语言描述生成图片，在时尚、建筑、动漫、广告、游戏等领域有着广泛应用。 Stable Diffusion WebUI 是 Githu...
-
【思路合集】talking head generation+stable diffusion
1 以DiffusionVideoEditing为baseline： 改进方向 针对于自回归训练方式可能导致的漂移问题： 训练时，在前一帧上引入小量的面部扭曲，模拟在生成过程中自然发生的扭曲。促使模型查看身份帧以进行修正。 在像VoxCeleb或L...
-
揭秘NVIDIA大模型推理框架：TensorRT-LLM
一、TensorRT-LLM 的产品定位 TensorRT-LLM 是 NVIDIA 用于做 LLM（Large Language Model）的可扩展推理方案。该方案是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 Fa...
-
AI实时对话系统WhisperFusion：集成大模型，与AI无缝语音对话
WhisperFusion是一个基于WhisperLive和WhisperSpeech技术的AI对话系统，通过在实时语音转文本流程中集成Mistral大型语言模型（LLM），实现了与AI的无缝对话。 LLM和Whisper均经过TensorRT引擎优化，以...
-
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一
如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。 从系统角度来看，LLM 推理主要受内存限制，主要延迟瓶颈源于加速器的内存带宽而非算术计算。这一...
-
Colossal-AI团队开源了SwiftInfer 大模型无限流式输入推理飙升46%
近日，国产开源项目SwiftInfer实现了无限流式输入推理，成功提升了大模型推理性能46%。这是一个重大突破，可以为多轮对话场景提供高效可靠的落地方案。 它采用了attention sink注意力机制、窗口注意力优化、KV Cache机制优化等方法，Sw...
-
400万token上下文、推理再加速46%！最新开源方案升级MIT成果，推理成本再降低
22倍加速还不够，再来提升46%，而且方法直接开源！ 这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。 StreamingLLM可以在不牺牲生成效果、推理速度的前提下，实现多轮对话共400万个token，22.2倍推理速度提升。 该项...
-
大模型无限流式输入推理飙升46%！国产开源加速「全家桶」，打破多轮对话长度限制
在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工Guangxuan Xiao等人推出的StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共400万个token的流式输入，22.2倍的推理速度提升...
-
十个值得收藏的AI人工智能网站（AI绘画、AI插件）
1、伯乐 AI 伯乐 AI（https://ai.bleai.cn）是一种基于文心大模型的知识增强大语言模型，专注于自然语言处理（NLP）领域的技术研发。它具备强大的语义理解和生成能力，能够处理各种复杂的自然语言任务。 伯乐 AI在NLP领域有着广泛的应用...
-
AI秒出图！StableDiffusion Automatic1111正式支持Tensorrt
秒级出图的AI绘画终于支持Automatic1111。 今天在AI绘画的开源平台Automatic1111上发布了Tensorrt项目，项目地址是 https://github.com/AUTOMATIC1111/stable-diffusion-we...
-
得物大模型平台，业务效果提升实践
一、背景 得物大模型训练与推理平台上线几个月后，我们与公司内部超过 10 个业务领域展开了全面的合作。在一些关键业务指标方面，取得了显著的成效，例如： 效率相关部门的合作，多维度打标总正确率取得 2 倍以上提升。利用大模型开辟了新的业务，提升了效...