-
利用 FP8 量化加速 Llama-3-70B 推理
本文针对在 Amazon P5 (H100 GPU 上部署 Llama-3-70b FP8 精度模型的两种方案选型（Trion 及 LMI – Large Model Inference 容器）进行了探索，同时提供了基于 FMBench 的性能评估的最佳...
-
在 windows 上部署使用 Whisper 教程
在 Windows 上部署 OpenAI Whisper：详细教程 OpenAI Whisper 是一个功能强大的多语言语音识别模型，能够处理多种音频格式并生成高质量的字幕文件。本文将详细介绍如何在 Windows 系统上部署 Whisper，利用 G...
-
AI绘画SDWebUI-Foge运行最强开源 Flux1.0大模型，低显存设备也能跑！让你轻松制作高质量图片！
大家好！我是程序员晓晓 最近AI绘画开源社区又开始发力了，lllyasviel（敏神）——ControlNet的作者刚才发布了一款Flux1-dev-bnb-nf4-v2模型，这个版本最大的优势就是能让低显存的设备也能运行，这个低到底有多低呢？ 实测下...
-
丹摩智算平台部署 Llama 3.1：实践与体验
文章目录 前言 部署前的准备 创建实例 部署与配置 Llama 3.1 使用心得 总结 前言 在最近的开发工作中，我有机会体验了丹摩智算平台，部署并使用了 Llama 3.1 模型。在人工智能和大模型领域，Meta 推出的 Lla...
-
三星推出Galaxy Tab S10系列平板：搭载天玑9300 、优化AI性能
快科技9月27日消息，据媒体报道，三星推出了Galaxy Tab S10系列平板电脑，包括Galaxy Tab S10 Ultra和Galaxy Tab S10 两款产品，搭载联发科天玑9300 ，首次在其旗舰平板电脑中搭载联发科芯片。 据悉，天玑9300...
-
最强服务器CPU来了！AI性能直接翻倍
服务器CPU领域持续多年的核心数量大战，被一举终结了! 英特尔最新发布的至强®6性能核处理器（P-core系列），超越了过去单一维度的竞争，通过“升维”定义了新的游戏规则: 在过去，CPU升级换代往往要在单个芯片上集成更多的核心，但这难免会受到工艺和芯...
-
Insanely Fast Whisper CLI 使用教程
Insanely Fast Whisper CLI 使用教程 insanely-fast-whisper-cli The fastest Whisper optimization for automatic speech recognition a...
-
Stable-Diffusion-web UI运行环境搭建和界面配置
Stable-Diffusion-web UI运行环境搭建和界面配置 前言 一、论文 二、源码下载 三、权重模型和文件下载 （1）下载sd-v1-4.ckpt模型 （2）下载openai/clip-vit-large-patch14模型...
-
[AI绘画] 简明原生 ComfyUI 零失误安装教程！
前言 本教程适用于为 windows 系统部署原生 ComfyUI 「第1步：安装所需的必要前置工具」 开源软件下载工具 [GitBash] https://git-scm.com/downloads 解压工具 [7-zip] https:...
-
探索Llama 3.1：开源模型的本地部署与创新应用实践
文章目录 1 Llama 3.1模型的突破性进展 2 Llama 3.1模型在业务场景中的实践案例 3 使用教程 4 Llama 3.1在客户服务中的运用 1 Llama 3.1模型的突破性进展 在数字化转型的浪潮中，大型语言模型...
-
＜Project-3 Video2SubTitle＞ Python coding Flask应用：从视频中，提取对白，生成独立的字幕文件 浏览器页面交互 调用cuda, Whisper模型
原因： 在网上看到一个视频没有字幕。 记者问小泉纯一郎 (前日本首相 ，我只是好奇，想知道Y说的是什么。 上面这个帖子里的视频：https://x.com/i/status/1834489208398115295 视频没有字幕，那就自己做...
-
将LLaMA模型导出为ONNX格式的教程
将LLaMA模型导出为ONNX格式的教程 export_llama_to_onnx export llama to onnx 项目地址: https://gitcode.com/gh_mirrors/ex/export_llama_to_onn...
-
`ModuleNotFoundError: No module named ‘whisper‘`
/home/shgbitai/pythonworkspace/ai-accompany/venv/bin/python /home/shgbitai/pythonworkspace/ai-accompany/main.py Traceback (most...
-
使用Stable Diffusion生成的图像合成数据集
使用Stable Diffusion生成图像合成数据集 相关论文Stable DiffusionDALL-E seriesDALL-E seriesImagen 一、Stable Diffusion的原理 Stable Diffusion是一种基...
-
用TensorRT-LLM进行LLama的推理和部署
Deploy an AI Coding Assistant with NVIDIA TensorRT-LLM and NVIDIA Triton | NVIDIA Technical BlogQuick Start Guide — tensorrt_llm...
-
Llama 3.1 技术研究报告-2
3.3 基础设施、扩展性和效率 我们描述了⽀持Llama 3 405B⼤规模预训练的硬件和基础设施，并讨论了⼏项优化措施，这些措施提⾼了训练效率。 3.3.1 训练基础设施 Llama 1和2模型在Meta的AI研究超级集群（Lee和Sengup...
-
编译运行 llama.cpp (vulkan, Intel GPU SYCL)
llama.cpp 是一个运行 AI (神经网络 语言大模型的推理程序, 支持多种 后端 (backend , 也就是不同的具体的运行方式, 比如 CPU 运行, GPU 运行等. 但是编译运行 llama.cpp 并不是那么容易的, 特别是对于 SY...
-
[1305]whisper(音转文)使用教程
文章目录 实时录制音频并转录 faster-whisper使用教程 github：https://github.com/openai/whisper https://gitcode.com/gh_mirrors/whisp/whisp...
-
AIGC时代算法工程师的面试秘籍（第二十一式2024.8.19-9.1） |【三年面试五年模拟】
写在前面 【三年面试五年模拟】旨在整理&挖掘AI算法工程师在实习/校招/社招时所需的干货知识点与面试经验，力求让读者在获得心仪offer的同时，增强技术基本面。也欢迎大家提出宝贵的优化建议，一起交流学习? 欢迎大家关注Rock...
-
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型 引言 在人工智能和自然语言处理领域，大型语言模型（LLMs）的应用越来越广泛。llama-cpp-python 是一个强大的工具，它为 llama.cpp 提供了...
-
GPUStack正式发布: 为大模型而生的开源GPU集群管理器
经过 Seal 研发团队几个月来持续的开发和测试，我们满怀期待及热情地发布新的产品 GPUStack，GPUStack 是一个用于运行LLM（大型语言模型）的开源GPU集群管理器。尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使...
-
单GPU一分钟生成16K高清图像！新加坡国立发布LinFusion:无缝兼容Stable Diffusion插件
论文链接：https://arxiv.org/pdf/2409.02097 Git链接：https://lv-linfusion.github.io/ 亮点直击 本文研究了Mamba的非因果和归一化感知版本，并提出了一种新颖的线性注意力机制...
-
24年8月最新 Stable Diffusion整合包v4.9（下载地址在文末）！三分钟入门AI绘画
安装和部署Stable Diffusion整合包v4.9（下载地址在文末）~致敬秋葉大佬 介绍如何安装和部署Stable Diffusion。我使用的是秋葉aaaki的整合包 电脑配置 安装和部署Stable Diffusion的电脑配置要求如...
-
Black Forest Labs 的 Flux——文本转图像模型的下一个飞跃，它比 Midjourney 更好吗？
一、前言 Black Forest Labs是开创性稳定扩散模型的团队，现已发布Flux——一套最先进的模型，有望重新定义 AI 生成图像的功能。但 Flux 是否真正代表了该领域的飞跃？它与 Midjourney 等行业领导者相比如何？让我们深入...
-
【大模型】AutoDL部署AI绘图大模型Stable Diffusion使用详解
目录 一、前言 二、AI绘图大模型概述 2.1 AI绘图大模型介绍 2.2 AI绘图大模型特点 2.3 AI绘图大模型优势 三、主流的AI绘图大模型介绍 3.1 Midjourney 3.1.1 Midjourney介绍 3.1.2...
-
LLM入门——在Colab上部署Llama2
LLM入门——在Colab上部署Llama2 2024/07/09 本文属于“LLM入门”系列，该系列是笔者自学LLM时记录的一些实践记录与心得，可能存在错误或过时的部分，请读者谅解。 对于LLM入门学者，我推荐从Large Language...
-
AI绘画 Stable Diffusion【SD入门】：如何体验AI绘画工具Stable Diffusion，附SD安装教程和三种体验方式！
大家好，我是程序员晓晓 关于如何使用AI绘画Stable Diffusion工具，一直是很多小伙伴经常咨询的问题之一。今天就和大家一起聊聊关于如何体验AI绘画工具Stable Diffusion。总的来说，使用体验Stable Diffusion工具主要...
-
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
github:diffusers/examples/instruct_pix2pix/train_instruct_pix2pix_sdxl.py at main · huggingface/diffusers · GitHub 论文：https://a...
-
【附精彩文章合辑】跨界对话：黄仁勋与扎克伯格的“外套交换”与未来展望
跨界对话：黄仁勋与扎克伯格的“外套交换”与未来展望 在科技界的浩瀚星空中，两位璀璨的名字如同双子星般交相辉映——NVIDIA的创始人兼CEO黄仁勋（Jensen Huang）与Facebook（现更名为Meta）的掌舵人马克·扎克伯格（Mark Zuck...
-
LLaMA Cog 模板：轻松构建和部署大型语言模型
LLaMA Cog 模板：轻松构建和部署大型语言模型 cog-llama-templateLLaMA Cog template项目地址:https://gitcode.com/gh_mirrors/co/cog-llama-template 项目介...
-
4060显卡+LLaMA-Factory微调LLM——（四）Web UI
本地配置 系统：win10 **硬件：**i5-12490f+RTX4060 前置准备 目前本地微调大模型最常用的就是LLaMA-Factory，既可以用指令微调，又有Web UI，方便的很 github：https://github.com/...
-
LLAMA-FACTORY：100+语言模型的统一高效微调框架
24年3月来自北航和北大的论文“LLAMA-FACTORY: Unified Efficient Fine-Tuning of 100+ Language Models”。 高效的微调对于将大语言模型 (LLM 适应下游任务至关重要。然而，在不同模型上...
-
Llama 3.1部署教程（非常详细）从零基础入门到精通，看完这一篇就够了
昨日，Meta公司发布了人工智能模型——Llama 3.1。 那么Llama 3.1 405B的效果怎么样？我们来对比一张图，横向对比一下GPT-4。 可以看出，Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。...
-
如何微调 Llama 3 进行序列分类？
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学. 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集： 《大模...
-
stable diffusion 反推提示词插件 tagger 的安装，很详细
stable diffusion 反推提示词插件 tagger 的安装，很详细 一、前言 二、下载 1、方式一 2、方式二 一、前言 最近想下载 stable diffusion 反推提示词插件 tagger ，也是好一番折腾...
-
秘密 llama：全栈式私有LLM聊天机器人指南
秘密 llama：全栈式私有LLM聊天机器人指南 secret-llamaFully private LLM chatbot that runs entirely with a browser with no server needed. Suppor...
-
[Sigcomm论文解析] Llama 3训练RoCE网络
最近正在开的Sigcomm上, Meta有一篇论文《RDMA over Ethernet for Distributed AI Training at Meta Scale》[1]详细介绍了它的物理网络部署和相关的拥塞控制机制. 本文来对它进行一些详细的解...
-
AI时代，服务器厂商能否打破薄利的命运？
AI大模型正在引发新一轮的“算力焦渴”。 近日，OpenAI刚发布的o1大模型再次刷新了大模型能力的上限。对比上一次迭代的版本，o1的推理能力全方位“吊打”了GPT-4o。更优秀的能力，来自与o1将思维链引入进了推理过程。在o1对问题“一边拆解一边回答”的...
-
用Transformers库运行Llama-3.1-Minitron-4B
我的笔记本来自8年前的旧时代，勉强能运行8B模型，于是打算试试看更小的…… Llama-3.1-Minitron 4B 简介 Llama-3.1-Minitron 4B 是基于Llama-3.1 8B模型，通过结构化权重剪枝和知识提炼技术优化而成的...
-
Stable Diffusion 项目常见问题解决方案
Stable Diffusion 项目常见问题解决方案 stablediffusion High-Resolution Image Synthesis with Latent Diffusion Models 项目地址: https://git...
-
Stable Diffusion训练LoRA模型参数详细说明（阿里巴巴堆友AI）
工具：线上模型训练堆友AI 一、训练参数 批量大小 (Batch Size 作用：每次训练中使用的样本数量。 参考值：可以从 8 到 64，取决于显存大小。 训练轮数 (Epochs 作用：完整遍历训练数据的次数。 参考值：通...
-
速通LLaMA1：《LLaMA: Open and Efficient Foundation Language Models》全文解读
文章目录 论文总览 1. 创新点和突破点 2. 技术实现与算法创新 3. 架构升级 4. 概念补充 SwiGLU激活函数 AdamW 5. 总结 Abstract Introduction Approach Pre-training...
-
AI智能体研发-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
一、引言 贫富差距的产生是信息差，技术贫富差距的产生亦如此。如果可以自我发现或者在别人的指导下发现优秀的开源项目，学习或工作效率真的可以事半功倍。 今天力荐的项目是LLaMA-Factory，我在去年8月份就开始使用这个项目进行模型部署和微调训练（fi...
-
【AI绘画】Stable Diffusion进阶 | 室内设计神器：ControlNet MLSD/Seg 实现令人惊叹的视觉转换
大家好，我是写编程的木木。 你是否已经厌倦了传统的室内设计方式，想探索新方法来增强作品设计感？本期小编就同大家分享一个新武器，用Stable Diffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白，...
-
在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型
一、背景介绍 1. AutoDL平台（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）：算力平台，类似阿里云，它主要提供GPU算力。通常按小时收费，显卡（RTX 3090 - 24GB显存）+ CPU（14核）+ 内存（45GB）的配...
-
Lucid Creations - 使用Stable Diffusion的GUI工具无需GPU
Lucid Creations - 使用Stable Diffusion的GUI工具无需GPU Lucid-Creations A simple client to create Stable Diffusion images without an...
-
使用Ollama本地部署Llama 3.1大模型
Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操...
-
本地搭建 Whisper 语音识别模型实现实时语音识别研究
目录 摘要 关键词 1. 引言 2. Whisper 模型简介 3. 环境准备 4. 系统架构与实现 4.1 模型加载 4.2 实时音频输入处理 4.3 实时转录处理 4.4 程序实现的框架 4.5 代码实现 5. 实验与结果 6...
-
Ollama保姆级教程
Ollama保姆级教程 Ollama是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括GPU使用情况，简化了在本地运行大型模型的过程。 Ollama还提供了对模型量化...
-
Jetson 部署 Faster Whisper
文章目录 Whisper Faster Whisper 安装使用 尝试WSL部署 尝试 Jetson 部署 时间戳 实时转录 Whisper Whisper 是一种通用语音识别模型。它是在大量不同音频数据集上进行训练的，也是一...