-
用TensorRT-LLM进行LLama的推理和部署
Deploy an AI Coding Assistant with NVIDIA TensorRT-LLM and NVIDIA Triton | NVIDIA Technical BlogQuick Start Guide — tensorrt_llm...
-
Llama 3.1 技术研究报告-2
3.3 基础设施、扩展性和效率 我们描述了⽀持Llama 3 405B⼤规模预训练的硬件和基础设施，并讨论了⼏项优化措施，这些措施提⾼了训练效率。 3.3.1 训练基础设施 Llama 1和2模型在Meta的AI研究超级集群（Lee和Sengup...
-
编译运行 llama.cpp (vulkan, Intel GPU SYCL)
llama.cpp 是一个运行 AI (神经网络 语言大模型的推理程序, 支持多种 后端 (backend , 也就是不同的具体的运行方式, 比如 CPU 运行, GPU 运行等. 但是编译运行 llama.cpp 并不是那么容易的, 特别是对于 SY...
-
[1305]whisper(音转文)使用教程
文章目录 实时录制音频并转录 faster-whisper使用教程 github：https://github.com/openai/whisper https://gitcode.com/gh_mirrors/whisp/whisp...
-
AIGC时代算法工程师的面试秘籍（第二十一式2024.8.19-9.1） |【三年面试五年模拟】
写在前面 【三年面试五年模拟】旨在整理&挖掘AI算法工程师在实习/校招/社招时所需的干货知识点与面试经验，力求让读者在获得心仪offer的同时，增强技术基本面。也欢迎大家提出宝贵的优化建议，一起交流学习💪 欢迎大家关注Rock...
-
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型 引言 在人工智能和自然语言处理领域，大型语言模型（LLMs）的应用越来越广泛。llama-cpp-python 是一个强大的工具，它为 llama.cpp 提供了...
-
GPUStack正式发布: 为大模型而生的开源GPU集群管理器
经过 Seal 研发团队几个月来持续的开发和测试，我们满怀期待及热情地发布新的产品 GPUStack，GPUStack 是一个用于运行LLM（大型语言模型）的开源GPU集群管理器。尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使...
-
单GPU一分钟生成16K高清图像！新加坡国立发布LinFusion:无缝兼容Stable Diffusion插件
论文链接：https://arxiv.org/pdf/2409.02097 Git链接：https://lv-linfusion.github.io/ 亮点直击 本文研究了Mamba的非因果和归一化感知版本，并提出了一种新颖的线性注意力机制...
-
24年8月最新 Stable Diffusion整合包v4.9（下载地址在文末）！三分钟入门AI绘画
安装和部署Stable Diffusion整合包v4.9（下载地址在文末）~致敬秋葉大佬 介绍如何安装和部署Stable Diffusion。我使用的是秋葉aaaki的整合包 电脑配置 安装和部署Stable Diffusion的电脑配置要求如...
-
Black Forest Labs 的 Flux——文本转图像模型的下一个飞跃，它比 Midjourney 更好吗？
一、前言 Black Forest Labs是开创性稳定扩散模型的团队，现已发布Flux——一套最先进的模型，有望重新定义 AI 生成图像的功能。但 Flux 是否真正代表了该领域的飞跃？它与 Midjourney 等行业领导者相比如何？让我们深入...
-
【大模型】AutoDL部署AI绘图大模型Stable Diffusion使用详解
目录 一、前言 二、AI绘图大模型概述 2.1 AI绘图大模型介绍 2.2 AI绘图大模型特点 2.3 AI绘图大模型优势 三、主流的AI绘图大模型介绍 3.1 Midjourney 3.1.1 Midjourney介绍 3.1.2...
-
LLM入门——在Colab上部署Llama2
LLM入门——在Colab上部署Llama2 2024/07/09 本文属于“LLM入门”系列，该系列是笔者自学LLM时记录的一些实践记录与心得，可能存在错误或过时的部分，请读者谅解。 对于LLM入门学者，我推荐从Large Language...
-
AI绘画 Stable Diffusion【SD入门】：如何体验AI绘画工具Stable Diffusion，附SD安装教程和三种体验方式！
大家好，我是程序员晓晓 关于如何使用AI绘画Stable Diffusion工具，一直是很多小伙伴经常咨询的问题之一。今天就和大家一起聊聊关于如何体验AI绘画工具Stable Diffusion。总的来说，使用体验Stable Diffusion工具主要...
-
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
github:diffusers/examples/instruct_pix2pix/train_instruct_pix2pix_sdxl.py at main · huggingface/diffusers · GitHub 论文：https://a...
-
【附精彩文章合辑】跨界对话：黄仁勋与扎克伯格的“外套交换”与未来展望
跨界对话：黄仁勋与扎克伯格的“外套交换”与未来展望 在科技界的浩瀚星空中，两位璀璨的名字如同双子星般交相辉映——NVIDIA的创始人兼CEO黄仁勋（Jensen Huang）与Facebook（现更名为Meta）的掌舵人马克·扎克伯格（Mark Zuck...
-
LLaMA Cog 模板：轻松构建和部署大型语言模型
LLaMA Cog 模板：轻松构建和部署大型语言模型 cog-llama-templateLLaMA Cog template项目地址:https://gitcode.com/gh_mirrors/co/cog-llama-template 项目介...
-
4060显卡+LLaMA-Factory微调LLM——（四）Web UI
本地配置 系统：win10 **硬件：**i5-12490f+RTX4060 前置准备 目前本地微调大模型最常用的就是LLaMA-Factory，既可以用指令微调，又有Web UI，方便的很 github：https://github.com/...
-
LLAMA-FACTORY：100+语言模型的统一高效微调框架
24年3月来自北航和北大的论文“LLAMA-FACTORY: Unified Efficient Fine-Tuning of 100+ Language Models”。 高效的微调对于将大语言模型 (LLM 适应下游任务至关重要。然而，在不同模型上...
-
Llama 3.1部署教程（非常详细）从零基础入门到精通，看完这一篇就够了
昨日，Meta公司发布了人工智能模型——Llama 3.1。 那么Llama 3.1 405B的效果怎么样？我们来对比一张图，横向对比一下GPT-4。 可以看出，Llama 3.1 405B在各类任务中的表现可以与GPT-4等顶级的模型相差无几。...
-
如何微调 Llama 3 进行序列分类？
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学. 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集： 《大模...
-
stable diffusion 反推提示词插件 tagger 的安装，很详细
stable diffusion 反推提示词插件 tagger 的安装，很详细 一、前言 二、下载 1、方式一 2、方式二 一、前言 最近想下载 stable diffusion 反推提示词插件 tagger ，也是好一番折腾...
-
秘密 llama：全栈式私有LLM聊天机器人指南
秘密 llama：全栈式私有LLM聊天机器人指南 secret-llamaFully private LLM chatbot that runs entirely with a browser with no server needed. Suppor...
-
[Sigcomm论文解析] Llama 3训练RoCE网络
最近正在开的Sigcomm上, Meta有一篇论文《RDMA over Ethernet for Distributed AI Training at Meta Scale》[1]详细介绍了它的物理网络部署和相关的拥塞控制机制. 本文来对它进行一些详细的解...
-
AI时代，服务器厂商能否打破薄利的命运？
AI大模型正在引发新一轮的“算力焦渴”。 近日，OpenAI刚发布的o1大模型再次刷新了大模型能力的上限。对比上一次迭代的版本，o1的推理能力全方位“吊打”了GPT-4o。更优秀的能力，来自与o1将思维链引入进了推理过程。在o1对问题“一边拆解一边回答”的...
-
用Transformers库运行Llama-3.1-Minitron-4B
我的笔记本来自8年前的旧时代，勉强能运行8B模型，于是打算试试看更小的…… Llama-3.1-Minitron 4B 简介 Llama-3.1-Minitron 4B 是基于Llama-3.1 8B模型，通过结构化权重剪枝和知识提炼技术优化而成的...
-
Stable Diffusion 项目常见问题解决方案
Stable Diffusion 项目常见问题解决方案 stablediffusion High-Resolution Image Synthesis with Latent Diffusion Models 项目地址: https://git...
-
Stable Diffusion训练LoRA模型参数详细说明（阿里巴巴堆友AI）
工具：线上模型训练堆友AI 一、训练参数 批量大小 (Batch Size 作用：每次训练中使用的样本数量。 参考值：可以从 8 到 64，取决于显存大小。 训练轮数 (Epochs 作用：完整遍历训练数据的次数。 参考值：通...
-
速通LLaMA1：《LLaMA: Open and Efficient Foundation Language Models》全文解读
文章目录 论文总览 1. 创新点和突破点 2. 技术实现与算法创新 3. 架构升级 4. 概念补充 SwiGLU激活函数 AdamW 5. 总结 Abstract Introduction Approach Pre-training...
-
AI智能体研发-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
一、引言 贫富差距的产生是信息差，技术贫富差距的产生亦如此。如果可以自我发现或者在别人的指导下发现优秀的开源项目，学习或工作效率真的可以事半功倍。 今天力荐的项目是LLaMA-Factory，我在去年8月份就开始使用这个项目进行模型部署和微调训练（fi...
-
【AI绘画】Stable Diffusion进阶 | 室内设计神器：ControlNet MLSD/Seg 实现令人惊叹的视觉转换
大家好，我是写编程的木木。 你是否已经厌倦了传统的室内设计方式，想探索新方法来增强作品设计感？本期小编就同大家分享一个新武器，用Stable Diffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白，...
-
在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型
一、背景介绍 1. AutoDL平台（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）：算力平台，类似阿里云，它主要提供GPU算力。通常按小时收费，显卡（RTX 3090 - 24GB显存）+ CPU（14核）+ 内存（45GB）的配...
-
Lucid Creations - 使用Stable Diffusion的GUI工具无需GPU
Lucid Creations - 使用Stable Diffusion的GUI工具无需GPU Lucid-Creations A simple client to create Stable Diffusion images without an...
-
使用Ollama本地部署Llama 3.1大模型
Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操...
-
本地搭建 Whisper 语音识别模型实现实时语音识别研究
目录 摘要 关键词 1. 引言 2. Whisper 模型简介 3. 环境准备 4. 系统架构与实现 4.1 模型加载 4.2 实时音频输入处理 4.3 实时转录处理 4.4 程序实现的框架 4.5 代码实现 5. 实验与结果 6...
-
Ollama保姆级教程
Ollama保姆级教程 Ollama是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括GPU使用情况，简化了在本地运行大型模型的过程。 Ollama还提供了对模型量化...
-
Jetson 部署 Faster Whisper
文章目录 Whisper Faster Whisper 安装使用 尝试WSL部署 尝试 Jetson 部署 时间戳 实时转录 Whisper Whisper 是一种通用语音识别模型。它是在大量不同音频数据集上进行训练的，也是一...
-
FastAPI部署大模型Llama 3.1
项目地址：self-llm/models/Llama3_1/01-Llama3_1-8B-Instruct FastApi 部署调用.md at master · datawhalechina/self-llm (github.com 目的：使用Aut...
-
使用WhisperLive实现实时语音转文本的魅力
使用WhisperLive实现实时语音转文本的魅力 WhisperLiveA nearly-live implementation of OpenAI's Whisper.项目地址:https://gitcode.com/gh_mirrors/wh/W...
-
Llama开源代码详细解读（2）
FlashAttention if is_flash_attn_available( : # 检查flashattention的可用性 from flash_attn import flash_attn_func, flash_attn_var...
-
9、LLaMA-Factory项目微调介绍
1、LLaMA Factory 介绍 LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致...
-
Faster Whisper 使用教程
Faster Whisper 使用教程 faster-whisper项目地址:https://gitcode.com/gh_mirrors/fas/faster-whisper 项目介绍 Faster Whisper 是一个基于 CTransla...
-
探索语言的极限：高效运行LLaMA模型的开源宝藏 —— llama_infer
探索语言的极限：高效运行LLaMA模型的开源宝藏 —— llama_infer llama_inferInference script for Meta's LLaMA models using Hugging Face wrapper项目地址:htt...
-
Midjourney中文版教程：参数详解
1.长宽比 可以设置图片的纵横比。按照需求可以选择不同的尺寸，也可以自定义。 注意：--ar必须使用整数。使用139：100代替1.39：1。 长宽比会影响生成图像的形状和构图。 在放大时，某些长宽比可能会稍微改变。 较旧的Midjo...
-
LLama 3 跨各种 GPU 类型的基准测试
2024 年 4 月 18 日，AI 社区对 Llama 3 70B 的发布表示欢迎，这是一款最先进的大型语言模型 （LLM）。该型号是 Llama 系列的下一代产品，支持广泛的用例。该模型 istelf 在广泛的行业平台上表现良好，并提供了新功能，包括改...
-
甲骨文AI集群配备131072万块NVIDIA B200 GPU：恐怖算力24万亿亿次
快科技9月12日消息，甲骨文宣布推出多款GPU计算集群，可通过甲骨文云基础设施提供AI训练服务，其中最顶级的一款配备了超过10万块的NVIDIA Blackwell GPU。 它一共使用了多达131072万块B200 GPU加速卡，FP8浮点、INT8整数...
-
马斯克追击万亿OpenAI
OpenAI很强，要给这种强悍标一个数，那这个数可能是1500亿美元。 当地时间9月11日，彭博社报道称，OpenAI正在以1500亿美元的估值进行融资，向投资者筹集65亿美元，还在商谈以循环贷款的形式向银行借款50亿美元。 OpenAI要融资的消息从八月...
-
Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南
本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。 文...
-
探索本地AI之旅：node-llama-cpp项目解析与推荐
探索本地AI之旅：node-llama-cpp项目解析与推荐 node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force...
-
耗时50小时！超详细的胎教级Stable Diffusion使用教程，看这一篇就够！
大家好，用爷爷都能听懂的方式分享可以落地实操的干货 花了很长时间终于整理好了这份SD的使用教程！ 从手把手安装部署，到界面功能讲解，再到实战案例制作，到下载优质模型，每一步都有详细教程 并且用一个又一个的例子展示，让大家不止是枯燥地看，而是看完立刻也...
-
Datawhale X 魔搭 AI夏令营 第四期魔搭-AIGC文生图方向Task1笔记及心得
从零入门AI生图原理&实践是Datawhale 2024年AI夏令营第四期“AIGC”方向的学习活动，基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。 主要是通过对模型的微调，以及对prompt的调整，可以根据要求生成不同...