-
【AI绘画】ComfyUI 入门教程：安装 ComfyUI，AIGC新手入门教程
大家好，我是写编程的木木。 ComfyUI 是 Stable Diffusion 的一个基于节点组装绘图流程的图形用户界面（GUI）。通过将不同的节点连接在一起，你可以在 ComfyUI 中构建图像生成工作流。一个完整的工作流看起来像下面这样： C...
-
【实战】Llama3.1-部署与使用
大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。 百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀...
-
LLM之基于llama-index部署本地embedding与GLM-4模型并初步搭建RAG（其他大模型也可，附上ollma方式运行）
前言 日常没空，留着以后写 llama-index简介 官网：https://docs.llamaindex.ai/en/stable/ 简介也没空，以后再写 注：先说明，随着官方的变动，代码也可能变动，大家运行不起来，可以进官网查查资料...
-
NVIDIA GeForce RTX标志升级了！加入AI的力量
快科技9月3日消息，NVIDIA低调升级了其GeForce RTX”的标志，增加了一行小字Powering Advanced AI”，也就是打造先进AI”的意思。 未来的RTX显卡，无论是零售包装盒，还是预装台式机、笔记本，都是打上这个标志。 GeForc...
-
Llama 3.1 405B：4050亿参数史上最强开源大模型
01 。 概述 Meta公司推出了其最大的开源人工智能模型——Llama 3.1 405B，拥有4050亿个参数，与GPT-4o和Claude 3.5 Sonnet相媲美。该模型在16000个Nvidia H100 GPU上训练而成，现已在云平台上可用，...
-
Stable-Diffusion1.5
SD1.5权重：https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main SDXL权重：https://huggingface.co/stabilityai/stable-diffus...
-
5 分钟 Stable Diffusion 本地安装指南
一、Stable Diffusion 简介 Stable Diffusion 是一款非常强大的基于深度学习的 AI 图像生成技术。它由众多研究团队和开发者共同努力而成，其中包括德国慕尼黑大学和总部位于纽约的 RunwayML 公司的国际研究团队。...
-
基于 Llama factory 微调 Llama3.1-70B-Chinese-Chat
本文旨在探讨基于Llama factory使用LoRA（Low-Rank Adaptation）技术对Llama3.1-70B-Chinese-Chat模型进行微调的过程，重点介绍在单机多卡和多机多卡两种分布式训练环境下的实现方法。 1.环境准备...
-
基于AIACC加速器快速实现Stable Diffusion生成特定物体图片
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ControlNet框架，快速生成特定物体图片。 背景信息 Stable Diffusion（简称SD）是一种AI模型，它经过训练可以逐步对随机高斯噪声进行去噪以生成所需要的...
-
Mistral联合英伟达开源12B小模型：碾压Llama 3，单张4090可跑
小模型，成为本周的AI爆点。 与动辄上千亿参数的大模型相比，小模型的优势是显而易见的:它们不仅计算成本更低，训练和部署也更为便捷，可以满足计算资源受限、数据安全级别较高的各类场景。因此，在大笔投入大模型训练之余，像 OpenAI、谷歌等科技巨头也在积极训...
-
无需本地部署！免费使用开源大模型API
之前，我给大家分享过几篇关于如何在本地部署开源大模型以及应用场景的文章。比如说，给本地大模型添加知识库、API的调用等等。 在这个过程中，有粉丝反馈自己不会部署，或者电脑配置不好，想知道还有没有办法使用这些开源大模型。今天就来分享一个免费且无门槛使用各种...
-
WhisperX
文章目录 一、关于 WhisperX 新闻 ? 二、设置⚙️ 1、创建Python3.10环境 2、安装PyTorch，例如Linux和Windows CUDA11.8： 3、安装此repo 4、Speaker Diarization 三、...
-
8G显存运行Llama 3.1 405B！
我正在接受挑战，在只有 8GB VRAM 的 GPU 上运行 Llama 3.1 405B 模型。 Llama 405B 模型有 820GB！这是 8GB VRAM 容量的 103 倍！ 显然，8GB VRAM 无法容纳它。那么我们如何让它工作呢？...
-
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
前不久，Meta开源了LLaMA 3.1 405B【1】，模型扩展了上下文长度至 128K，支持八种语言，效果非常惊艳，是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型，已经赶上截至目...
-
国内最大智算中心正式投用：每秒690亿亿次浮点运算 可训练万亿参数大模型
快科技8月31日消息，日前，由中国移动承建的国内运营商最大单集群智算中心在哈尔滨正式运营。 据悉，该智算中心具有单集群算力规模最大、国产化网络设备组网规模最大等特点。 单集群智算中心把所有AI加速卡打造成1个集群，用以支持千万亿级参数的大模型进行训练。 这...
-
DataWhale多模态赛事Task1
赛事链接：https://tianchi.aliyun.com/competition/entrance/532251/introduction?spm=a2c22.12281925.0.0.2f307137p8qZmp 赛事描述：在当下大数据、大模型时...
-
如何本地搭建Whisper语音识别模型
如何本地搭建Whisper语音识别模型 如何本地搭建Whisper语音识别模型 1. 引言 Whisper模型简介 本地搭建的意义和应用场景 应用场景包括但不限于： 2. 环境准备 系统要求 Python环境安装 依赖库安装 3. 安...
-
橙芯创想：香橙派AIPRO解锁升腾LLM与Stable Diffusion的创意密码
文章目录 引言 一. 香橙派AI PRO配置以及展示 优秀的扩展能力 实物展示 二、Ascend-LLM模型部署 开机 xshell连接香橙派 实战运行部署 运行结果分析 开发版表现 三、Stable Diffusion 文生图 性能...
-
零成本部署秘籍：Llama 3本地使用全攻略，轻松实现高效模型运行！
Meta公司的Llama 3大模型引领AI新篇章 各位朋友，我是袋鼠帝。 近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——Llama 3。自Llama 1起，这个系列便以其卓越性能在...
-
论文分析｜高效长文本生成的技术与应用
Preface 前言 目前大模型公司很多在追求长文a本， 对算力需求极大，如何能够现实地处理该问题很重要。特别是随着Transformer模型尺寸和复杂性的增长，它们在训练期间的内存需求呈指数级增加。 语言模型训练的瓶颈在于显存占用非常大，这需要创...
-
从零开始快速使用comfyUI进行文生图或者图生视频制作
前言 今天花时间试了试怎么用 ComfyUI，今天晚上就来介绍一下，怎么简单使用。 上面是用 comfyUI 生成的视频。 安装 首先进行安装。 在 github 上搜索 comfyUI，第一个就是，点进去然后点击左侧 Release...
-
探索Llama 3.1 : 405B参数模型：部署、硬件配置、测试与训练的心得
引言 随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（NLP）领域取得了显著的突破。MetaAI最新发布的Llama 3.1 : 405B参数模型，凭借其庞大的参数规模和先进的架构，展...
-
AIGC——微调技术(Datawhale X 魔搭 Al夏令营)
微调（Fine-tuning）是一种在深度学习和机器学习领域中常用的技术，旨在通过调整预训练模型的参数来使其更好地适应特定任务。其基本原理和参数的理解对于实现更好的效果至关重要。 前言 了解微调的基本原理，对微调的各种参数有一个更加清楚的了解，...
-
llama.cpp使用
llama.cpp的github库地址为ggerganov/llama.cpp: LLM inference in C/C++ (github.com ，具体使用以官方说明为准。 简介 llama.cpp目标是在本地和云端的各种硬件上以最小的设置和最...
-
GPU云服务器------2秒文生图
GPU云服务器------2秒文生图 GPU云服务器 AIGC来也 开通GPU服务 配置安全组规则 远程连接GPU云服务器 配置nginx用户 文生图 开启AiaccTorch 禁用AiaccTorch 切换模型 使用LoRA插件 使用Con...
-
英伟达Blackwell称霸MLPerf！推理性能暴涨30倍，新一代「AI怪兽」诞生
【新智元导读】MLPerf Inference发布了最新测试结果，英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技，展现出明显的性能提升，甚至刷新了部分任务上的测试纪录。 大语言模型（LLM）推理是一个全栈挑战。 为了实现高吞吐量、低延迟的...
-
ComfyUI基础篇：Windows系统安装ComfyUI方法
ComfyUI作为一款功能强大的AI生图工具，它通过节点方式，使用户可以直观地看到各个模块的功能，并根据需求进行调整和连接。这种方法使工作流程更加清晰，同时降低了使用门槛，使得不熟悉代码的用户也能轻松使用。本文记录ComfyUI在Windows的安装方法。...
-
ubuntu系统编译whisper.cpp/talk-llama
1. 项目克隆到本地 git clone https://github.com/ggerganov/whisper.cpp 2. 编译 CPU 版本： sudo apt-get install libsdl2-dev cd whisper.cpp...
-
Whisper-Streaming：实时语音转写与翻译的革命性工具
Whisper-Streaming：实时语音转写与翻译的革命性工具 whisper_streamingWhisper realtime streaming for long speech-to-text transcription and transl...
-
5分钟 Stable Diffusion 本地安装
5分钟 Stable Diffusion 本地安装 5分钟 Stable Diffusion 本地安装 1. 引言 1.1 什么是Stable Diffusion？ 1.2 本地安装的优势 2. 准备工作 2.1 系统要求 2.2 推荐...
-
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
常见的大模型框架：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel： 大模型框架是指用于训练、推理和部署大型语言模型（LLMs）的软件工具和...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
4060显卡+LLaMA-Factory微调LLM环境准备——（一）安装cuda
本地配置 系统：win10**硬件：**i5-12490f+RTX4060 安装原因： 最近尝试在本地对开源LLM进行Fine-tune的时候，用到了LLaMA-Factory，在运行的时候，弹出未检测到GPU，后来才发现，是忘记安装cuda等...
-
LLaMA 3 背后的大规模 GPU 集群 RoCE 网络建设
模型越来越大，需要的 GPU 越来越多；与此同时 GPU 性能也在不断增强，配套的网络带宽也不断增加到 400G（Blackwell GPU 甚至需要到 800 Gbps）。Ranking 模型还在迁移到 GPU 的早期阶段，但使用 GPU 的规模也在不断...
-
液冷技术：迎接AIGC时代数据中心的散热挑战
随着人工智能生成内容（AIGC）的跨越式发展，算力需求呈爆炸式增长，带动了数据中心的功耗和热管理需求的飞速上升。AI模型训练和推理过程中的高计算资源需求，导致服务器发热量大幅增加，对散热技术提出了更高的要求。根据Colocation America发布的数...
-
使用FastChat快速部署LLM服务
原文：https://zhuanlan.zhihu.com/p/705915093 FastChat 是一个用于训练、服务和评估基于LLM的聊天机器人的开放平台，它的核心功能包括： 最先进模型（例如 Vicuna、MT-Bench）的训练和评估代码。...
-
24年最新[AI绘画] 简明原生 ComfyUI 零失误安装教程！
前言 本教程适用于为 windows 系统部署原生 ComfyUI 「第0步：搞定网络」 免科学魔法的基本骚操作，见文末。如已科学魔法，略过这一步。如无科学魔法 「第1步：安装所需的必要前置工具」 **所有的AI设计工具，模型和插件，都已经...
-
Code Llama使用手册
Code Llama 是 Llama 2 的一系列最先进的开放访问版本，专门用于代码任务，我们很高兴发布与 Hugging Face 生态系统的集成！ Code Llama 已使用与 Llama 2 相同的宽松社区许可证发布，并且可用于商业用途。 今天，...
-
Llama 3.1论文中文对照翻译
The Llama 3 Herd of Models 模型群 Llama 3 Llama Team, Al @ Meta 1...
-
Datawhale X 魔搭 AI夏令营 AIGC人物风格赛
工具初探一ComfyUI应用场景探索 什么是ComfyUI GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI 是GU...
-
LLaMA Factory微调Llama3模型
LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。 ?GPU推荐使用24GB显存的A10（ecs.gn7i-c8g1.2xlar...
-
ChatGLM-6B入门
ChatGLM-6B ChatGLM-6B 一、介绍 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
笔记本电脑本地部署ollama大模型（显存不足调用CUDA Unified Memory方法）
软硬件：win11,NVIDIA GeForce RTX 3050 显存4g 一.ollama模型最低要求 1. Llama 3.1 (8B 模型 GPU: 至少需要 1 张具有 16 GB 显存的 GPU（例如 NVIDIA Tesla V1...
-
黄仁勋对谈扎克伯格：Llama 4或将摆脱聊天机器人形态
黄仁勋认为，Llama 2的发布是2023年最重要的AI事件。 北京时间7月30日清晨，英伟达创始人兼CEO黄仁勋与Meta创始人兼CEO马克·扎克伯格，在美国丹佛举行的第50届SIGGRAPH图形大会上完成了一场60分钟的公开对话。 上周刚刚发布...
-
推荐使用：Llama Coder - 自主托管的高效代码补全工具
推荐使用：Llama Coder - 自主托管的高效代码补全工具 llama-coderReplace Copilot with a more powerful and local AI项目地址:https://gitcode.com/gh_mirro...
-
ComfyUI系列——新手安装ComfyUI，就是这么简单！
前言 比较Midjoury、WebUI和ComfyUI 在了解ComfyUI的时候，还有其它两款类似的产品，于是就搜集了一下资料，以下是Midjoury、WebUI（通常指的是Stable Diffusion Web UI）和ComfyUI三者之间...
-
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三...
-
AI绘画工具Stable Diffusion+ComfyUI的配置
ComfyUI 是一个基于图形用户界面的开源工具，用于搭建和运行复杂的图像生成和处理工作流。它主要围绕使用 Stable Diffusion 模型来生成高质量的图像。这种工具通常允许用户通过拖放不同的模块或节点，定义数据处理和生成流程，然后通过这些流程生成...
-
大模型算法必学，万字长文Llama-1到Llama-3详细拆解
导读 Llama系列的大语言模型在多个自然语言处理任务中表现出色，包括文本分类、情感分析和生成式问答，本质是使用 Transformer 架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3，值得读者点赞收藏！ 引言 在AI领域...